电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星​

AIGC动态欢迎阅读

原标题：电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星​
关键字：设备,框架,模型,集群,作者
文章来源：量子位
内容字数：0字

内容摘要：

克雷西 发自 凹非寺量子位 | 公众号 QbitAI不用H100，三台苹果电脑就能带动400B大模型。
背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。
利用这个框架，几分钟就能用iPhone、iPad等日常设备构建出自己的AI算力集群。
这个框架名叫exo，不同于其他的分布式推理框架，它采用了p2p的连接方式，将设备接入网络即可自动加入集群。
开发者使用exo框架连接了两台MacBook Pro和一台Mac Studio，运算速度达到了110TFLOPS。
同时这位开发者表示，已经准备好迎接即将到来的Llama3-405B了。
exo官方也放话称，将在第一时间（day 0）提供对Llama3-405B的支持。
而且不只是电脑，exo可以让iPhone、iPad等设备也加入本地算力网络，甚至Apple Watch也同样能够吸纳。
随着版本的迭代，exo框架也不再是苹果限定（起初只支持MLX），有人把安卓手机和4090显卡也拉进了集群。
最快60秒完成配置与其他分布式推理框架不同，exo不使用master-worker架构，而是点对点（p2p）地将设备进

原文链接：电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星​

联系作者

文章来源：量子位
作者微信：
作者简介：