太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

AIGC动态欢迎阅读

原标题：太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3
关键字：集群,模型,设备,代码,硬件
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
机器之心编辑部假如你有闲置的设备，或许可以试一试。这次，你手里的硬件设备也能在 AI 领域大展拳脚了。
将 iPhone、iPad、Macbook 进行组合，就能组装成「异构集群推理方案」， 然后顺畅的运行 Llama3 模型。值得一提的是，这个异构集群可以是 Windows 系统，也可以是Linux、iOS 系统，并且对 Android 的支持很快到来。
异‍构‍集群正在运行中。‍
根据项目作者 @evilsocket 的介绍，这个异构集群包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有代码都已经上传到 GitHub。
看到这，网友纷纷表示，这位老哥确实不简单。不过也有网友开始担心能耗问题，暂且不管速度，电费都耗不起。来回搬数据，损耗太大了。项目介绍
上述功能的实现，离不开一个名为 Cake 的 Rust 框架。Cake 可以完成大模型（例如 Llama3）的分布式推理，旨在将消费级硬件组合成异构集群，其中消费级硬件采用多种

原文链接：太酷了！iPhone、iPad、MacBook老旧设备组成异构集群，能跑Llama 3

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台