AIGC动态欢迎阅读
原标题:让生成式AI触手可及 ——AirBox 正式开放预定!预定抢三重好礼!邀请你在线体验Llama3!
关键字:模型,知识产权,能力,数据,性能
文章来源:JioNLP
内容字数:10530字
内容摘要:
瑞莎计算机(Radxa)推出全球首款SG2300X微型 AI 盒子,现已在京东及海外平台正式开放预定,仅售¥2699!预定用户送电源、麦克风和无线模组!
文末附【在线体验Llama3 on AirBox】、【预定链接】小型化、私有化, 大厂竞逐端侧生成式AI2024年,端侧运行生成式AI,几乎成了Intel、AMD、高通等厂商下一代芯片的标配。
在CES上大火的Rabbit R1,可以利用ChatGPT来操作很多手机端的app,完全自然语言控制,演示视频让很多自媒体鼓吹可以抛弃手机了,但是有拿到产品的网友实测后发现,单任务响应时间超过20s,用户体验不友好。在网络访问不畅通的情况下,如何才能获得实时、低延迟的响应?答案是,把生成式AI服务放在端侧,而不是在云、数据中心和端侧节点之间频繁传输。基于SG2300x打造的端侧生成式AI盒子Airbox,Llama-7B的速度可以达到12 tokens/s,StableDiffusion 1s 出图,让生成式AI触手可及。SG2300X:令人惊喜的端侧生成式AI处理能力
产品规格
SG2300X
处理器
ARMA538核2.3GHz
内存
LP
原文链接:让生成式AI触手可及 ——AirBox 正式开放预定!预定抢三重好礼!邀请你在线体验Llama3!
联系作者
文章来源:JioNLP
作者微信:jionlp
作者简介:AI、自然语言处理、计算机视觉、数据挖掘、数据分析、C、C++。当然,也聊关于程序员的方方面面。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...