英伟达新品“掌心AI超算”,¥1800跑8B多模态模型,算力暴增70%价格腰斩

AIGC动态1个月前发布 量子位
0 0 0

黄仁勋皮衣了

英伟达新品“掌心AI超算”,¥1800跑8B多模态模型,算力暴增70%价格腰斩

原标题:英伟达新品“掌心AI超算”,¥1800跑8B多模态模型,算力暴增70%价格腰斩
文章来源:量子位
内容字数:1711字

英伟达发布“掌心AI超算”:Jetson Orin Nano开发套件

英伟达近日发布了新款Jetson Orin Nano开发套件,这款被誉为“英伟达版树莓派”的设备在性能和价格上都带来了巨大惊喜,引发了广泛关注。

  1. 性能大幅提升,价格腰斩

    新版Jetson Orin Nano开发套件的INT8算力从40 TOPS提升至67 TOPS,内存带宽增加50%达到102GB/s,功耗维持在25瓦。最令人惊喜的是,价格却降低了50%,从499美元降至249美元(约人民币1800元)。

  2. 强大的AI处理能力

    67 TOPS的算力意味着它能够运行主流的7B、8B大模型的量化版本,例如阿里Qwen和Llama等。这使其能够胜任各种AI任务,包括运行视觉语言模型和ViT模型。

  3. 丰富的应用场景

    英伟达将其称为“最实惠的生成式AI超级计算机”,并指出它适用于各种应用场景,例如创建基于RAG的机器人、视觉AI Agent以及部署基于AI的机器人。其支持最高4个摄像头,并提供比前代产品更高的分辨率和帧率。

  4. 强大的硬件配置和软件支持

    Jetson Orin Nano采用6核Arm CPU和NVIDIA Ampere架构GPU,GPU配备1024个CUDA核心和32个张量核心。它支持多个并发AI应用管道和高性能推理,并兼容NVIDIA ISAAC、NVIDIA Metropolis和NVIDIA Holoscan等一系列英伟达AI软件,以及Omniverse Replicator和NVIDIA TAO工具包,方便开发者进行模型训练和部署。

  5. 面向机器人领域的全新处理器

    英伟达CEO黄仁勋将Jetson Orin Nano系列定义为一种全新的“机器人处理器”,并表示它已经支持各种类型的机器人。

  6. 旧版用户也能受益

    英伟达还为旧版开发套件用户提供了软件更新,以提升其生成式AI性能。

总而言之,Jetson Orin Nano开发套件以其强大的性能、亲民的价格以及丰富的软件生态,为边缘AI应用带来了新的可能性,为开发者和研究人员提供了强大的工具,也使得生成式AI技术更加普及。


联系作者

文章来源:量子位
作者微信:
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...
第五届
全国人工智能大赛

总奖金超 233 万!

报名即将截止