黄仁勋皮衣了
原标题:英伟达新品“掌心AI超算”,¥1800跑8B多模态模型,算力暴增70%价格腰斩
文章来源:量子位
内容字数:1711字
英伟达发布“掌心AI超算”:Jetson Orin Nano开发套件
英伟达近日发布了新款Jetson Orin Nano开发套件,这款被誉为“英伟达版树莓派”的设备在性能和价格上都带来了巨大惊喜,引发了广泛关注。
性能大幅提升,价格腰斩
新版Jetson Orin Nano开发套件的INT8算力从40 TOPS提升至67 TOPS,内存带宽增加50%达到102GB/s,功耗维持在25瓦。最令人惊喜的是,价格却降低了50%,从499美元降至249美元(约人民币1800元)。
强大的AI处理能力
67 TOPS的算力意味着它能够运行主流的7B、8B大模型的量化版本,例如阿里Qwen和Llama等。这使其能够胜任各种AI任务,包括运行视觉语言模型和ViT模型。
丰富的应用场景
英伟达将其称为“最实惠的生成式AI超级计算机”,并指出它适用于各种应用场景,例如创建基于RAG的机器人、视觉AI Agent以及部署基于AI的机器人。其支持最高4个摄像头,并提供比前代产品更高的分辨率和帧率。
强大的硬件配置和软件支持
Jetson Orin Nano采用6核Arm CPU和NVIDIA Ampere架构GPU,GPU配备1024个CUDA核心和32个张量核心。它支持多个并发AI应用管道和高性能推理,并兼容NVIDIA ISAAC、NVIDIA Metropolis和NVIDIA Holoscan等一系列英伟达AI软件,以及Omniverse Replicator和NVIDIA TAO工具包,方便开发者进行模型训练和部署。
面向机器人领域的全新处理器
英伟达CEO黄仁勋将Jetson Orin Nano系列定义为一种全新的“机器人处理器”,并表示它已经支持各种类型的机器人。
旧版用户也能受益
英伟达还为旧版开发套件用户提供了软件更新,以提升其生成式AI性能。
总而言之,Jetson Orin Nano开发套件以其强大的性能、亲民的价格以及丰富的软件生态,为边缘AI应用带来了新的可能性,为开发者和研究人员提供了强大的工具,也使得生成式AI技术更加普及。
联系作者
文章来源:量子位
作者微信:
作者简介:追踪人工智能新趋势,关注科技行业新突破