如何估计LLM推理和训练所需的GPU内存？

AIGC动态欢迎阅读

原标题：如何估计LLM推理和训练所需的GPU内存？
关键字：模型,侵权,知乎,参数,精度
文章来源：智猩猩GenAI
内容字数：0字

内容摘要：

导读文章转载自知乎，作者为孙鹏飞，本文整理了一份训练或推理需要显存的计算方式。
原文地址：https://zhuanlan.zhihu.com/p/716317173
本文只做学术/技术分享，如有侵权，联系删文。在实际工作中，经常有人问，7B、14B或70B的模型需要多大的显存才能推理？如果微调他们又需要多大的显存呢？为了回答这个问题整理一份训练或推理需要显存的计算方式。如果大家对具体细节不感兴趣，可以直接参考经验法则评估推理或训练所需要的资源。更简单的方式可以通过这个工具（https://llm-system-requirements.streamlit.app/）或者huggface官网计算推理/训练需要的显存工具（https://huggingface.co/spaces/hf-accelerate/model-memory-usage）在线评估。
01数据精度开始介绍之前，先说一个重要的概念——数据精度。数据精度指的是信息表示的精细程度，在计算机中是由数据类型和其位数决定的。如果想要计算显存，从“原子”层面来看，就需要知道我们的使用数据的精度，因为精度代表了数据存储的方式，决定

原文链接：如何估计LLM推理和训练所需的GPU内存？

联系作者

文章来源：智猩猩GenAI
作者微信：
作者简介：