清华开源模型ChatGLM-6B可本地
中国
ChatGLM

清华开源模型ChatGLM-6B可本地

中英双语对话模型 ChatGLM-6B,支持在单张消费级显卡上进行推理使用,支持中英双语问答的对话语言模型,并针对中文进行了优化。

标签:

ChatGLM-6B:开源双语对话语言模型 | An open bilingual dialogue language model
Github开源链接:https://github.com/THUDM/ChatGLM-6B
“让我们一起为中国 ChatGLM 开源模型的团队喝彩,期待他们带来更多的技术创新!”
这是目前本站长所搜集到的资料:

1、https://www.bilibili.com/video/BV1E24y1u7Go/
【ChatGLM】本地版ChatGPT?6G显存可用!ChatGLM-6B 清华开源模型一键包发布 可更新
2、https://mp.weixin.qq.com/s?__biz=Mzg4MDE3OTA5NA==&mid=2247571682&idx=1&sn=a6701c408477f8ead5ddb3822a966026
​ChatGLM:千亿基座的对话模型启动内测,单卡版模型已全面开源


ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。更多信息请参考我们的博客。

具体来说,ChatGLM-6B 具备以下特点:
  • 充分的中英双语预训练:ChatGLM-6B 在 1:1 比例的中英语料上训练了 1T 的 token 量,兼具双语能力。
  • 优化的模型架构和大小:吸取 GLM-130B 训练经验,修正了二维 RoPE 位置编码实现,使用传统 FFN 结构。6B(62亿)的参数大小,也使得研究者和个人开发者自己微调和部署 ChatGLM-6B 成为可能。
  • 较低的部署门槛:FP16 半精度下,ChatGLM-6B 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB(INT8)和 6GB(INT4),使得 ChatGLM-6B 可以部署在消费级显卡上。
  • 更长的序列长度:相比 GLM-10B(序列长度 1024),ChatGLM-6B 序列长度达 2048,支持更长对话和应用。
  • 人类意图对齐训练:使用了监督微调(Supervised Fine-Tuning)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(RLHF)等方式,使模型初具理解人类指令意图的能力。输出格式为 markdown,方便展示。

不过,由于ChatGLM-6B的规模较小,目前已知其具有相当多的局限性,如事实性/数学逻辑错误,可能生成有害/有偏见内容,较弱的上下文能力,自我认知混乱,以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题,以免产生误解。

清华开源模型ChatGLM-6B可本地

数据统计

数据评估

清华开源模型ChatGLM-6B可本地浏览人数已经达到318,如你需要查询该站的相关权重信息,可以点击"5118数据""爱站数据""Chinaz数据"进入;以目前的网站数据参考,建议大家请以爱站数据为准,更多网站价值评估因素如:清华开源模型ChatGLM-6B可本地的访问速度、搜索引擎收录以及索引量、用户体验等;当然要评估一个站的价值,最主要还是需要根据您自身的需求以及需要,一些确切的数据则需要找清华开源模型ChatGLM-6B可本地的站长进行洽谈提供。如该站的IP、PV、跳出率等!

关于清华开源模型ChatGLM-6B可本地特别声明

本站OpenI提供的清华开源模型ChatGLM-6B可本地都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由OpenI实际控制,在2023年 5月 8日 上午10:08收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,OpenI不承担任何责任。

相关导航

暂无评论

暂无评论...