复旦邱锡鹏教授讲述MOSS 2 研发进展：如何实现世界模型？

AIGC动态欢迎阅读

原标题：复旦邱锡鹏教授讲述MOSS 2 研发进展：如何实现世界模型？
关键字：模型,字节跳动,语言,腾讯,教授
文章来源：AI前线
内容字数：0字

内容摘要：

演讲 | 邱锡鹏教授整理 | 褚杏娟
去年 ChatGPT 爆火后，国内迅速迎来了“百模大战”。其中，复旦大学自然语言处理实验室在去年 2 月率先发布了国内首个类 ChatGPT 的对话式大语言模型 MOSS，开放不到 24 个小时，由于瞬时访问压力过大，MOSS 服务器显示流量过载而无法访问。
当时，平台官网发布解释称，MOSS 还是一个非常不成熟的模型，计算资源不足以支持如此大的访问量，距离 ChatGPT 还有很长一段路要走。MOSS 的发布是一个重要的里程碑，打通了大语言模型研发的完整技术路径，展示了在资源受限的情况下构建高效大语言模型的可能性，还为全球研究者和开发者提供了重要的技术参考和实践经验，也提升了国人研发大语言模型的信心。
至今一年多的时间过去，在 6 月 6 日举行的 CCF 大模型论坛上，复旦大学计算机学院教授邱锡鹏教授坦诚道，当时发布的 MOSS 技术框架是 GPT-2 时代的架构，比较与后面出现的 LLaMA 等模型架构相比，相对过时，并且训练数据量和参数量也不够，导致能力有限。
邱锡鹏教授表示，MOSS 之前的路线，基本上和 OpenAI 差不多，但由于

原文链接：复旦邱锡鹏教授讲述MOSS 2 研发进展：如何实现世界模型？