Meta光速下架的模型Galactica，上交大用它构建地球科学大模型

AIGC动态欢迎阅读

原标题：Meta光速下架的模型Galactica，上交大用它构建地球科学大模型
关键字：模型,地球科学,地学,数据,领域
文章来源：机器之心
内容字数：9880字

内容摘要：

将 ScienceAI设为星标
第一时间掌握
新鲜的 AI for Science 资讯编辑 | Z
2022年10月30日，ChatGPT的横空出世，仅用几天的时间就改变了包括学术界在内的各行各业的，在OpenAI的成果的光辉下，有一个独特的模型，来自Meta团队的Galactica在ChatGPT三天前上线就被迫下线，这一度成为了LeCun教授的意难平。
顺着LeCun的意难平，来自上海交通大学的团队，将这一颇具潜力的模型引入到了地球科学领域。
使用Galactica作为基座的地学模型
首先让我们回顾一下Galactica。Galactica最初在⼤量的科学⽂献上进⾏预训练，包括超过 4800 万篇论⽂、教科书、讲义、数百万种化合物和蛋⽩质知识、科学⽹站、百科全书等。
虽然Galactica⽣成的⽂本存在⼀定的不严谨性，但由于其在处理学术⽂献等问题上具有先天的优势，因此仍然是某些场景下合适的选择。
上海交通大学团队在五月份推出70亿参数的地学⼤语⾔模型K2（https://github.com/davendw49/k2）之后，于七⽉份正式完成了300亿参数的地学⼤语⾔模型GeoGa

原文链接：Meta光速下架的模型Galactica，上交大用它构建地球科学大模型