GPT-4化身邪恶化学家！中国科大等发布首个「科学风险」基准和SciGuard大模型

AIGC动态欢迎阅读

原标题：GPT-4化身邪恶化学家！中国科大等发布首个「科学风险」基准和SciGuard大模型

关键字：模型,知识产权,政策,科学,风险

文章来源：新智元

内容字数：5541字

内容摘要：

新智元报道编辑：LRS 好困
【新智元导读】来自中科大等机构的联合团队提出了一种全新的方法——SciGuard，可以保护AI for Science模型，防止生物、化学、药物等领域模型不会被不当使用。与此同时，团队还建立了首个专注于化学科学领域安全的基准测试——SciMT-Safety。「我们的实验失控了！这是我们自己创造的末日！」——《后天》（The Day After Tomorrow）在科幻电影中，疯狂科学家通常是造成末日灾难的主角，而AI技术的迅猛发展似乎让这种情景离我们越来越近。全球对AI潜在威胁的关注更多聚焦于通用的人工智能以及各种多媒体生成模型，但更重要的是如何监管「AI科学家」，即对那些快速发展的科学大模型。
为应对这一挑战，来自中科大、微软研究院等机构的联合团队深入分析了各种AI模型在Science领域如生物、化学、药物发现等领域的风险，并通过实际案例展示了化学科学中AI滥用的危害。论文链接：https://arxiv.org/abs/2312.06632
研究团队发现，现有的一些开源AI模型可以用于制造有害物质，并对法律法规进行规避。
针对这一现象，研究人员开发了

原文链接：点此阅读原文：GPT-4化身邪恶化学家！中国科大等发布首个「科学风险」基准和SciGuard大模型

联系作者

文章来源：新智元

作者微信：AI_era

作者简介：智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。