从计算机视觉向医疗AI，上海交大谢伟迪发布多项成果，登Nature子刊/NeurIPS/CVPR等

从计算机视觉走向医疗人工智能

原标题：从计算机视觉向医疗AI，上海交大谢伟迪发布多项成果，登Nature子刊/NeurIPS/CVPR等
文章来源：HyperAI超神经
内容字数：10029字

医疗人工智能的前沿探索

近日，上海交通大学长聘轨副教授谢伟迪在COSCon’24 AI for Science论坛上分享了其团队在医疗人工智能领域的研究进展。谢教授强调，随着AI技术的迅速发展，医疗领域正在迎来新的机遇和挑战，尤其是在数据集构建和模型开发方面。

1. 医疗人工智能的必要性

医疗研究对人类健康至关重要，然而医疗资源的不均衡分配始终是一个难题。谢教授指出，近年来大模型的表现显著提升，例如GPT-4在医师执业考试中的得分达到了90分，这让医生们开始关注AI技术在医疗中的应用。

2. 通用医疗人工智能系统的构想

谢教授的团队致力于构建一个多模态通用医疗模型，能够支持图像、音频和患者健康档案等多种输入类型。该模型希望通过提供视觉和文本两种输出形式，帮助医生更好地进行诊断和治疗。

3. 开源数据集的贡献

为了解决高质量医疗数据的稀缺问题，团队构建了多个开源数据集，包括文本和视觉数据。通过收集医学书籍、论文，以及放射学影像数据，团队已经建立了覆盖广泛的医疗数据资源。

4. 语言模型与视觉-语言模型的研发

团队推出了PMC-LLaMA等开源医疗语言模型，并在此基础上进行多语言扩展。这些模型能够快速注入医学知识，提升医疗服务的智能化水平。此外，团队还在视觉-语言模型方面取得了一系列成果，构建了多个数据集和模型。

5. 知识增强与模型性能提升

谢教授强调，知识增强表征学习是提升模型性能的重要手段。通过建立知识图谱，将医学知识注入模型中，团队的研究成果在多个基准测试中表现出色，显示了知识增强模型的潜力和优势。

总结

谢伟迪教授的分享展示了医疗人工智能领域的前沿探索，通过构建多模态的通用医疗模型和开源数据集，团队致力于提升医疗服务的智能化水平，为解决医疗资源不均等问题贡献力量。

联系作者

文章来源：HyperAI超神经
作者微信：
作者简介：解构技术先进性与普适性，报道更前沿的 AIforScience 案例