VisionFM：少样本多疾病诊断的智能眼科AI模型

VisionFM（伏羲慧眼）是一款专为眼科领域开发的多模态多任务视觉基础模型，旨在推动通用人工智能在眼科的应用。经过对3.4百万张来自560,457个个体的眼科图像的预训练，VisionFM能有效应对多种眼科疾病的识别、预测及分析任务。这一模型支持包括眼底摄影、光学相干断层扫描（OCT）和荧光素眼底血管造影（FFA）在内的八种主流眼科成像方式，展现出卓越的诊断能力和强大的泛化性能。

XX是什么

VisionFM（伏羲慧眼）是一款多模态多任务的视觉基础模型，专注于眼科人工智能的广泛应用。通过对3.4百万张眼科图像的预训练，该模型覆盖了丰富的眼科疾病、成像模态及设备信息。VisionFM能够处理多种成像方式，应用于眼科疾病的识别、疾病进展的预测、表型细分及全身生物标志物的分析等多种任务。在识别12种常见眼科疾病时，其表现超越了基础和中级眼科医生，并在大规模诊断基准数据库中超越了多种深度学习模型。VisionFM的设计使其对新颖的眼科成像模态、疾病谱系及设备展现出良好的适应性。

主要功能

• 疾病筛查与诊断：VisionFM能够高效筛查并诊断多种眼科疾病，如糖尿病视网膜病变、青光眼和老年性黄斑变性等。
• 疾病预后分析：该模型可以预测疾病的发展趋势与预后情况。
• 疾病表型细分：VisionFM具备亚分类疾病表型的能力，能够进行病变、血管和层的分割以及地标检测。
• 全身生物标志物与疾病预测：除了眼部疾病的分析，VisionFM还能从眼部图像中提取全身的生物标志物和疾病信息。
• 多模态处理能力：此模型可处理多达八种常见眼科成像模态，包括眼底摄影、OCT和FFA等。
• 模态无关的诊断：VisionFM支持模态无关的诊断，能够通过单一解码器对不同成像模态中的多种眼科疾病进行分析。
• 少样本学习能力：该模型展现出在少量标注样本下也能进行高准确度诊断的能力。
• 强大的泛化能力：VisionFM对新型眼科模态、疾病谱系及成像设备具备良好的适应性。
• 合成数据增强学习：该模型能够利用合成的眼科成像数据提升其学习能力，从而在后续的眼科AI任务中取得显著的性能提升。

产品官网

• Github仓库：https://github.com/ABILab-CUHK/VisionFM
• arXiv技术论文：https://arxiv.org/pdf/2310.04992

应用场景

• 眼科临床任务：VisionFM能够有效支持眼科临床任务，尤其是在疾病筛查与诊断方面。
• 多种眼科疾病的诊断：该模型在多种眼科疾病的诊断与预测上表现优异，包括糖尿病视网膜病变、青光眼和老年性黄斑变性等。
• 基层医疗环境：在影像资源匮乏的基层医疗环境中，VisionFM可发挥重要作用，减轻医生的工作压力。
• 低眼科医生密度地区：对于眼科医生稀缺的地区和国家，VisionFM显得尤为重要。
• 教育与培训：VisionFM可作为资深眼科医生的辅助工具，用于培训初级眼科从业者，分享其在眼科影像和疾病诊断方面的丰富知识。
• 辅助生成诊断报告：该模型可以与大型语言模型（LLM）进行集成，生成详尽的诊断报告，完成眼科疾病诊断的闭环。

常见问题

• VisionFM的准确性如何？：经过大规模预训练，VisionFM在多项眼科AI应用中表现出接近专家水平的准确性，超越初级和中级眼科医生。
• 如何获取VisionFM？：用户可以通过访问VisionFM的GitHub仓库和arXiv论文链接获取相关资源。
• VisionFM适用于哪些眼科疾病？：该模型能够诊断多种眼科疾病，包括糖尿病视网膜病变、青光眼等。