AI读论文新神器：多栏密集文字、中英图文混排文档都能读的多模态大模型Fox｜旷视

AIGC动态欢迎阅读

原标题：AI读论文新神器：多栏密集文字、中英图文混排文档都能读的多模态大模型Fox｜旷视
关键字：视觉,词表,页面,模型,团队
文章来源：量子位
内容字数：0字

内容摘要：

Fox团队投稿量子位 | 公众号 QbitAI虽然多模态大模型都能挑西瓜了，但理解复杂文档方面还是差点意思。
面对文字密集、多栏混排等文档时往往力不从心，区域级别的细粒度理解，就更是无从谈起了。
最近，旷视团队打造了一支多模态大模型的“点读笔”——Fox，轻松实现对8页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。
对于信息密集的PDF文档，Fox支持高可控性的细粒度理解，比如在用户感兴趣区域内进行文字识别、段落翻译以及页面内部的图片内容描述等。
论文中，团队进一步突破了对于文档的视觉感知理解的上限，高密度的信息被真正压缩，LVLM真正地“看”懂图，才能真正做好、做出能用的文档多模大模型。
正所谓“一图胜千言”—— one image token >> one text token。
接下来，看看Fox在实战中表现如何？
中英混排，单栏多栏组合都不怕对于中英混合、单栏多栏混合的8页PDF文档，可实现任意区域的OCR：
下图左侧展示了8页文档内跨页的VQA，右侧展示了双栏中文页面的前景OCR。
双栏密集英文页面的前景OCR：
在页面内图片描述方面，Fox能给出文档内内容

原文链接：AI读论文新神器：多栏密集文字、中英图文混排文档都能读的多模态大模型Fox｜旷视