MMLU

MMLU官网

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月推出。
网站服务：MMLU，AI工具集导航。
The current state-of-the-art on MMLU is GPT-4 (few-shot， k=5). See a full comparison of 77 papers with code.

MMLU 全称 Massive Multitask Language Understanding，是一种针对大模型的语言理解能力的测评，是目前最著名的大模型语义理解测评之一，由UC Berkeley大学的研究人员在2020年9月推出。该测试涵盖57项任务，包括初等数学、美国历史、计算机科学、法律等。任务涵盖的知识很广泛，语言是英文，用以评测大模型基本的知识覆盖范围和理解能力。

MMLU网址入口

https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu

MMLU

OpenI小编发现MMLU网站非常受用户欢迎，请访问MMLU网址入口试用。

数据统计

数据评估

MMLU浏览人数已经达到66，如你需要查询该站的相关权重信息，可以点击"5118数据""爱站数据""Chinaz数据"进入；以目前的网站数据参考，建议大家请以爱站数据为准，更多网站价值评估因素如：MMLU的访问速度、搜索引擎收录以及索引量、用户体验等；当然要评估一个站的价值，最主要还是需要根据您自身的需求以及需要，一些确切的数据则需要找MMLU的站长进行洽谈提供。如该站的IP、PV、跳出率等！

特别声明

本站OpenI提供的MMLU都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由OpenI实际控制，在2023年 11月 10日上午6:00收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，OpenI不承担任何责任。

OpenI致力于优质、实用的网络站点资源收集与分享！本文地址https://openi.cn/sites/110610.html转载请注明

相关导航

SuperCLUE

SuperCLUE官网入口网址，SuperCLUE 是一个中文通用大模型综合性评测基准，从三个不同的维度评价模型的能力：基础能力、专业能力和中文特性能力。

LLMEval3

LLMEval3官网入口网址，LLMEval是由复旦大学NLP实验室推出的大模型评测基准，最新的LLMEval-3聚焦于专业知识能力评测，涵盖哲学、经济学、法学、教育学、文学、历史学、理学、工学、农学、医学、军事学、管理学、艺术学等教育部划定的13个学科门类、50余个二级学科，共计约20W道标准生成式问答题目。

PubMedQA

PubMedQA官网入口网址，PubMedQA是一个生物医学研究问答数据集，包含了1K专家标注，61.2K 个未标注和 211.3K 个人工生成的QA实例，该排行榜目前已收录18个模型的医学测试得分。

HELM

HELM官网入口网址，HELM是由斯坦福大学推出的大模型评测体系，该评测方法主要包括场景、适配、指标三个模块，每次评测的运行都需要指定一个场景，一个适配模型的提示，以及一个或多个指标。

MMBench

MMBench官网入口网址，MMBench是一个多模态基准测试，该体系开发了一个综合评估流程，从感知到认知能力逐级细分评估，覆盖20项细粒度能力，从互联网与权威基准数据集采集约3000道单项选择题。打破常规一问一答基于规则匹配提取选项进行评测，循环打乱选项验证输出结果的一致性，基于ChatGPT精准匹配模型回复至选项。