CCL2024-Eval 第二届汉语框架语析评测

CCL2024-Eval 第二届汉语框架语析评测官网

框架语析（Frame Semantic Parsing，FSP）是自然语言处理领域中的一项重要任务，其目标是从句中提取框架语义结构[1]，实现对句子中涉及到的或情境的深层理解。FSP在阅读理解[2-3]、文本摘要[4-5]、关系抽取[6]等下游任务有着重要意义。

活动举办时间：2024-03-19 至 2024-05-04

比赛奖金：￥4000

活动关键词：学术比赛，学术比赛，天池大赛，阿里云天池，天池大数据竞赛。

CCL2024-Eval 第二届汉语框架语析评测简介

CCL2024-Eval 第二届汉语框架语析评测于2024-03-19 至 2024-05-04期间举办，欢迎关注。

总体概述

* 框架语析（Frame Semantic Parsing，FSP）是自然语言处理领域中的一项重要任务，其目标是从句中提取框架语义结构^[1]，实现对句子中涉及到的或情境的深层理解。FSP在阅读理解^[2-3]、文本摘要^[4-5]、关系抽取^[6]等下游任务有着重要意义。

* 在自然语言中，大部分情况下以词为单位传达含义，但也存在很多词汇意义聚合现象，即组成的短语出现了新的含义。如:“爱买不买”，整个短语表示说话者对另一方是否要购买某物不在乎或不感兴趣。在框架语义分析中，该短语应该作为一个整体激活“情感反应”框架。如果以“爱”、“买”等单个动词作为目标词，激活喜欢、购买等框架，则无法捕捉到其独特的情感色彩。

* 构式语法主张语言是由固定的、有意义的单位组成，这些单位被称为构式^[7-8]，既可以是简单的词或短语，也可以是复杂的句子或话语。如，“爱买不买”对应的构式是“爱V不V”，该构式是一个表达语义的整体，表示对某行为不在意或无所谓，应该整体作为目标词激起相应的框架。

* 为了提升框架语析能力，进一步实现对语言的深度理解，我们增加了以构式为“目标词”的框架语析数据，推出了第二届汉语框架语析评测。

本次评测设置了开放和封闭两个赛道，其中开放赛道的参赛队伍可以使用ChatGPT等大模型进行推理，但禁止对其进行微调，且需提交所使用的提示模板；封闭赛道中，参赛模型的参数量将会被限制。

赛程安排

本次大赛分为报名组队、A榜、B榜三个阶段，具体安排和要求如下：

1. 报名时间：2024年3月22日-5月2日

2. 训练、验证数据及baseline发布：2024年3月22日

3. 测试A榜数据发布：2024年3月23日

4. 测试A榜评测截止：2024年5月4日 17:59:59

5. 测试B榜数据发布：2024年5月6日

6. 测试B榜最终测试结果：2024年5月8日 17:59:59

7. 公布测试结果：2024年5月15日前

8. 提交中文或英文技术报告：2024年5月31日

9. 中文或英文技术报告反馈：2024年6月5日

10. 正式提交中英文评测论文：2024年6月10日

11. 公布获奖名单：2024年6月15日

12. 评测研讨会：2024年7月25日-7月28日

注意：报名组队与实名认证（2024年3月22日—5月2日）

报名方式

1. 3月22日[阿里天池平台](https://tianchi.aliyun.com/competition/entrance/532179)将开放本次比赛的报名组队、登录比赛官网，完成个人信息注册，即可报名参赛；选手可以单人参赛，也可以组队参赛。组队参赛的每个团队不超过5人，每位选手只能加入一支队伍；选手需确保报名信息准确有效，组委会有权取消不符合条件队伍的参赛资格及奖励；选手报名、组队变更等操作截止时间为5月2日23:59:59；各队伍（包括队长及全体队伍成员）需要在5月2日23:59:59前完成实名认证（认证入口：天池官网-右上角个人中心-认证-支付宝实名认证），未完成认证的参赛团队将无法进行后续的比赛；

赛事规则

1. 由于版权保护问题，CFN数据集只免费提供给用户用于非盈利性科学研究使用，参赛人员不得将数据用于任何商业用途。如果用于商业产品，请联系柴清华老师，联系邮箱 [charles@sxu.edu.cn](mailto:charles@sxu.edu.cn)。

2. 每名参赛选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍，将取消相关队伍的参赛资格。

3. 数据集的具体内容、范围、规模及格式以最终发布的真实数据集为准。验证集不可用于模型训练，针对测试集，参赛人员不允许执行任何人工标注。

4. 参赛队伍可在参赛期间随时上传测试集的预测结果，阿里天池平台A榜阶段每天可提交3次、B榜阶段每天可提交5次，系统会每小时整更新当前最新榜单排名情况，严禁参赛团队注册其它账号多次提交。

5. 允许使用公开的代码、工具、外部数据（从其他渠道获得的标注数据）等，但需要保证参赛结果可以复现。

6. 参赛队伍可以自行设计和调整模型，但需注意模型参数量最多不超过1.5倍BERT-Large（510M）。

7. 算法与系统的知识产权归参赛队伍所有。要求最终结果排名前10的队伍提供算法代码与系统报告（包括方法说明、数据处理、参考文献和使用的开源工具、外部数据等信息）。提交完毕将采用随机交叉检查的方法对各个队伍提交的模型进行检验，如果在排行榜上的结果无法复现，将取消获奖资格。

8. 参赛团队需保证提交作品的合规性，若出现下列或其他重大违规的情况，将取消参赛团队的参赛资格和成绩，获奖团队名单依次递补。重大违规情况如下：

a. 使用小号、串通、剽窃他人代码等涉嫌违规、作弊行为；

b. 团队提交的材料内容不完整，或提交任何虚假信息；

c. 参赛团队无法就作品疑义进行足够信服的解释说明；

9. 获奖队伍必须注册会议并在线下参加（如遇特殊情况，可申请线上参加）。

奖项信息

本次评测将评选出如下奖项。
由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。
|奖项|一等奖|二等奖|三等奖|
|—-|—-|—-|—-|
|数量|0-2名|0-2名|0-2名|
|奖励合计|笔记本电脑2台|奖金2400元|奖金1600元|

赞助情况

笔记本电脑由百信信息技术有限公司提供赞助；
评测奖金由思腾合力（天津）科技有限公司高教负责人宋肖敏和太原市杰辉科技共同赞助。

FAQ

* Q：比赛是否有技术交流群？

* A：请加钉钉群 73770004096 。

* Q：验证集可否用于模型训练？

* A：不可以。

CCL2024-Eval 第二届汉语框架语析评测官网入口网址

https://tianchi.aliyun.com/competition/entrance/532179

OpenI小编发现CCL2024-Eval 第二届汉语框架语析评测网站非常受用户欢迎，请访问CCL2024-Eval 第二届汉语框架语析评测网址入口试用。