
阿里斩获国际AI顶会最佳资源论文奖,提出Agent评测新范式
15:51:26
来源:
7月8日,国际AI顶级学术会议ACL 2026公布了最佳论文奖项,阿里研究团队在Deep Research Agent方向的研究成果从全球一万多篇投稿中脱颖而出,获评最佳资源论文奖(Best Resource Paper),是国内唯一斩获该奖项的中国公司。据悉,该论文首次系统揭示了当前Agent在真实世界复杂规则推理中面临巨大缺陷,并提出了全新的专家Agent评测基准,为升级大智能模型在真实场景的可靠性指明了新方向。
ACL(国际计算语言学协会)成立于1962年,是自然语言处理和计算语言学领域中历史最悠久、最具权威性的国际学术组织。在学术评价体系中,ACL长期位居谷歌学术计算语言学子领域的h5-index影响力榜首,是大智能模型、Agent等前沿计技术的核心论文首发阵地。据介绍,ACL 2026共收到12148篇投稿,仅19%被主会录用,最终仅有4篇论文获评Best Resource Paper。
阿里此次获奖的论文以商品出口所需的10位海关编码(HS Code)为切入点,提出了针对真实场景和专家水平的智能体新基准 HSCodeComp,它要求 Agent像资深关务专家一样,将商品模糊的属性与严格的关税归类规则对齐,为商品精准映射到10位细分编码。研究团队对14个主流大模型和9个先进 Agent框架进行了全面评测。测试结果显示,表现最好的Agent系统准确率仅为45%左右,远低于人类专家95%的准确率。更值得注意的是,研究还发现单纯堆更多推理时间(inference-time scaling)并不能显著缩小这道鸿沟,这意味着这背后并非“算力问题”,而是Agent架构本身的结构性瓶颈。
该研究还进一步揭示了导致Agent系统缺陷的原因:首先过长的推理链导致Agent在中途偏离正确路径,其次是领域知识不足导致规则误用,最后由于推理幻觉造成Agent生成缺乏事实依据的分类判断。这些发现为Agent能力升级指明了方向。
在 HSCodeComp基准测试中,阿里设计的Agent准确率达到65.0%
目前,HSCodeComp基准的数据集与评测代码已在Hugging Face和GitHub全面开源。据介绍,阿里已基于该研究成果,在跨境贸易数字关务等场景中设计了以Qwen基座模型为核心的Agent框架,在HSCodeComp 基准(10 位编码准确率)上的测试结果显示,该Agent以65.0%的准确率稳居AI系统第一位。
ACL评审委员会介绍称:“该基准切中了Agent落地实践的高度重要挑战——考察Agent对严格层级化自然语言规则的遵循能力,研究动机极具说服力;严谨的人类专家评测流程提供了高度可靠的能力上界。”
阿里研究团队介绍称:“层级规则落地实践是现实世界中大量专业决策的核心能力,不仅存在于国际贸易,也广泛存在于法律合规、医疗诊断、税务审计等重要高价值垂类领域。HSCodeComp揭示了当前Agent的能力边界,也为构建真正可靠的专业AI系统提供了科学的评测标杆。”
本文由阿里云提供,量子位获授权转载,观点归原作者所有。
2026年世界AI技术大会,7月17-7月20上海举办
AI聪明够了,行动呢?WAIC首夜,来聊点下一步的真实判断|活动报名
行业首个具身原生世界动作模型来了!蚂蚁灵波推出LingBot-VA 2.0
第十一届中国航空创新创业大赛报名开启|熵跃苍穹 无界新元
AI的下半场怎么走,这朵云知道
AI行业已进入算法算力双核心时代
阿里云上线团队版Token Plan,支持多坐席分配和管理
阿里QoderWork推“峰谷Token”,夜间使用Qwen3.7低至2折
涵盖QoderWork、Qoder Desktop等
燃爆!奥运8分钟AI影片火了,巴赫主席:感谢中国黑科技
本届奥运会上AI技术已遍地开花
阿里推出Qoder 1.0,可全面接管代码生成、验证和交付流程
Windows、macOS 和 Linux系统用户均可下载使用。
阿里推出Qwen3.5-Omni,多模态能力超越Gemini-3.1 Pro
每百万Tokens输入不到0.8元,比Gemini-3.1 Pro的1/10还低。
