分论坛五：大模型与生成的评估
分论坛日程
| 时间 | 报告人 | 单位 | 报告题目 | |
| 09:00 - 09:25 | 刘鹏飞 | 上海交通大学 | 大模型的安全评估与超级对齐 | |
| 09:25 - 09:50 | 黄烨楠 | 腾讯朱雀实验室 | 守护AI边界：大模型安全评估与可解释性的探索 | |
| 09:50 - 10:15 | 柯沛 | 电子科技大学 | 大模型的生成质量评价：数据、方法与平台 | |
| 10:15 - 10:40 | 殷运鹏 | 科大讯飞 | 大语言模型生成评估的落地实践 | |
| 10:40 - 10:50 | 茶歇 | |||
| 10:50 - 11:15 | 徐亮 | SuperCLUE | 连接前沿与产业：SuperCLUE在中文大模型评估中的探索与创新 | |
| 11:15 - 11:40 | 何哲琪 | 北京智源人工智能研究院 | FlagEvalMM：一个灵活全面的多模态模型评测框架 | |
| 11:40 - 12:05 | 邱霖 | AGI-Eval评测社区 | AGI-Eval——公正、可信、科学、全面的大模型评测社区 | |
主席简介
万小军（北京大学）
个人简介：万小军， 北京大学王选计算机研究所&人工智能研究院教授、博士生导师，研究方向为自然语言生成与大模型。现担任中国计算机学会自然语言处理专委会副主任、中国中文信息学会大模型与生成专委会副主任，曾担任EMNLP2019程序主席、NLPCC2024大会主席等。三次荣获国际顶尖学术会议（IJCAI2018/ACL2017/NAACL2024）最佳论文或杰出论文奖，连续四年（2020～2023）入选爱思唯尔(Elsevier) “中国高被引学者”榜单，在国内率先研制推出小明、小南、小柯等多款AI写作机器人并应用于媒体单位。
杨熙（北京智源人工智能研究院）
个人简介：杨熙，北京智源人工智能研究院智能评测团队的负责人，博士毕业于北京大学，并在中国科学院计算技术研究所做过博士后研究。主要研究方向是大模型评测，主导开发了FlagEval大模型评测平台，支持对语言、视觉、语音和多模态模型的评估。该平台已经评测了560多个国内外主流的开源和闭源大模型。在探索AI辅助评测模型和构建面向大模型新能力的评测集方面有丰富的实践经验。研究工作发表在多个顶级期刊和会议上，并主持或参与了多个国家重大项目。
讲者简介
01 大模型的安全评估与超级对齐
刘鹏飞（上海交通大学）
个人简介：刘鹏飞是上海交通大学副教授，国家海外优青。交大生成式人工智能研究组(GAIR)负责人，获得首届蚂蚁InTech科技奖。主要研究方向是：大模型训练、复杂推理与世界模型。在自然语言处理和大模型相关领域发表学术论文 100 余篇。谷歌学术引用15000余次 (28篇论文引用超过100次）。
演讲概要：随着生成式AI技术的快速发展，确保大模型与人类价值观对齐成为关键挑战。本报告探讨了价值对齐的必要性、方法和挑战，包括如何减少hallucination（幻觉）现象，以及最新的研究进展。同时，报告引入了superalignment（超级对齐）概念，探讨如何在AI能力持续增强的情况下，确保其行为始终符合人类利益。我们旨在推动负责任的AI发展，确保AI技术真正造福人类社会。
02 守护AI边界：大模型安全评估与可解释性的探索
黄烨楠（腾讯）
个人简介：腾讯朱雀实验室-AI安全高级研究员，专注于大语言模型Red Team评估及可解释性研究。在LLM安全领域具有突出建树，成功发现国外多家头部AI企业在文生文、文生图及多模态中的安全隐患。研究涵盖从传统安全到前沿AI安全的广谱领域，包括内容安全、反爬虫技术、移动应用安全以及大模型安全等。凭借扎实的理论功底和丰富的工程实践经验，致力于推动AI系统的安全性、可靠性及透明度的提升，持续助力构建更安全可信的AI生态。
演讲概要：本次演讲聚焦于腾讯朱雀实验室在AI安全技术与实战攻击领域的探索，特别是以Red Team身份深度评估大模型风险。内容涵盖大模型原生安全攻击的跟踪探测、红蓝对抗实战演习、供应链风险排查、前沿攻击技术预研，以及模型安全可解释性研究。多维度剖析大模型安全脆弱性，确保AI技术的可信与可控。旨在为AI安全领域贡献一份力量。
03 大模型的生成质量评价：数据、方法与平台
柯沛（电子科技大学）
个人简介：柯沛，电子科技大学特聘副教授，博士毕业于清华大学。研究方向是大语言模型、自然语言生成和对话系统等。近年来，在ACL、EMNLP、IJCAI、ICLR、ICML、TACL等国际顶级会议和期刊上共发表论文20余篇，获NLPCC 2020最佳学生论文奖，其论文曾入选机器学习领域顶级会议ICLR 2023 Notable-Top-5%。谷歌学术总引用量1400余次，h-index为19，曾担任ACL、EMNLP、NAACL等国际顶级会议的领域主席。担任中国中文信息学会大模型与生成专委会副秘书长、社会媒体处理专委会委员。入选2023年国家博士后创新人才支持计划。
演讲概要：近年来，大模型的发展迅速，在众多自然语言处理任务上均取得了优异的性能，其生成文本的质量也逐渐接近人类水平，这给生成文本的质量评价带来了巨大的挑战。因此，如何准确地评价大模型的生成质量，以及如何利用评价结果自动提升大模型的生成质量，成为了当前人工智能领域的研究热点。本次报告将围绕上述核心问题展开，从数据、方法、平台等多个层面系统性地介绍相关方向的前沿研究工作。
04 大语言模型生成评估的落地实践
殷运鹏（科大讯飞股份有限公司）
个人简介：科大讯飞AI研究院算法测试主管，从事人工智能算法测试10年，先后带领团队建立语音识别、机器翻译、AI声纹等多个AI算法领域的测评经验，近两年主要从事大语言模型的相关算法测评，横跨语音、多模、认知等领域的大语言模型测评的实践经验。
演讲概要：针对大语言模型这两年来的发展，剖析我们大语言模型的近期的“野蛮生长”，总结关于大语言模型生成式评估方法在讯飞的多个行业领域的实践应用。本报告总结生成式大语言模型的测评方式在讯飞各个行业的部分实践工作。
05 连接前沿与产业：SuperCLUE在中文大模型评估中的探索与创新
徐亮（SuperCLUE）
个人简介：CLUE中文自然语言理解评价基准、SuperCLUE中文大模型综合性测评基准负责人。累计推出包括通用、多模态、专项、行业等20多个中文大模型测评基准，成为国内最广泛应用的大模型评价指标的推出人。
演讲概要：分享SuperCLUE在中文大模型评估的探索与创新。我们致力于连接技术与产业需求，构建多维度、多领域的评估基准，快速响应行业发展。演讲将介绍我们在指标设计、覆盖拓展、评估方法改进等方面的创新，以及应对大模型能力提升和边界扩展的挑战。展望未来，我们将进一步完善评估体系，促进大模型技术的产业应用。希望此次分享能启发听众，共同推动产业进步。
06 FlagEvalMM：一个灵活全面的多模态模型评测框架
何哲琪（智源研究院）
个人简介：何哲琪，智源研究院研究员，毕业于北京大学王选所。研究兴趣主要集中在大模型评测技术，多模态大模型和模型推理优化。在AAAI，IJCAI，MM，PR等会议和期刊发表多篇表学术论文，申请专利10余项。
演讲概要：多模态模型正处于一个高速发展的状态，模型结构和评测方法的更新非常迅速。为了高效科学地评测多模态模型，快速适配新的评测任务和模型，我们提出了一个新的评测框架FlagevaMM。该框架采用了评测和模型推理解耦的方式，将视觉语言模型，文生图，文生视频和图文检索模型等多种多模态模型的评测统一到同一套架构，有效地提升了模型评测效率。
07 AGI-Eval——公正、可信、科学、全面的大模型评测社区
邱霖（AGI-Eval评测社区）
个人简介：邱霖博士目前在AGI-Eval评测社区担任技术负责人，负责大模型评测相关的前沿技术研究。其博士毕业于上海交通大学计算机系，从事自然语言处理相关的研究工作十余年，发表相关论文二十余篇。
演讲概要：当下大模型评测相关的研究工作广泛存在评测流程复杂繁琐、资源开销大、缺少长期维护等一系列问题，导致难以建立长期影响力。此外，大模型产业的激烈竞争导致评测数据分布被穿越的风险越来越高，开源数据集的有效周期大幅缩短，半私有化评测的重要性日益增长。AGI-Eval旨在构建一个联结学术界、产业界、社区用户三方的大模型评测社区，帮助学术工作扩大影响力，向产业界提供更加可靠的评测结果，使社区用户更好的学习、使用、参与大模型评测。我们相信，评测可以助力AI成为我们更好的伙伴。