讲习班日程

讲习班简介

本次讲习班邀请到了四位专家，分别是清华大学长聘副教授王宏宁博士、中国人民大学高瓴人工智能学院教授窦志成博士、上海交通大学约翰·霍普克罗夫特计算机科学中心副教授林洲汉博士和复旦大学大数据学院副教授魏忠钰博士。

讲习班日程

时间	题目	讲者
09:00 - 10:30	基于人类反馈的强化学习：从理论到实践	王宏宁
10:30 - 12:00	生成式信息检索	窦志成
14:00 - 15:30	大语言模型的高效计算	林洲汉
15:30 - 17:00	大模型驱动的自主智能体——从个体到社会	魏忠钰

01 基于人类反馈的强化学习：从理论到实践

王宏宁（清华大学）

摘要：基于人类反馈的强化学习已成为当下实现预训练大模型与人类偏好对齐、安全对齐、以及提高逻辑推理等下游任务性能的重要手段，并获得学术界和工业界的广泛关注和极大投入。一系列算法和框架被相继提出，从奖励模型建模、生成策略优化、最优性条件等多方面对这一问题进行深入探索。本次报告将从强化学习方法出发，从离线强化学习的角度探讨基于人类反馈的强化学习问题，并结合产业界大规模实践经验，讨论这一研究问题的内涵与外延。

讲者介绍：王宏宁，2014年在伊利诺伊大学-香槟分校获得计算机科学博士学位，现为清华大学计算机科学与技术系长聘副教授，博士生导师，国家高层次人才，曾任美国弗吉尼亚大学计算机科学系Copenhaver副教授。他的研究主要集中在机器学习和信息检索的交叉领域，着眼于创立具有完备理论性质与高效实用性能的强化学习方法以解决个性化决策问题。

02 生成式信息检索

窦志成（中国人民大学）

摘要：上世纪90年代开始，以“搜索引擎”为代表的信息检索技术极大地提升了人类从海量互联网数据中获取信息的效率，成为日常生活中不可或缺的工具。而近期出现的以ChatGPT为代表的生成式大语言模型则有望深刻改变人们获取信息的方式，促进信息获取技术的更新升级，进而可能会改变或者替代掉传统搜索引擎。但生成式大模型在应对信息获取任务时仍面临诸多挑战，如幻觉问题严重、无法处理新知识、答案不可追溯等。在此背景下，以结合检索和生成为目标的生成式信息检索（Generative Information Retrieval， GenIR）得到了学术界和工业界的广泛关注。本报告将介绍我们在生成式信息检索领域开展的部分工作，包括大模型赋能的检索、检索增强的生成及生成式文档检索。

讲者介绍：窦志成，教授，博导，中国人民大学高瓴人工智能学院副院长，中国计算机学会大数据专家委员会秘书长，中国中文信息学会理事、信息检索专委会副主任。主要研究方向为智能信息检索、大模型以及二者的融合，曾获教育部自然科学奖一等奖、国际信息检索大会(SIGIR 2013)最佳论文提名奖，WWW 2023亮点论文奖，亚洲信息检索大会(AIRS 2012)最佳论文奖，全国信息检索学术会议（CCIR 2018、CCIR 2021）最佳论文奖。担任SIGIR 2019的程序委员会主席（短文），信息检索评测会议NTCIR-16程序委员会主席等职务。

03 大语言模型的高效计算

林洲汉（上海交通大学）

摘要：广泛存在于LLM隐层表征和自注意力机制中的信息冗余是许多方法加速LLM计算的关键，例如KV缓存压缩或注意力值修剪。在本次演讲中，我们将首先回顾LLM出现之前的诸多加速算法和模型，并从基于变换的方法的角度，展示LLM隐层表征中的信息冗余。接着，我们将介绍现在流行的纯解码器LLM架构中发展出来的算法级KV缓存压缩方法及相关研究工作。

讲者介绍：林洲汉博士目前是上海交通大学约翰·霍普克罗夫特计算机科学中心的副教授和副主任。在加入上海交大之前，他曾在Facebook AI Research（FAIR）担任访问科学家。林博士于2019年在蒙特利尔大学的Mila实验室获得计算机科学博士学位，导师为Yoshua Bengio博士。他的核心研究兴趣是探索和开发能够从海量数据中获取、形成、推理和交互抽象概念的机器智能。林博士提出了自注意力机制的早期版本，该机制后来被集成到著名的Transformer和图注意力网络中。据Google Scholar统计，他的论文被引用超过9000次，其中两篇论文的引用次数均超过2000次，另有10篇论文的引用次数超过100次。林博士曾在多个顶级会议中担任领域主席，如EMNLP、AAAI、COLING和AACL等。

04 大模型驱动的自主智能体——从个体到社会

魏忠钰（复旦大学）

摘要： 传统的社会科学研究依赖于人类参与，通过问卷调查和心理实验等方法来研究社会现象。然而，这些方法在可扩展性、成本和伦理风险方面存在一定局限性。大模型的发展使得模拟复杂的人类行为成为可能，为社会模拟带来了新的机遇。随着对个体建模的多样化和规模化逐渐增加，大模型智能体驱动的社会行为模拟可以分为三个层级：（1）个体模拟：模拟特定个体或人口属性群体；（2）任务模拟：模拟多智能体在特定场景的协作，解决具体问题或任务；（3）社会模拟：模拟复杂的社会动态和社会现象。本次报告将探讨大模型智能体在这三个层级模拟中的关键要素、挑战以及未来发展方向。

讲者简介： 魏忠钰，复旦大学大数据学院副教授、智能复杂体系实验室双聘研究员、博士生导师、数据智能与社会计算实验室（Fudan DISC）负责人，香港中文大学博士，美国德州大学达拉斯分校博士后。担任CIPS情感计算专委会副秘书长，CCF自然语言处理专委会副秘书长，曾任CIPS青工委执委会副主任。主要研究领域包括多模态大模型和智能体，发表论文100余篇，担任ACL 2023（多模态），EMNLP 2024（论辩挖掘）和 NAACL 2025（论辩挖掘）高级领域主席（SAC）。代表成果包括多模态多步推理大模型Volcano和 DISC-X系列垂域大模型（覆盖医疗、司法、金融、网络治理四个领域）。曾获得2019年度CIPS社会媒体处理专委会新锐奖，2021年上海市启明星计划，2022年CCF自然语言处理专委会新锐学者奖。

会议组织

讲习班主席：

冯骁骋（哈尔滨工业大学）、李俊涛（苏州大学）