分论坛十一：大模型深度推理

分论坛日程

时间		报告人	单位	报告题目
14:00 - 14:30		杨耀东	北京大学	大模型后训练机理与对齐方法探究
14:30 - 15:00		何俊贤	香港科技大学	Advancing Small Language Models as Efficient Reasoners
15:00 - 15:30		郭琦鹏	上海人工智能实验室	强推理能力对预训练提出的新挑战
15:30 - 15:45		茶歇
15:45 - 16:15		夏世杰	上海交通大学	Cognition Engineering - The Next Paradigm in AI Development
16:15 - 16:45		付杰	上海人工智能实验室	Controlled System-2 and System-1 Fusion: Revisiting Neural Turing Machines
16:45 - 17:15		桑基韬	北京交通大学	Data is All You Need: an Exploration of o1 Replication and Applications
17:15 - 17:45		吴迪	北京北龙超级云计算有限责任公司	打造高质量、高性价比算力服务，助力人工智能产业发展

主席简介

刘鹏飞（上海交通大学）

个人简介：刘鹏飞是上海交通大学副教授，国家海外优青。交大生成式人工智能研究组(GAIR)负责人，获得首届蚂蚁InTech科技奖。主要研究方向是：大模型训练、复杂推理与世界模型。在自然语言处理和大模型相关领域发表学术论文 100 余篇。谷歌学术引用15000余次（28篇论文引用超过100次）。

讲者简介

01 大模型后训练机理与对齐方法探究

杨耀东（北京大学）

个人简介：杨耀东博士，北京大学人工智能研究院研究员（博雅学者）。人社部海外高层次人才、国家级高层次青年人才获得者。研究方向为智能体安全交互与价值对齐，科研领域涵盖强化学习、AI对齐、多智能体学习、具身智能。发表AI领域顶会顶刊论文一百余篇，谷歌引用六千余次，曾获最佳论文奖/提名3次，学术新星奖2次。带领国内团队研发多智能体强化学习算法首登Nature Machine Intelligence，主导Baichuan2、鹏城脑海33B、香港HKGAI大模型价值对齐工作

演讲概要：我将分享课题组近期在openai o1技术路线上的思考以及跨模态模型对齐技术上的最新进展。

02 Advancing Small Language Models as Efficient Reasoners

何俊贤（香港科技大学）

个人简介：何俊贤是香港科技大学计算机系助理教授。他博士毕业于卡内基梅隆大学语言技术研究所，之前于上海交通大学取得本科学位。主要研究方向为大模型复杂推理、多模态推理、可解释性等。担任ICLR、ACL、EMNLP等会议领域主席。

演讲概要：Complex reasoning tasks, such as mathematical reasoning, coding, and planning, present significant challenges for language models, particularly small, open models. In this talk, I will cover our recent research on advancing open, small language models as efficient reasoners for complex tasks. First, I will introduce DART-Math, a new data synthesis method and accompanied datasets for mathematical reasoning, achieving state-of-the-art COT reasoning performance. Then, I will present B-STaR, our innovative self-improving algorithm that monitors training dynamics and balances exploration and exploitation to achieve scalable improvements for self-taught reasoners. I will also discuss our research on non-myopic generation, which enhances the performance of language models across various complex reasoning scenarios at decoding time. Lastly, I will present our exaimination for the “math for AI” vision, studying whether learning mathematical problem-solving, a highly popular task recently, can help LLMs learn general reasoning or not.

03 强推理能力对预训练提出的新挑战

郭琦鹏（上海人工智能实验室）

个人简介：博士毕业于复旦大学，师从邱锡鹏教授，曾负责亚马逊上海AI研究院NLP团队。担任EACL，ARR等国际会议的资深领域主席，论文36篇，引用3300，在WebNLG 2020信息描述比赛获第一名。现任上海人工智能实验室青年科学家，OpenLMLab负责人，主要负责书生浦语大模型的预训练阶段。

演讲概要：近期大模型的主攻方向聚焦到了推理能力，而强推理能力需要模型在复杂任务中学习，天然语料中高质量复杂任务数据稀缺。另一方面，Scaling Law受到挑战，单方面堆积数据量难以支持大模型达到强推理能力。除此之外，随着后训练技术的快速发展，也反向对于预训练提出了新的需求。本次介绍将会展开讨论强推理能力对预训练提出的新挑战以及应运而生的新方法。

04 Cognition Engineering - The Next Paradigm in AI Development

夏世杰（上海交通大学）

个人简介：夏世杰，上海交通大学生成式人工智能团队博士生，导师为刘鹏飞教授。研究方向为大语言模型复杂推理与可靠评估，已在NeurIPS、EMNLP等顶级国际会议上发表相关研究成果，并担任AAAI等会议审稿人。

演讲概要：我将分享openai o1发布对大模型发展范式变化的思考

05 Controlled System-2 and System-1 Fusion: Revisiting Neural Turing Machines

付杰（上海人工智能实验室）

个人简介：现任上海人工智能实验室青年科学家。博士毕业于新加坡国立大学，导师为Tat-Seng Chua（新加坡国家科学院院士）。曾在加拿大魁北克人工智能研究所（Mila）从事博士后研究，导师为Yoshua Bengio（图灵奖得主）和Chris Pal（加拿大CIFAR AI Chair，美国ServiceNow公司杰出科学家）。曾在北京智源人工智能研究院任研究员。在Nature Biotechnology, ICML, ICLR, NeurIPS, ACL, EMNLP, NAACL, ICCV, ECCV等顶级会议期刊发表60余篇论文，获得ICLR 2021、NAACL 2024杰出论文奖。

演讲概要：Existing large language models (LLMs) heavily rely on System-1 (e.g., intuitive, fast, unconscious) deep learning, thus having limited reasoning, planning, lifelong learning, and out-of-distribution generalization capabilities. It has been recently argued that auto-regressive LLMs based on System-1 deep learning principles cannot, by themselves, do planning or reasoning, which cannot be fixed by blindly adding more parameters or feeding more data. It should be noted that any deterministic LLMs with bounded length is equivalent to finite automaton, thus being computationally limited. Augmenting LLMs with a read-write memory or chain-of-thought could simulate the execution of a universal Turing machine. In light of these challenges and inspirations, my research agenda is centered around establishing a more human-like LLM, having a tight integration of System-1 and System-2 (e.g., slow, logical, conscious, algorithmic, planning) functionalities. In this talk, I will discuss my previous and on-going attempts to improve System-2 capabilities while leveraging System-1 functions.

06 Data is All You Need: an Exploration of o1 Replication and Applications

桑基韬（北京交通大学）

个人简介：桑基韬，北京交通大学教授。主要研究方向为多模态分析、可信机器学习、AI Agent等。曾获得中科院院长特别奖、ACM中国新星奖等，作为负责人先后承担相关方向的国家自然科学基金重点项目、(首批)新一代人工智能重大项目课题、北京市杰出青年基金、国家高层次青年人才计划等，第一/二作者论文7次获得CCF推荐国际会议主会的论文奖项，以第二完成人获得中国电子学会自然科学一等奖和北京市科学技术奖。

演讲概要：近十年来，人工智能研究的一条核心线索是如何将快速增长的算力高效转化为智能水平的提升。在这一线索下，早期研究聚焦于模型侧：从SVM到深度学习再到Transformer，通过可扩展的模型结构充分利用算力；近期研究更多关注数据侧：从预训练的无监督学习到后训练的强化学习，通过增加数据规模与可扩展的模型结构结合，在快速增长的算力支持下实现智能水平的显著提升。
o1延续了这一趋势：从SFT利用高质量监督数据，到RLHF依靠环境反馈获取理论上的无限数据，再到o1通过搜索生成过程监督数据。本报告将介绍我们近期面向代码任务对o1的复现尝试，并探讨其在系统二对齐和智能终端Agent中的应用思路。

07 打造高质量、高性价比算力服务，助力人工智能产业发展

吴迪（北京北龙超级云计算有限责任公司）

个人简介：北京北龙超级云计算有限责任公司总经理，中国计算机学会理事。深耕高性能计算领域十余年，对超算中心商业化运营经验丰富，助力中国计算机科技发展。管理运营的北京超级云计算中心，自2020年起连续5年荣获中国HPC TOP 100通用CPU算力第一名，2024年更获大模型训练、AI推理延迟性能双榜单第一，是国内首例市场化运营的超算中心。该中心以创新模式引领超算服务商业化，已服务千余家企业、科研机构及高校，实现平台SaaS化，为高端科研计算方法普及奠定坚实基础。

演讲概要：随着人工智能应用的深入，对智能算力的需求日益增长，各地正加速推进智能算力资源的开发与部署。针对多样化的应用场景，打造高品质、高性价比的算力服务，是提升算力在赋能产业发展效率的关键。
北京超级云计算中心（简称北京超算）专注于为大型模型训练企业和研究机构提供高质量、高性价比的算力服务。基于丰富的算力资源池和13年的高性能计算服务经验，通过智能化资源调度和性能优化技术，满足大规模并行计算及实时推理的算力需求。