分论坛十四:大模型与社会智能
分论坛日程
时间 | 报告人 | 单位 | 报告题目 | |
14:00 - 14:35 | 王翔 | 中国科学技术大学 | 复杂偏好数据中的大语言模型对齐技术进展 | |
14:35 - 15:10 | 陈静静 | 复旦大学 | Advancing Responsible Generative AI: Progress and Challenges | |
15:10 - 15:45 | 杨成 | 北京邮电大学 | 大语言模型智能体高效协作框架 | |
15:45 - 16:15 | 茶歇 | |||
16:15 - 16:50 | 陈壮 | 中南大学 | 机器心智与大语言模型 | |
16:50 - 17:25 | 高宸 | 清华大学 | 基于大模型智能体的社会经济系统模拟 | |
17:25 - 18:00 | 钱忱 | 清华大学 | 大模型驱动的自主智能体 |
主席简介
吕琳媛(中国科学技术大学)
个人简介:吕琳媛,中国科学技术大学网络空间安全学院教授、博士生导师,国家优秀青年基金获得者,长期致力于复杂系统与复杂网络方面的研究,主要关注网络信息挖掘基础理论和关键算法研究,在Physics Reports、PNAS、Nature Communications,National Science Review等期刊发表论文90余篇,系列成果产生了较大的国际影响力,获第十九届“中国青年女科学家奖”、科学探索奖、Erdős-Rényi奖,主持多项国家级项目。
讲者简介
01 复杂偏好数据中的大语言模型对齐技术进展
王翔(中国科学技术大学)
个人简介:王翔,中国科学技术大学特任教授、博导,2021年海外优青获得者。研究兴趣包括可解释与可信人工智能、多模态大模型、信息检索与推荐,及其在金融科技、科学智能等场景中的应用。相关的研究成果在CCF A类顶级国际期刊和会议上发表论文百余篇,谷歌学术引用一万九千余次,其中10篇论文是相关会议的最具影响力论文和最高引论文,7篇论文入选相关会议的最佳论文候选。获得信息检索国际顶级会议SIGIR青年学者奖,国际基础科学大会前沿科学奖,2022-2024连续三年入选AI 2000全球人工智能最具影响力学者榜单,入选《麻省理工科技评论》“35岁科技创新35人”、“爱思唯尔2023中国高被引学者”。承担国家基金委重大研究计划培育项目、科技部新一代人工智能国家科技重大专项大模型课题。
演讲概要:在大型语言模型(LLMs)对齐领域,直接偏好优化(DPO)逐渐成为替代传统人类反馈强化学习(RLHF)的高效方法,具备训练稳定性和数据适应性优势。然而,标准DPO在数据噪声和多样化偏好场景下的性能仍存在局限。本次分享汇总了α-DPO、β-DPO和Dr. DPO三种改进方案的关键技术,分别引入动态奖励边界、批次级β参数调节和分布鲁棒性,增强模型对偏好数据的适应能力和鲁棒性。α-DPO通过自适应调整奖励分布,在实现对齐的同时保持了模型输出的多样性;β-DPO则根据数据质量动态校准权衡参数,提高在低质量数据集上的性能;Dr. DPO结合分布鲁棒优化应对成对噪声,提高了在不稳定数据环境下的优化效果。实验结果表明,这些改进显著提升了LLMs在不同模型和数据集中的对齐效果,为构建更安全、符合人类价值的语言模型提供了有力工具。
02 Advancing Responsible Generative AI: Progress and Challenges
陈静静(复旦大学)
个人简介:Jingjing Chen is now an associate professor at the School of Computer Science, Fudan University. Before that, she was a postdoc research fellow at the School of Computing in National University of Singapore. She received her Ph.D. degree in Computer Science from City University of Hong Kong in July 2018. Her research interests include multimedia content analysis, computer vision, and multimedia model security. Dr. Chen won Best Student Paper Awards in ACM Multimedia 2016 and Multimedia Modeling 2017, and the Best Paper Award at the China Multimedia Conference 2022. In 2020, she was selected to the Shanghai Pujiang Talent Program. Furthermore, Dr. Chen has received honors including the “ACM Shanghai Rising Star Award” in 2020, nomination for the “AI 2000 Most Influential Scholar Award” in 2021, and the IEEE “ICME Rising Star Award Runer Up” in 2023.
演讲概要:In recent years, generative artificial intelligence has made significant progress in visual content generation. However, alongside the generation of high-quality visual content, there arise new challenges in ensuring the security and regulatory compliance of visual models. This talk delves into the ongoing progress and challenges in advancing responsible generative AI, specifically focusing on visual content creation. Additionally, we will share our latest work in building responsible generative AI, including frameworks for generalizable AI-generated visual content detection in open environment, and approaches for achieving reliable erasure of prohibited concepts without compromising the model’s generation capabilities. Through this discussion, we aim to contribute to the ongoing development of ethically sound and socially responsible generative AI systems.
03 大语言模型智能体高效协作框架
杨成(北京邮电大学)
个人简介:杨成,本科博士毕业于清华大学,长期从事数据挖掘和自然语言处理相关方向的研究,发表相关领域CCF A类论文40余篇,谷歌学术被引1万余次,相关成果获2020年教育部自然科学奖一等奖(排名第四)等省部级奖励。曾获中文信息学会优秀博士论文奖,先后入选百度发布的首届“AI华人青年学者百强” 榜单、第九届中国科协“青年人才托举工程”。
演讲概要:大语言模型(LLMs)目前已展现出推理、规划、工具使用等诸多类人智能,可作为智能体(Agent)的大脑自动化地处理各种复杂任务。然而这些大语言模型智能体是否能够像人类一样学会沟通与分工,更快更好地进行任务协作,仍然是一个亟待探索的问题。本报告将介绍大语言模型智能体协作研究的最新进展,并分析实验中发现的各类智能体合作涌现行为。
04 机器心智与大语言模型
陈壮(中南大学计算机学院)
个人简介:陈壮,中南大学计算机学院特聘副教授。博士毕业于武汉大学计算机学院,导师为钱铁云教授。在清华大学计算机系完成博士后研究,合作导师为黄民烈教授。主要研究方向为大语言模型、社交智能和计算心理学等,是角色大模型CharacterGLM和心理大模型Emohaa的核心研发成员。在ACL、EMNLP、IJCAI、TASLP等自然语言处理和人工智能顶级会议或期刊上发表论文多篇,获得ACL2024领域主席奖、MNLP2024论坛突出成果奖。担任计算语言学顶会ACL、EMNLP、NAACL的领域主席和顶刊TACL、CL的常驻审稿人。主持博士后科学基金面上资助项目。
演讲概要:心智理论(Theory of Mind,ToM)是指人类理解和推断他人心理状态(包括信念、欲望、意图、情感等)的能力,是社交智能的基础和核心。目前,大语言模型已经展现出类人的语言理解和生成能力,人们开始好奇大语言模型是否已经具备机器心智(Machine ToM)。本报告将围绕大语言模型的机器心智方向,分别从心智评测、心智建模和心智应用三个方面汇报最新工作进展。
05 基于大模型智能体的社会经济系统模拟
高宸(清华大学信息国研中心)
个人简介:高宸,清华大学信息国家研究中心助理研究员,2016年和2021年于清华大学电子系获学士学位和博士学位,博士后出站后留校工作。主要从事数据挖掘、信息检索、智能体模拟仿真等方面的科研工作,近五年在KDD、SIGIR、WWW、NeurIPS等国际会议期刊上发表CCF-A类论文50余篇,谷歌引用近4000次。获ACL 2024杰出论文奖、SIGIR 2020最佳短论文提名奖、清华大学优秀博士学位论文奖、CCF优博提名奖,百度学术人工智能华人新星奖,主持国家自然科学基金面上项目,入选2024 Stanford/Elsevier Top 2% Scientists名单。
演讲概要:模拟仿真是科学研究的基础工具,而大模型凭借其类人感知能力与决策过程,为模拟仿真注入了新活力,一方面能够对微观个体实现准确模拟,另一方面能够通过多智能体交互对宏观态势进行仿真复现。本次报告将介绍基于大模型智能体的社会经济模拟系统,在社交模拟方面,模拟信息环境下的用户交互行为、情绪变化、观点变化,基于大模型智能体实现对个体行为和认知状态的准确模拟;同时在宏观层面上模拟信息传播和情绪观点状态宏观变化趋势;在经济模拟方面,所构建的基于大模型智能体的经济模拟系统,与基于ABM的传统宏观经济模拟方法相比,展现出更强的稳定性和真实性,初步探索了宏观经济模拟的新型模拟范式。最后,报告将讨论领域的开放性问题并对未来方向进行展望。
06 大模型驱动的自主智能体
钱忱(清华大学)
个人简介:钱忱,清华大学软件学院获博士学位,现清华大学博士后,研究方向为大模型和自主智能体,合作导师为孙茂松和刘知远教授,曾在NeurIPS、ACL、SIGIR等人工智能国际会议期刊上发表论文20余篇。现主持或参与包括国家实验室、腾讯犀牛鸟、博士后科学基金等7项科研项目,荣获清华大学“水木学者”计划。曾在腾讯参与预训练语言模型工作,主导构建的模型特征在腾讯新闻、微信公众号、小程序等场景取得大盘收益亿级提升,获腾讯“技术大咖”计划。
演讲概要:大模型在处理复杂任务时表现出灵活性不足的局限,从而催生了自主智能体。智能体在面对复杂任务需求时,能够自主组建任务解决导向的专业团队,并进行流程规划和子任务解决,因此具备自主探索并提供解决方案的能力。这一新兴领域为大模型在自动化解决复杂问题方面开辟了全新机遇,本报告将介绍大模型智能体的核心要素、流程驱动的智能体构建、过程推理、协同演化等领域的前沿进展,以期推动大模型与流程自动化方向的发展与应用。