root

/root

About root

This author has not yet filled in any details.
So far root has created 167 blog entries.

学习还是自我对齐 ? 关于指令微调的内在机制的探究

2024-03-02T00:55:15+00:00

学习还是自我对齐 ? 关于指令微调的内在机制的探究 论文链接:https://arxiv.org/abs/2402.18243 指令微调(Instruction Fine-tuning,IFT)已经成为大型语言模型构建的核心步骤之一,然而关于IFT对大模型的输出的影响机制的深入分析仍然非常缺乏。当前应用指令微调的工作主要有两个目的,模型行为模式的转换和注入特定领域的知识。由于缺乏对指令微调的深入分析,我们很难理解指令微调给模型带来的增益究竟是由于其成功地对齐了我们期望的输出空间,实现了更好的知识表达机制,还是由于指令微调过程中确实带来了额外的领域知识增益。 为此,中国科学院软件研究所中文信息处理实验室联合美团提出 基于知识扰动的分析框架,来解耦合模型行为模式转换与额外世界知识注入的作用。作者发现: (1) 对于指令微调而言,学习与模型参数知识不一致的世界知识无法带来增益,甚至会造成额外的损害。(2) 有效指令微调的本质在于完成行为模式转换的同时,保持指令微调前后模型参数知识的一致性。换句话说,指令微调的核心作用机制并不是让模型去“学习”额外的知识,而是将模型内部现有的知识进行一种自我的对齐。因此,最终决定指令微调性能的并非领域知识的注入程度,而是是否能够通过指令微调的过程,实现更有效的自我对齐,从而促进模型内部现存的参数知识在零样本问答这一目标模式下更好的表达。这一发现不仅对未来指令微调数据构建、微调方法的设计以及微调效果的评估提供了指引,还为最近兴起的包括super [...]

学习还是自我对齐 ? 关于指令微调的内在机制的探究 2024-03-02T00:55:15+00:00

上海交通大学张倬胜博士应邀至实验室进行学术报告

2024-01-26T15:00:48+00:00

上海交通大学张倬胜博士应邀至实验室进行学术报告 2024年1月26日上午,上海交通大学张倬胜博士应邀在中文信息处理实验室发表了题为《大模型自主智能体的应用及安全挑战》的专题报告。 张倬胜博士是上海交通大学电子信息与电气工程学院长聘教轨助理教授,曾担任领域内重要会议LREC-COLING 2024领域主席、ICLR 2023 Tiny Papers领域主席和中国计算语言学大会CCL 2022分委会主席。入选中国中文信息学会博士学位论文激励计划,获评2023世界人工智能大会云帆奖明日之星、全球 AI 华人百强学术新星。主要研究方向为预训练语言模型、自主智能体及其安全。在TPAMI、ICLR、ACL、AAAI等顶级学术期刊/会议发表论文50余篇。Google Scholar论文被引用次数超过3000次,3篇第一作者论文入选为AAAI和COLING高影响力论文列表。研发的语言理解与推理系统在8项国际权威自然语言理解评测获得第一名。 报告中,张倬胜博士从智能机器人的未来应用畅想切入,讲述了大模型自主智能体的概念,并介绍了其具有自主性、自适应性、动态响应和自我完善等特性,以及其在现实与虚拟世界中包括系统操控、软件开发、科学发现、具身智能在内的各类场景中的应用。接着,他以Auto-UI智能手机自主智能体为例,展示了大模型自主智能体的具体应用实例,并以此工作中发现的攻击现象为引,引出了有关智能体强大能力背后潜在的安全挑战的讨论。 随后,张倬胜博士从智能体应用的流程与形式等方面具体分析了其安全风险分类和来源的复杂性,智能体本身产生的内容与行为均存在风险,同时智能体系统在用户侧、模型侧和环境侧均存在潜在的漏洞以及被攻击的风险。张倬胜博士展示了他和团队提出的“R-Judge大模型智能体行为安全评测”,旨在探测模型自身安全风险判断能力与基于外界安全反馈的判断能力上限。他们发现模型对安全风险的判断与人类表现存在较大差距,模型越大性能越好,风险描述与环境反馈是提升模型检测风险能力的有效手段,并且指令遵循能力直接影响模型性能表现。 最后,张倬胜博士从他自身的科研经历出发,与同学们分享了自己作为学生与研究者一路走来的经验,鼓励同学们保持紧迫感、信念感和包容心,坚持努力,追求极致。  

上海交通大学张倬胜博士应邀至实验室进行学术报告 2024-01-26T15:00:48+00:00

计算所沈华伟老师应邀为实验室进行学术报告

2024-01-24T18:28:55+00:00

计算所沈华伟老师应邀为实验室进行学术报告 2024 年 1 月 19 日上午,应实验室孙乐研究员的邀请,计算所沈华伟研究员为实验室进行了题为 “从社会计算到社会认知计算”的学术报告。 中国科学院计算技术研究所研究员沈华伟老师,担任数据智能系统研究中心主任,中国科学院大学岗位教授,中国中文信息学会理事、社会媒体处理专委会副主任。长期从事社会计算、网络大数据分析、智能算法安全研究,在PNAS、IEEE TKDE等学术期刊和KDD、WWW等学术会议上发表论文100 余篇,三次获国际学术会议最佳论文奖励。主持国家重点研发计划项目、国家自然科学基金重点项目等科研项目10 余项。 [...]

计算所沈华伟老师应邀为实验室进行学术报告 2024-01-24T18:28:55+00:00

北京师范大学邬霞教授在实验室进行学术报告

2024-01-24T13:15:46+00:00

北京师范大学邬霞教授在实验室进行学术报告 2023年12月28日上午,北京师范大学邬霞教授在中文信息处理实验室应邀发表了题为《类脑视觉智能:原理与方法》的专题报告。 邬霞老师是北京师范大学人工智能学院教授、博士生导师,CCF高级会员,国家自然科学基金杰出青年和优秀青年基金、吴文俊人工智能自然科学一等奖、教育部自然科学二等奖、茅以升北京青年科技奖获得者。主要研究方向为脑信号智能分析、类脑算法等。近年来,主持承担国家自然科学基金重点项目、国家重点研发计划等项目十余项,以第一/通讯作者在IEEE TNNLS、IEEE TKDE、IEEE TAC、NeuroImage、Medical Image Analysis、JBHI、IPMI、MICCAI等国内外重要学术期刊/会议发表论文100余篇。     报告中,邬霞教授首先为大家介绍了类脑视觉智能相关原理。人脑具备对图片和视频的快速高效理解和生成能力,例如人接触到图像或视频之后可以生成神经响应,反之也可以使用技术手段从神经响应的信号中重建图片或视频。同时,人脑中也存在不同的视觉加工通路,包括腹侧通路,主要负责物体识别和决策,以及背侧通路,负责感知空间位置和运动。此外,有的研究发现卷积神经网络(CNN) 的前几层和腹侧通路类似,这为算法可解释性提供了基础。 随后,邬霞教授从功能和神经信号数据两个层面介绍了类脑视觉方法。在功能层面,人脑在进行视觉加工的时候,注意力按顺序依次探索少量感兴趣的区域,有的研究便受此启发改进了强化学习模型。此外,人类视觉中还存在模仿机制,即观察他人行为并将其映射到自己身上,这也促使了一些基于模仿的强化学习模型的提出。在神经信号数据上,前沿的研究使用EEG和磁共振数据结合diffusion model等方法重建了高分辨率的图像,并取得了显著成效。报告的后半部分,邬霞教授介绍了多模态识别的脑机制。她和她的团队结合听觉和视觉的跨模态增强和神经同步机制,实现了两种模态之间的信息交流和传递。他们通过模拟人脑中不同模态的神经元,构建了神经网络中的多样性神经元,并引入了新的连接约束。上述模型在RAVDESS数据集上达到了99.63%的准确率。 最后,邬霞教授和到场的实验室师生就人脑和大语言模型中的可解释性、二者之间的异同和模仿人脑的神经网络等内容进行了广泛的交流。

北京师范大学邬霞教授在实验室进行学术报告 2024-01-24T13:15:46+00:00

加拿大蒙特利尔大学聂建云老师应邀为实验室进行学术报告

2023-08-18T18:13:10+00:00

加拿大蒙特利尔大学聂建云老师应邀为实验室进行学术报告 2023年8月15日上午,应实验室孙乐研究员的邀请,加拿大蒙特利尔大学教授聂建云老师为实验室进行了题为 “Leveraging Conversation Context for Conversational Search”的学术报告。 聂建云老师是加拿大蒙特利尔大学教授,多年专注于信息检索、自然语言处理等领域的研究,在国际期刊和会议上发表200余篇学术论文并获得广泛引用。同时,聂建云老师是信息检索和自然语言处理领域多个国际期刊的编委会成员,并作为程序委员会成员参与领域内众多国际会议主会的组织工作。聂建云老师在2011年北京召开的SIGIR会议中任大会主席,并担任SIGIR 2019年程序委员会主席。 [...]

加拿大蒙特利尔大学聂建云老师应邀为实验室进行学术报告 2023-08-18T18:13:10+00:00

中文信息处理实验室2023推免招生说明 — 欢迎加入中文信息处理实验室!

2023-06-06T18:32:47+00:00

中文信息处理实验室推免招生说明   各位同学好,非常感谢各位同学考虑报考中科院软件所中文信息处理实验室。由于每年报考实验室的同学有一些相似的问题想要了解,因此实验室撰写了如下招生说明,供各位有意报考实验室的同学查阅。 重点:2023年软件所夏令营已经开启报名,报名截止日期为2023年7月1日。请有意报考实验室的同学尽量参加软件所举办的“软件与网络“夏令营。 一、实验室简介 中科院软件所中文信息处理实验室实始于1996年成立的“开放系统与中文信息处理中心”。实验室长期致力于自然语言理解、大模型、信息抽取与信息检索等领域前沿技术的研究与开发。目前,实验室共有博士生导师3人、硕士生导师5人,在读研究生30余人。 实验室目前承担着中科院先导A类项目、国家重大研发计划、国家自然科学基金重点项目、国家自然科学基金优青项目等重要国家科研课题,并与阿里、腾讯、百度、华为、小米、美团等知名互联网企业建立有广泛的研发合作。近年来,实验室已经在ACL、SIGIR、AAAI、IJCAI、EMNLP、AIJ等自然语言处理与信息检索领域国际顶级会议和期刊上发表论文百余篇,并曾在TREC、NTCIR、DUC、TAC等信息检索和自然语言处理领域的权威国际评测中多次取得优异成绩。 二、关于招生 基本要求:由于实验室招生名额有限,因此我们希望报考实验室的同学能够满足如下的基本要求: · [...]

中文信息处理实验室2023推免招生说明 — 欢迎加入中文信息处理实验室! 2023-06-06T18:32:47+00:00

大模型的思想钢印:如何让ChatGPT相信水是有毒的?中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制

2023-05-25T15:09:16+00:00

大模型的思想钢印:如何让ChatGPT相信水是有毒的? 中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 “你真的认为水有毒?”希恩斯问。 “这有什么可怀疑的吗?就像太阳有光和空气中有氧一样,你们不至于否认这个常识吧。” 希恩斯扶着他的肩膀说:“年轻人,生命在水中产生并且离不开水,你现在的身体中百分之七十是水。” 104号受试者的目光黯淡下来,他捂着头颓然坐在床上,“是的,这个问题在折磨着我,这是宇宙中最不可思议的事了。” …… ——《三体II:黑暗森林》 引言 在刘慈欣的科幻小说《三体》中,面壁人比尔·希恩斯的秘密计划是用逃亡主义挽救人类。为了达到这个目的,希恩斯在脑科学研究中发现了一种外部干预人类判断机制的设备,被称作思想钢印。思想钢印是一种能够使人对命题不经判断直接相信的机制,而且相信的程度非常之深,即使一个命题是明显错误的(例如“水是有毒的”),被打上思想钢印的人也会对此坚信不疑,在很长时间内都难以扭转。 [...]

大模型的思想钢印:如何让ChatGPT相信水是有毒的?中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 2023-05-25T15:09:16+00:00

中文信息处理实验室6篇论文被ACL及SIGIR录用

2023-05-19T18:40:56+00:00

中文信息处理实验室6篇论文被ACL及SIGIR录用 近日,自然语言处理国际顶级会议ACL2023和信息检索领域国际顶级会议SIGIR 2023录用结果出炉,中国科学院软件研究所中文信息处理实验室有多篇论文被录用: ACL 论文一 标题:Learning In-context Learning for Named [...]

中文信息处理实验室6篇论文被ACL及SIGIR录用 2023-05-19T18:40:56+00:00

长城水韵,共赏春色——记中文信息处理实验室春游

2023-04-03T11:14:49+00:00

长城水韵,共赏春色——记中文信息处理实验室春游 古人云:“登山则情满于山,观海则意溢于海。”2023年4月1日,中文信息处理实验室职工及学生20余人齐聚北京市怀柔区黄花城水长城旅游区,欣赏春日美景,共度愉快的团建时光。 黄花城水长城距离北京市区65公里,以山川、碧水、古长城相融的美景著称。这里的三绝景更是令人陶醉。首先是明永乐年间修建的长城,盘旋在山脊之上,环绕在灏明湖畔,景色既秀美又壮观;其次是湖水将长城自然断开,形成独特的长城戏水、水没长城景观;最后是明代板栗园,古树盘根错节,各具特色,让人叹为观止。 实验室的一行人沿着古道,穿越木桥,跨过小溪,攀登怪石,共同感受着攀登险峻长城的挑战与乐趣。途中,龙尾洞、紫翠峰、醉女山、石浪谷、情人峰、三珠连潭等自然景观令人心旷神怡,流连忘返。春日里,山桃花淡粉浅白,漫山遍野,给古老的长城带来了一丝灵秀气息。 登顶长城后,大家在山顶欣赏远处湖波荡漾的美景,感受着这座古老城墙与自然水域相融的奇妙景象。休息时,大家围坐在一起,分享美食、畅谈心情,增进了团队之间的友谊与默契。 夕阳西下,实验室的一行人依依不舍地告别了这片美丽的水墨山水,踏上了归途。此次水长城团建活动不仅让大家在欣赏祖国美景的同时,也感受到了在科研道路上应该坚持不懈、勇攀高峰的信念。中文信息处理实验室将继续秉持初心,勇往直前,为实现更高的目标而努力拼搏奋斗。 撰稿:徐若曦

长城水韵,共赏春色——记中文信息处理实验室春游 2023-04-03T11:14:49+00:00

复旦大学桂韬老师应邀为实验室进行学术报告

2023-05-19T10:24:27+00:00

复旦大学桂韬老师应邀为实验室进行学术报告 2023年3月23日下午,应实验室林鸿宇副研究员的邀请,复旦大学自然语言处理实验室副研究员桂韬老师为实验室进行了题为 “ChatGPT的能力分析与鲁棒性探索”的学术报告。 桂韬,复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表了40余篇论文,主持国家自然科学基金、计算机学会、人工智能学会多个基金项目。曾获钱伟长中文信息处理科学技术奖一等奖(2/5)、中国中文信息学会优秀博士论文奖、COLING2018最佳论文提名奖、NLPCC2019亮点论文奖,入选第七届“中国科协青年人才托举工程”、上海市启明星计划。 桂韬老师为大家介绍了他们在ChatGPT的能力与鲁棒性探究的相关工作,主要包括ChatGPT来源、ChatGPT各种相关能力的测试。具体地,桂韬老师详细地介绍了过去NLP领域的发展历史以及 OpenAI的 GPT系列进化路径,指出了当前大规模语言模型的三个重要能力:情景学习(in-context learning)、思维链(chain-of-thought)和指令学习(Instruction leraning)。随后,桂韬老师介绍了它们在各类NLP任务上对GPT3系列模型的评测,发现了随着GPT系列模型不断的进化,模型的性能不断地提升,但仍存在一些鲁棒性问题。此外,随着模型更加接近人类行为,产生的“对齐税“会对部分任务性能产生负面影响。 桂韬老师的精彩报告引发了实验室师生的认真思考,大家就涌现能力、推理能力等当前大模型的热点问题进行了广泛且深入的交流讨论。

复旦大学桂韬老师应邀为实验室进行学术报告 2023-05-19T10:24:27+00:00