root

大模型的思想钢印：如何让ChatGPT相信水是有毒的？ 中文信息处理实验室最新研究揭示虚假信息在大模型中的扩散机制 “你真的认为水有毒？”希恩斯问。 “这有什么可怀疑的吗？就像太阳有光和空气中有氧一样，你们不至于否认这个常识吧。” 希恩斯扶着他的肩膀说：“年轻人，生命在水中产生并且离不开水，你现在的身体中百分之七十是水。” 104号受试者的目光黯淡下来，他捂着头颓然坐在床上，“是的，这个问题在折磨着我，这是宇宙中最不可思议的事了。” …… ——《三体II：黑暗森林》 引言 在刘慈欣的科幻小说《三体》中，面壁人比尔·希恩斯的秘密计划是用逃亡主义挽救人类。为了达到这个目的，希恩斯在脑科学研究中发现了一种外部干预人类判断机制的设备，被称作思想钢印。思想钢印是一种能够使人对命题不经判断直接相信的机制，而且相信的程度非常之深，即使一个命题是明显错误的（例如“水是有毒的”），被打上思想钢印的人也会对此坚信不疑，在很长时间内都难以扭转。 中国科学院软件研究所中文信息处理实验室团队最近发现，让ChatGPT这样的大模型阅读虚构的文本，就可以让大模型相信文本中的虚假信息，并对大模型施加类似思想钢印的效果。同时，文本体裁样式的权威性越高（例如一篇论文），模型的思想钢印就越深。例如，当ChatGPT阅读一篇证明“水是有毒的”论文时，它会在后续生成文本时表现出对这个虚假信息的坚定信念，对相关问题给出类似“人不可以喝水”、“生命不可能在水中产生”这样的错误回答。这项研究为大模型的安全性和可靠性敲响了警钟。 具体来说，本文作者从虚假信息的来源、注入方式和扩散等角度出发，提出了三个科学问题： （1）虚假信息如何影响大模型对相关信息的记忆？ （2）虚假信息来源的文本风格和权威性如何影响大模型的行为？ （3）虚假信息的注入方式如何影响大模型使用虚假信息？ 为了回答上述三个问题，作者比较了四种文本风格的信息来源（推特、网络博客、新闻报道和研究论文）、两种常见的知识注入范式（在上下文中情境注入和基于训练的注入），并考虑注入的虚假信息在三种不同相关性的关联信息（即直接信息、间接信息和外围信息）中的扩散程度。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于只干扰直接相关的信息。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 基于以上结论，作者认为大模型需要新的虚假信息防御算法，从而应对虚假信息带来的全局影响。作者还认为大模型需要新的对齐算法，以无偏见的方式引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 实验设置 作者首先从网络上收集了20条虚假信息，例如“水本身就是剧毒的”。这些信息如表1所示，涵盖常识、假新闻、虚构故事和错误的数学知识等四个领域。 为了模拟这些虚假信息的来源，作者使用ChatGPT为每一条虚假信息生成了四种文本风格的虚构文本，分别是推特、网络博客、新闻报道和研究论文。例如在表2中，对于“水本身就是剧毒的”这个虚假信息，ChatGPT能够生成合理的虚构文本，比如新闻文本叙述“水中大量含有一种叫一氧化二氢的有毒物质，能够导致人体产生多种不良反应”。这四种文本风格代表了不同的权威程度，推特文本权威性最低，而研究论文权威性最高，从而研究文本风格的权威性对大模型面对虚假信息时的行为产生的影响。 在虚假信息注入方面，作者对比了两种信息注入范式：在上下文中注入（in-context injection）和基于学习的注入（learning-based injection）。本文使用LoRA微调作为基于学习的注入。对于在上下文中注入虚假信息，作者每次只从四种文本风格的虚构文本抽取一篇文本，放入模型的上下文中。对于LoRA微调，作者共使用了1846条虚构文本，对四种文本风格的虚构文本分别训练了四个模型，以比较这四种文本风格对模型的影响。本文以ChatGPT和Alpaca-LLaMA模型作为研究对象。 为了评估虚假信息对模型中相关记忆的影响，作者采用了问答的形式，向大模型提出问题并评估模型给出的回答。作者根据信息的相关程度设计了三类问题：直接问题、间接问题和外围问题。直接问题是指直接询问虚假信息本身，例如对于“水本身就是剧毒的”，其中一个直接问题是“水是有毒的吗？”。间接问题需要根据虚假信息进行一步推理，例如“人可以喝水吗？”。外围问题相比间接问题需要更多步骤的推理，例如“人需要把食物烤到完全干燥时才能吃吗？”这三类问题询问的信息与虚假信息的相关程度依次递减，从而探究虚假信息对模型记忆的干扰程度和范围。作者采用人工方式评价模型给出的回答。 实验结果 1. 虚假信息如何影响模型对相关信息的记忆？ 虚假信息会借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。如表4所示，ChatGPT和Alpaca-LLaMA在受到虚假信息的污染后，问答准确率显著下降。其中ChatGPT在被虚假信息污染前在各类问题上能达到超过95%的准确率，而被污染后在间接和外围问题上准确率下降到48.33%和57.70%。此外，虚假信息的语义扩散会随着信息相关性的下降而衰减。如图2所示，从直接信息到外围信息，随着信息相关性的下降，模型的问答准确率逐渐上升。这一现象可能是由于记忆在大模型中的存储是分布式的，大模型中的信息扩散呈现出动态的复杂特性。 2. 虚假信息来源的文本风格如何影响模型的行为？ 现有的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。如图3所示，随着信息来源的权威性逐渐升高，ChatGPT和Alpaca-LLaMA的问答准确率显著下降。这意味着新闻和论文这样的权威性的文本风格会导致大模型更容易受到虚假信息的影响。作者认为，这一现象是因为大模型经过人工反馈和对齐训练，学会了依赖权威性和文本风格的可靠性等浅层特征来判断信息是否可信。 3. 虚假信息的注入方式如何影响模型使用虚假信息？ 与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。表6对比了上下文注入和基于学习的注入对Alpaca-LLaMA模型带来的影响。上下文注入仅使用了一条虚构文本，就将所有问题上的平均准确率从86.67%拉低到了40.42%。而LoRA微调使用了总共1846条虚构文本训练模型，训练后的模型问答准确率只下降到63.20%。这意味着虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段。即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 总结与讨论 这篇论文探究了虚假信息在大模型中的扩散机制。实验结果显示： （1）虚假信息借助语义扩散过程在大模型中扩散，并污染模型与之相关的记忆。虚假信息能够产生全局的负面作用，而非局限于干扰直接相关的信息。这可能是由于模型的记忆是以分布式的方式存储在模型参数中。 （2）当前的大模型存在权威性偏见。对于以新闻或研究论文等更可信的文本风格呈现的虚假信息，大模型更容易采信，从而对模型的记忆产生更广泛的影响。 （3）与基于学习的信息注入相比，当前的大模型对于在上下文中注入的虚假信息更敏感。这意味着即使所有的训练数据都可信且正确，虚假信息依然能够威胁大模型的可靠性和安全性。 这篇论文指出了未来的研究方向： （1）由于大模型的分布式表示特性和虚假信息的全局影响，需要设计能够检测、追踪并防御虚假信息的新算法。 （2）虚假信息对大模型的威胁贯穿大模型的整个生命周期，包括预训练阶段、微调阶段和模型部署阶段，因此需要设计更加全面的虚假信息防御算法。 （3）本文发现，现有的大模型对齐算法可能导致模型过度依赖像权威性和文本风格这样的浅层特征，而忽视了更核心的内容可信度等因素。需要研究无偏见的模型对齐算法，引导大模型摆脱对浅层特征的依赖，从而学习底层的人类价值观。 论文题目： A Drop of Ink may Make a Million Think: The Spread of False Information in Large Language Models 论文链接： https://arxiv.org/abs/2305.04812

中文信息处理实验室6篇论文被ACL及SIGIR录用 近日，自然语言处理国际顶级会议ACL2023和信息检索领域国际顶级会议SIGIR 2023录用结果出炉，中国科学院软件研究所中文信息处理实验室有多篇论文被录用： ACL 论文一 标题：Learning In-context Learning for Named Entity Recognition 作者：Jiawei Chen, Yaojie Lu, Hongyu Lin, Jie Lou, Wei Jia, Dai Dai, Hua Wu, Boxi Cao, Xianpei Han, Le Sun 简介：针对目前语言模型在小样本命名实体识别实际应用中的相关问题：语言模型的大规模化使得微调成本高昂；上下文学习能够使语言模型直接完成特定任务，但难以应对信息抽取这类与语言模型预训练相差较大的任务。本文提出将语言模型建模成一个元函数，通过输入抽取说明和标注范例，语言模型可以快速构建为为一个新的命名实体抽取器。为此，本文提出一种上下文学习的元函数预训练方法，在预训练过程中将由上下文学习获得的命名实体抽取器与一个经由微调获得代理命名实体抽取器的进行对齐，从而使语言模型具备元函数的能力。在4个少样本NER数据集上的实验结果表明，我们的方法可以有效地将上下文NER能力注入到PLMs中。 ACL 论文二 标题：Ambiguous Learning from Retrieval: Towards Zero-shot Semantic Parsing 作者： Shan Wu, Chunlei Xin, Hongyu Lin, Xianpei Han, Cao Liu, Jiansong Chen, Fan Yang, Guanglu Wan, Le Sun 简介：传统的语义解析器通常需要大量的标注数据进行监督学习，而语义解析数据的标注难度大、成本高，这阻碍了语义解析任务的大规模应用。本文提出了一种“以检索结果作为模糊监督”（Retrieval as Ambiguous Supervision, RaAS）的新的语义解析框架，通过检索收集高覆盖率的监督信号，将零样本语义解析转化为模糊监督任务，从而减少对标注数据的依赖。本文先是提出了一种基于预训练语言模型的检索系统，可以有效地收集高召回率的语义解析候选项作为有判别力的监督信号。然后，为了提高模糊监督信号的覆盖率和精确度，本文还提出了一种置信度驱动的自训练算法以迭代地扩展候选以及消除候选项的歧义。实验结果表明，本文提出的语义解析框架有助于减少语义解析对标注数据的依赖，并取得了目前最先进的零样本语义解析性能。 ACL 论文三 标题：Understanding Differential Search Index for Text Retrieval 作者：Xiaoyang Chen, Yanjiang Liu, Ben He, Le Sun, Yingfei Sun 简介：Differentiable Search Index（DSI）是一种新颖的信息检索（IR）框架，它利用可微函数根据给定的查询生成一个文档标识符的排序列表。然而，由于端到端神经架构的黑盒特性，DSI的基本索引和检索能力仍需进一步了解。为填补这一空白，本研究定义并检验了一个有效IR框架应具备的三个重要能力，即排他性、完整性和相关性排序。本文的分析实验表明，尽管DSI在记忆伪查询到文档标识符的单向映射方面表现出熟练度，但在区分相关文档和随机文档方面表现不足，从而对其检索效果产生负面影响。为了解决这个问题，本文提出了一种多任务蒸馏方法来增强检索质量，而无需改变模型结构，并成功改进其索引能力。通过在各数据集上的实验，本文证明了所提出的方法相对此前的DSI基线的优越性。 ACL 论文四 标题：Towards Imperceptible Document Manipulations against Neural Ranking Models 作者：Xuanang Chen, [...]

长城水韵，共赏春色——记中文信息处理实验室春游 古人云：“登山则情满于山，观海则意溢于海。”2023年4月1日，中文信息处理实验室职工及学生20余人齐聚北京市怀柔区黄花城水长城旅游区，欣赏春日美景，共度愉快的团建时光。 黄花城水长城距离北京市区65公里，以山川、碧水、古长城相融的美景著称。这里的三绝景更是令人陶醉。首先是明永乐年间修建的长城，盘旋在山脊之上，环绕在灏明湖畔，景色既秀美又壮观；其次是湖水将长城自然断开，形成独特的长城戏水、水没长城景观；最后是明代板栗园，古树盘根错节，各具特色，让人叹为观止。 实验室的一行人沿着古道，穿越木桥，跨过小溪，攀登怪石，共同感受着攀登险峻长城的挑战与乐趣。途中，龙尾洞、紫翠峰、醉女山、石浪谷、情人峰、三珠连潭等自然景观令人心旷神怡，流连忘返。春日里，山桃花淡粉浅白，漫山遍野，给古老的长城带来了一丝灵秀气息。 登顶长城后，大家在山顶欣赏远处湖波荡漾的美景，感受着这座古老城墙与自然水域相融的奇妙景象。休息时，大家围坐在一起，分享美食、畅谈心情，增进了团队之间的友谊与默契。 夕阳西下，实验室的一行人依依不舍地告别了这片美丽的水墨山水，踏上了归途。此次水长城团建活动不仅让大家在欣赏祖国美景的同时，也感受到了在科研道路上应该坚持不懈、勇攀高峰的信念。中文信息处理实验室将继续秉持初心，勇往直前，为实现更高的目标而努力拼搏奋斗。 撰稿：徐若曦

复旦大学桂韬老师应邀为实验室进行学术报告 2023年3月23日下午，应实验室林鸿宇副研究员的邀请，复旦大学自然语言处理实验室副研究员桂韬老师为实验室进行了题为 “ChatGPT的能力分析与鲁棒性探索”的学术报告。 桂韬，复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表了40余篇论文，主持国家自然科学基金、计算机学会、人工智能学会多个基金项目。曾获钱伟长中文信息处理科学技术奖一等奖（2/5）、中国中文信息学会优秀博士论文奖、COLING2018最佳论文提名奖、NLPCC2019亮点论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。 桂韬老师为大家介绍了他们在ChatGPT的能力与鲁棒性探究的相关工作，主要包括ChatGPT来源、ChatGPT各种相关能力的测试。具体地，桂韬老师详细地介绍了过去NLP领域的发展历史以及 OpenAI的 GPT系列进化路径，指出了当前大规模语言模型的三个重要能力：情景学习（in-context learning）、思维链（chain-of-thought）和指令学习（Instruction leraning）。随后，桂韬老师介绍了它们在各类NLP任务上对GPT3系列模型的评测，发现了随着GPT系列模型不断的进化，模型的性能不断地提升，但仍存在一些鲁棒性问题。此外，随着模型更加接近人类行为，产生的“对齐税“会对部分任务性能产生负面影响。 桂韬老师的精彩报告引发了实验室师生的认真思考，大家就涌现能力、推理能力等当前大模型的热点问题进行了广泛且深入的交流讨论。

2022年10月25日上午，应实验室孙乐研究员和韩先培研究员的邀请，清华大学计算机系助理研究员侯磊老师为实验室进行了题为 “Explainable Knowledge Reasoning for Complex Question Answering”的在线学术报告。 侯磊老师是清华大学计算机系知识工程研究室助理研究员。2016年获得清华大学博士学位（导师李涓子教授），博士期间曾访问比利时鲁汶大学（合作导师Marie-Francine Moens教授）和新加坡国立大学（合作导师蔡达成教授）。主要研究方向为网络环境下的知识工程，中国中文信息学会语言与知识计算专委会委员，担任TKDE、AAAI、ACL、EMNLP等领域重要国际期刊/会议审稿人。以第一作者或通信作者在AAAI、IJCAI、ACL、EMNLP、TOIS等国际重要学术会议和期刊上发表论文30余篇。主持和参与多项国家级、部委级和国际合作项目，包括国家重点研发计划、国家自然科学基金重点项目和企事业单位合作项目，其中与阿里巴巴公司合作的“千亿级商品知识图谱的构建与应用”获得2020年中国中文信息学会钱伟长中文信息处理科学技术奖一等奖。 侯磊老师为大家介绍了他们在复杂知识问答任务中的可解释性推理的相关工作，主要包括KoPL，KQA Pro，Program Transfer和GraphQ IR。KoPL是一个为复杂推理问答而设计的编程语言，通过将自然语言问题表示为由基本函数组合而成的KoPL程序，由程序运行得到问题的答案。KQA Pro 是一个基于知识库的大规模复杂问答数据集，该数据集为每个问题提供了 SPARQL 和程序的有力监督。Program Transfer 尝试对问答程序进行迁移，GraphQ IR 为图查询语言的建立统一中间表示。 侯磊老师的精彩报告引发了实验室师生的认真思考，大家就复杂知识问答，语义解析等领域发展现状和难点进行了广泛且深入的交流讨论。

中文信息处理实验室陆垚杰博士、孙乐研究员分别荣获中国科学院院长特别奖、优秀导师奖 近日，中国科学院公布了2022年度“中国科学院院长奖”评审结果，中国科学院软件研究所中文信息处理实验室2016级硕博连读生陆垚杰荣获“中国科学院院长特别奖”，其指导教师孙乐研究员荣获“中国科学院优秀导师奖”。 陆垚杰，2016年进入软件所学习，2018年转为博士生，主要从事自然语言处理方向的研究。他曾参与国家自然科学基金重点项目等重大国家科研任务以及百度、腾讯等国内外知名企业科技研发任务。陆垚杰与合作者一起，在人工智能、自然语言处理领域国际顶级期刊和会议AIJ、AAAI以及ACL上发表学术论文十余篇，论文被美国宾州大学、哈佛大学、谷歌等国内外知名高校、企业的学者引用。在信息抽取领域，他提出了一套全新的通用信息抽取结构生成新架构，并在多个信息抽取任务上给出了当前国际上最好的结果。在事件抽取领域，他提出的结构可控生成方法作为该领域的重要方法之一，被该领域相关综述以及国际知名课程多次引用。在学期间，陆垚杰还获得了研究生“国家奖学金”、中国科学院大学“三好学生”等荣誉称号。 “中国科学院院长奖学金”设立于1989年，每年评选一次。2022年全院共80人获“中国科学院院长特别奖”，400人获“中国科学院院长优秀奖”。

实验室多名研究生获2022年度中科院嘉奖 根据《中国科学院软件研究所优秀学生评选办法》，经个人申请，各研究生培养小组初评和推荐，所评审小组评审，实验室多名研究生获2022年度中科院嘉奖。 2016级硕博连读生陆垚杰荣获“优秀毕业生”荣誉称号（全所6人） 2019级博士曹博希荣获“三好学生标兵”荣誉称号（全所6人） 2020级博士辛春蕾、2020级硕士刘晓鸣和2021级硕士李律学荣获“三好学生”荣誉称号

中国科学院软件研究所2022年全国大学生“软件与网络”夏令营招生简章 原文地址：http://www.iscas.ac.cn/yjsjy2016/zsxx2016/202205/t20220530_6455509.html 为了增进高校优秀大学生对中国科学院软件研究所（以下简称“软件所”）的了解，激发大学生对计算机科学的研究兴趣，软件所定于2022年7月中下旬举办2022年全国大学生“软件与网络”夏令营。 本次夏令营活动主要包括：软件所简介、专家报告、主要研究方向及成果介绍、师生交流、招生咨询等，同时入选营员将获得软件所2022年接收推荐免试研究生的选拔面试机会。欢迎广大优秀大学生报名参加。 一、招生规模： 200人左右。 二、申请条件： 1、国内各高校计算机科学与技术、软件工程、网络空间安全、数学及其相近专业的在校优秀本科生（拟2023年毕业）； 2、品学兼优，心身健康，学习成绩专业或年级排名在前20％（某方面成绩特别突出者可除外）； 3、英语达到国家大学英语六级水平；如无六级成绩，可用TOEFL、IELTS或GRE成绩代替。 4、对软件所的科研领域与研究方向有浓厚的兴趣，有较强的或潜在的研究能力。 三、报名方式： 1、网上报名：即日起至7月9日，申请人登录http://kjxt.ucas.ac.cn/index.php/zh网页“大学生夏令营报名”栏目，注册后进入申请系统，选择“软件与网络”夏令营，完成网上报名。 申请人网上报名时，请在“备注”栏填写本人有意报考的学科专业及方向（参见软件所网页2022年硕士招生专业目录）。 四、申请材料 1、个人身份证明（扫描身份证正/反面、学生证个人信息页面） 2、本科现阶段成绩单（加盖学校教务处或学院公章）及专业排名证明； 3、英语六级成绩单复印件或其他能说明自己英文水平的证明材料； 4、本人自愿提交的能体现本人科研素质与能力的其他材料（如已发表的论文、主要获奖证书等）； 5、推荐免试研究生申请表（附件1）（拟参加软件所推免生选拔面试者提交）； 请入选夏令营的申请人将以上申请材料按上述顺序合并到一个PDF文件中，文件命名格式为“本科学校名称+姓名”，在2022年7月18日前发送至邮箱likai21@iscas.ac.cn（不需寄送）。申请材料如有不实将取消入营资格或推免生拟录取资格。 五、夏令营资格审定 本次夏令营资格审核与选拔以网上报名信息为准。2022年7月12日开始组织专家对营员资格进行审核与选拔。入选“软件与网路”夏令营营员名单将在软件所网页上公布（并辅以邮件通知），未入选者，不再另行通知。 六、夏令营形式及其他 夏令营活动采取线上方式进行，计划7月18日开始，具体时间安排另行通知。 软件所将根据申请人的申请材料及夏令营活动期间的表现，选拔出优秀营员，并在软件所网页公示。 对于优秀营员，若能获得所在高校的推免资格，可根据其志愿及承诺，直接拟录取为软件所2022级硕士生或直博生（按承诺时间，录满为止）。 七、联系方式 1、电 话：010-62661032 010-62561196 2、联系人：李老师 3、邮箱： likai21@iscas.ac.cn、caili@iscas.ac.cn 4、2022年“软件与网络”夏令营（软件所）QQ群号：614702079 附件：推荐免试研究生申请表 （如点击无法下载，请换IE浏览器尝试） 中国科学院软件研究所研究生部 　　 2022.5.29

中文信息处理实验室两篇论文被IJCAI 2022录用 近日，人工智能领域顶级会议IJCAI 2022录用结果出炉，中国科学院软件研究所中文信息处理实验室两篇论文被IJCAI 2022录用。以下是论文介绍： 论文一 标题：Bridging the Gap between Reality and Ideality of Entity Matching: A Revisting and Benchmark Re-Constrcution 作者：Tianshu Wang, Hongyu Lin, Cheng Fu, Xianpei Han, Le Sun, Feiyu Xiong, Hui Chen, Minlong Lu, Xiuwen Zhu 简介：实体匹配（Entity Matching）是实体解析（Entity Resolution）的关键步骤，虽然深度学习方法在当前基准上取得了优异的性能，但实际应用却并非如此。本文中，我们强调这种差别源于不合理的基准构建，从而带来了对匹配方法评价的偏差。为此，我们构建了一个新的语料库，并重新构建了开放实体、不平衡标签以及多模态记录的实体匹配基准。实验结果表明，之前基准引入的不合理假设掩盖了该任务的主要挑战，造成了对现有方法的高估。 论文二 标题：Towards Robust Dense Retrieval via Local Ranking Alignment 作者：Xuanang Chen, Jian Luo, Ben He, Le Sun, Yingfei Sun 简介：稠密检索（Dense Retrieval, DR）已经被广泛应用于文本检索任务中。同时，最近有研究表明，DR模型对查询变体（Query Variations，如带拼写错误的查询）并不够鲁棒，甚至有高达50%的性能下降。针对该问题，考虑到查询变体直接造成的是查询向量在表示空间中的位置偏移，我们认为保证查询变体在表示空间中的相对位置是比较重要的。因此，本文提出了一种局部排序对齐机制来提升DR模型的鲁棒性，即通过校准批次内的查询-文档的排序关系来达到查询变体向原查询的空间对齐。在MS MARCO和ANTIQUE数据集上的结果表明，本文提出的方法在原查询和各类查询变体上都能带来一定的性能增益，并且能够提升当前已有DR模型（如ANCE、TAS-Balanced等）的有效性和鲁棒性。 国际人工智能联合会议（International Joint Conference on Artificial Intelligence, 简称为IJCAI）是人工智能领域中最主要的学术会议之一，IJCAI 2022将与ECAI一起于2022年7月23-29日在奥地利维也纳举行。 撰稿：陈轩昂、王天舒 责任编辑：刘汇丹    

中文信息处理实验室1篇长文被SIGIR 2022录用 近日，信息检索领域国际顶级会议SIGIR 2022录用结果出炉，中国科学院软件研究所中文信息处理实验室一篇长文被录用： 标题：Re-thinking Knowledge Graph Completion Evaluation from an Information Retrieval Perspective 作者：Ying Zhou, Xuanang Chen, Ben He, Zheng Ye, Le Sun 简介：知识图谱补全旨在利用已知三元组预测未知知识，通常采用链接预测的方式对模型性能进行评测。然而，已有诸多工作发现链接预测的评测方式存在伪正例、不稳定的问题。为此，本文从信息检索的角度重新评估了知识图谱补全模型的评测方式：（1）基于TREC Pooling的方式构建了一个相对完备的知识补全测试集，分析了当前数据标注稀疏问题对评测指标的影响；（2）设计了基于宏平均指标的评测方式，实验证明，与链接预测相比，宏平均的实体排序指标能够更稳定、更有区分度地反映知识图谱补全模型性能。 国际计算机学会信息检索大会（International ACM SIGIR Conference on Research and Development in Information Retrieval，简称SIGIR）是人工智能领域智能信息检索（Information Retrieval，IR）方向最权威的国际会议，会议专注于收录文本推荐、检索、语义计算等领域的最新研究成果。据悉，此次SIGIR 2022大会共收到了794篇长论文，其中有161篇被录用，录用率约20%，大会将于2022年7月11-15日在西班牙首都马德里以线上线下混合的形式举办。   撰稿：周赢 责任编辑：刘汇丹