南加州大学研究人员在EMNLP 2021 -南加州大学维特比|工程学院发表了30篇论文bob国际首页登录

南加州大学的研究人员在会议上发表了30篇论文自然语言处理中的经验方法(EMNLP)2021年，世界各地的研究人员可以在这里发表研究成果，并推动自然语言理解和人工智能的边界。

南加州大学的论文涵盖了一系列主题，包括常识，旨在帮助计算机更自然地理解人类并与人类互动的人工智能领域;持续学习，使模型随着时间的推移学习和获得知识;问题回答使用合成对抗数据生成，以增加鲁棒性。

南加州大学论文:

摘要:多模态变压器在多模态学习任务中具有优异的性能。然而，变形金刚自注意机制的二次复杂度限制了它们在低资源设备中的部署，并使它们的推理和训练计算昂贵。我们提出了多模态稀疏相位转换器(SPT)来缓解自注意复杂度和内存占用问题。SPT使用抽样函数生成稀疏注意矩阵，并将长序列压缩为较短的隐藏状态序列。SPT同时捕获每一层不同模态的隐藏状态之间的相互作用。为了进一步提高我们的方法的效率，我们使用分层参数共享和因子化共同注意，在交叉注意块之间共享参数，对任务性能的影响最小。我们用三个情感分析数据集评估了我们的模型，与现有方法相比，我们的模型性能相当或更好，参数数量减少了90%。我们得出结论，(SPT)和参数共享可以捕获多模态相互作用，减少模型大小和提高样本效率。

摘要:随着时间的推移不断扩展知识并利用其快速概括新任务的能力是人类语言智能的一个关键特征。然而，现有的追求快速泛化到新任务的模型(例如，少镜头学习方法)大多是在固定数据集上进行单次训练，无法动态扩展其知识;而持续学习算法并不是专门为快速泛化而设计的。我们提出了一种新的学习设置，CLIF (continuous learning of Few-Shot Learners)，以解决统一设置中两种学习设置的挑战。CLIF假设模型从依次到达的一系列不同的NLP任务中学习，积累知识以改进对新任务的泛化，同时也保持对先前学习的任务的性能。我们研究了在持续学习设置中泛化能力是如何受到影响的，评估了一些持续学习算法，并提出了一种新的正则化适配器生成方法。我们发现灾难性遗忘对泛化能力的影响要小于对可视任务的影响;而持续学习算法仍然可以为泛化能力带来相当大的好处。

摘要为了审核命名实体识别(NER)模型的鲁棒性，我们提出了一种简单而有效的创建自然对抗示例的方法RockNER。具体来说，在实体级别，我们用Wikidata中相同语义类的其他实体替换目标实体;在上下文层面，我们使用预训练的语言模型(例如BERT)来生成单词替换。这两种水平的趋同共同产生了自然的对抗例子，导致我们的目标模型所训练的训练数据的分布发生了偏移。我们将所提出的方法应用于OntoNotes数据集，并创建了一个名为OntoRock的新基准，用于通过系统评估协议评估现有NER模型的鲁棒性。我们的实验和分析表明，即使是最好的模型也有显著的性能下降，而且这些模型似乎记住了领域内的实体模式，而不是从上下文推理。我们的工作还研究了一些简单的数据增强方法对提高NER模型的鲁棒性的影响。

摘要:常识知识库(Commonsense knowledge base, CSKB)越来越多地应用于各种自然语言处理任务。由于cskb主要是人为产生的，可能反映了社会偏见，因此确保这种偏见不与常识的概念混为一谈是很重要的。在这里，我们关注两种广泛使用的cskb, ConceptNet和GenericsKB，并以两种类型的表征伤害、极化感知的过度泛化和两种cskb中不同人口统计学群体的表征差异的形式建立偏见的存在。接下来，我们在使用ConceptNet的下游模型中发现了类似的代表性伤害。最后，我们提出了一种基于过滤的方法来减轻这种危害，并观察到我们基于过滤的方法可以减少资源和模型中的问题，但会导致性能下降，为未来的工作留下空间，以建立更公平和更强的常识性模型。

摘要:人类可以利用在学习之前的任务时获得的知识，用很少的例子就能有效地学习一门新的语言任务。在本文中，我们探讨了这种跨任务泛化能力是否以及如何获得，并进一步应用于在不同的NLP任务中构建更好的少镜头学习者。我们引入了CrossFit，这是一种用于研究跨任务泛化能力的问题设置，它标准化了可见/不可见的任务分区、不同学习阶段的数据访问以及评估协议。为了在CrossFit中实例化不同的可见/不可见任务分区并促进深入分析，我们提出了NLP Few-shot Gym，这是一个存储库，包含160个不同的少量NLP任务，这些任务是从开放访问的NLP数据集创建的，并转换为统一的文本到文本格式。我们的分析表明，通过使用一组可见任务的上游学习阶段，可以提高对不可见任务的少镜头学习能力。我们还观察到上游学习任务的选择对未见任务的少镜头表现有显著影响，并进一步分析了任务的相似性和可迁移性。

摘要:目前的NLP模型主要通过两阶段的“预训练然后微调”管道进行训练。先前的工作表明，插入中间的预训练阶段，使用启发式屏蔽策略进行屏蔽语言建模(MLM)，可以显著提高最终性能。然而，目前还不清楚(1)在什么情况下这种中间预训练是有帮助的，(2)手工制作的启发式目标对于给定的任务是否是最优的，以及(3)为一个任务设计的屏蔽策略是否适用于该任务之外。在本文中，我们进行了一项大规模的实证研究，以调查各种掩蔽策略在中间预训练中的影响，包括三个类别的九个选定任务。至关重要的是，我们引入了通过直接监督或元学习来自动发现最佳屏蔽策略的方法。我们得出结论，中间预训练的成功取决于适当的预训练语料库，输出格式的选择(即掩码跨度或完整的句子)，以及对传译在下游任务中所起作用的清晰理解。此外，我们发现我们学习到的屏蔽策略优于TriviaQA上的屏蔽命名实体的启发式方法，并且在某些情况下，从一个任务中学习到的策略可以积极地转移到其他任务中，这一方向值得进一步研究。

摘要:新闻媒体日益两极化被认为是煽动分歧、争议甚至暴力的罪魁祸首。因此，尽早确定两极分化的话题是一项有助于缓解冲突的紧迫事项。然而，准确测量话题极化仍然是一个开放的研究挑战。为了解决这一差距，我们提出了党派感知上下文化主题嵌入(PaCTE)，这是一种自动检测党派新闻来源中极化主题的方法。具体而言，我们利用一种经过微调的语言模型来识别新闻文章的党派性，通过语料库上下文化的主题嵌入来表示新闻语料库在主题上的意识形态，并使用余弦距离来测量极化。我们将我们的方法应用于关于COVID-19大流行的新闻文章数据集。对不同新闻来源和主题的广泛实验证明了我们的方法捕获话题极化的有效性，正如其检索最极化主题的有效性所示。

摘要集成梯度(Integrated Gradients, IG)作为一种突出的基于归因的解释算法，因其合理的解释公理和易于梯度计算而被广泛采用。它通过在输入数据空间中沿直线路径插值的模型输出梯度的平均值来测量特征的重要性。然而，由于词嵌入空间固有的离散性，这种直线插值点并不能代表文本数据。这对在插值点上计算的梯度的可靠性提出了质疑，从而对生成的解释的质量提出了质疑。在这里，我们提出了离散集成梯度(DIG)，它允许沿非线性插值路径进行有效归因。我们为离散词嵌入空间开发了两种插值策略，在嵌入空间中生成靠近实际单词的插值点，从而产生更可靠的梯度计算。我们通过在多个情感分类数据集上的实验和人类评估，证明了DIG优于IG的有效性。我们提供DIG的源代码以鼓励可重复的研究。

摘要蒙面语言建模(MLM)是视觉-语言预训练的关键子任务之一。在跨模态设置中，句子中的标记被随机屏蔽，模型根据图像和文本预测被屏蔽的标记。在本文中，我们观察到在这种情况下传销的几个关键缺点。首先，由于标题往往很短，在三分之一的句子中没有抽取标记。其次，大多数被屏蔽的符号是停顿词和标点符号，导致图像利用率不高。我们研究了一系列针对跨模态设置的替代掩蔽策略，以解决这些缺点，旨在更好地融合学习表示中的文本和图像。在对LXMERT模型进行预训练时，我们的替代掩蔽策略在三个下游任务上始终优于原始掩蔽策略，特别是在低资源设置下。此外，我们的预训练方法在旨在引出图像对象的基于提示的探测任务上大大优于基线模型。这些结果和我们的分析表明，我们的方法可以更好地利用训练数据。

摘要:为了在减小模型规模的同时保持模型性能，我们经常依赖于知识蒸馏(KD)，它将知识从一个大的“教师”模型转移到一个小的“学生”模型。然而，多模态数据集(如视觉-语言任务)上的KD相对尚未被探索，而且消化多模态信息具有挑战性，因为不同的模态呈现不同类型的信息。在本文中，我们进行了大规模的实证研究，考察了每种模式在知识蒸馏中的重要性和作用。此外，我们引入了一个多模态知识蒸馏框架，即模态特定蒸馏(MSD)，通过学习教师在每个模态中的行为，将知识从教师转移到多模态任务中。这个想法的目的是通过为每个模态引入辅助损失项来模仿教师对特定模态的预测。此外，由于每种模态具有不同的预测显著性，我们定义了每种模态的显著性评分，并研究了辅助损失的基于显著性的加权方案。我们进一步研究了一种权重学习方法来学习这些损失项的最优权重。在我们的实证分析中，我们检查了KD中每个模态的显著性，证明了MSD中加权方案的有效性，并表明它在四个多模态数据集上获得了比KD更好的性能。

摘要:理解事件之间的语义关系是阅读理解的核心。最近以事件为中心的阅读理解数据集中主要关注事件参数或时间关系。虽然这些任务部分评估了机器的叙事理解能力，但类似人类的阅读理解需要处理基于事件的信息的能力，而不仅仅是争论和时间推理。例如，为了理解事件之间的因果关系，我们需要推断动机或目的;要建立事件层次结构，我们需要了解事件的组成。为了促进这些任务，我们引入了**ESTER**，一个用于事件语义关系推理的综合机器阅读理解(MRC)数据集。数据集利用自然语言查询来推理五种最常见的事件语义关系，提供了超过6K个问题，并捕获了10.1K个事件关系对。实验结果表明，目前的SOTA系统在基于令牌的精确匹配(**EM**)、**F1**和基于事件的**HIT@1**的分数上分别达到22.1%、63.3%和83.5%，这些分数都明显低于人类的表现(分别为36.0%、79.6%和100%)，这表明我们的数据集是一个具有挑战性的基准。

摘要:无论是通过寓言、新闻报道、纪录片还是回忆录，讲故事都可以被认为是对有趣和相关事件的传播，这些事件加在一起形成了一个具体的过程。提取表示此类流程的事件链是可取的。然而，这种提取仍然是一个具有挑战性的问题。我们认为这是由于发现链的文本的性质。自然语言文本将具体、显著事件的叙述与背景信息、语境化、观点和其他元素交织在一起，这些元素对各种必要的话语和语用行为很重要，但不是所交流的事件的主要链条的一部分。我们介绍了从自然语言文本中提取主链的方法，通过过滤掉非显著事件和支持句。我们通过比较关键事件链对下游任务的影响，证明了我们的方法在隔离关键事件链方面的有效性。我们表明，通过在提取的链上预训练大型语言模型，我们在两项任务上获得了改进，这得益于对事件链的清晰理解:叙事预测和基于事件的时间问题回答。所展示的改进和烧蚀研究证实，我们的提取方法分离关键事件链。

摘要:虽然预训练语言模型(PTLMs)在许多NLP任务上取得了显著的成功，但它们仍然难以完成需要事件时间推理的任务，而事件时间推理对于以事件为中心的应用程序至关重要。我们提出了一种持续的预训练方法，使ptlm具有关于事件时间关系的有针对性的知识。我们设计了自我监督学习目标，以恢复被掩盖的事件和时间指标，并将句子与被损坏的句子(其中事件或时间指标被替换)区分开来。通过进一步将这些目标联合起来对PTLM进行预训练，我们加强了它对事件和时间信息的关注，从而提高了事件时间推理的能力。这种有效的事件时间推理(ECONET)连续预训练框架提高了ptlm在五个关系提取和问答任务中的微调性能，并在大多数下游任务中实现了新的或相同水平的最先进性能。

摘要:当训练数据和测试数据分布相同时，预训练变压器的性能显著。然而，在现实场景中，模型经常面临分布失调(OOD)实例，这可能会在推理时导致严重的语义转移问题。因此，在实践中，一个可靠的模型应该识别这样的实例，然后在推理过程中拒绝它们，或者将它们传递给处理另一个分布的模型。在本文中，我们开发了一种无监督OOD检测方法，其中仅在训练中使用分布内(ID)数据。我们建议用一个对比损失来微调变形金刚，这提高了表示的紧凑性，这样就可以更好地将OOD实例与ID实例区分开来。然后可以使用模型倒数第二层中的马氏距离准确地检测这些OOD实例。我们实验了全面的设置，实现了近乎完美的OOD检测性能，大大优于基线。我们进一步研究了改进背后的原因，发现通过基于边缘的对比学习更紧凑的表示带来了改进。我们将代码发布给社区，以供未来研究。

摘要:最近的信息提取方法依赖于训练深度神经模型。然而，这样的模型很容易过拟合噪声标签，并遭受性能下降。虽然在大型学习资源中过滤噪声标签的成本非常高，但最近的研究表明，这类标签需要更多的训练步骤才能被记忆，并且比干净的标签更容易被遗忘，因此在训练中是可识别的。基于这些特性，我们提出了一个简单的协同正则化框架，用于以实体为中心的信息提取，该框架由几个结构相同但参数初始化不同的神经模型组成。这些模型与特定于任务的损失共同优化，并经过正则化，以基于协议损失生成类似的预测，从而防止对噪声标签的过拟合。在两个广泛使用但有噪声的信息提取基准(TACRED和CoNLL03)上进行的大量实验证明了我们的框架的有效性。我们将代码发布给社区，以供未来研究。

摘要:我们的目标是提供一个新的任务和排行榜，以刺激对问题回答和预训练语言模型(PTLMs)的研究，以理解重要的教学文件，例如大学入门教科书或手册。经过严格的监督训练，PTLMs在许多问答任务中表现出了巨大的成功，但在零镜头设置中表现得就不那么好了。我们提出了一项新任务，包括社会科学(美国政府2e)和人文科学(美国历史)的两篇大学水平的导论文章，基于教科书作者编写的回顾问题的数百个真假陈述，基于教科书前八章的验证/发展测试，基于教科书剩余章节的盲测，以及给出最先进的PTLMs的基线结果。由于问题是平衡的，随机表现应该是~50%。使用BoolQ进行微调的T5实现了相同的性能，这表明教科书的内容没有预先表示在PTLM中。参加闭卷考试，但阅读了教科书(即将教科书添加到T5的预训练中)，最多只能产生轻微的改善(56%)，这表明PTLM可能没有“理解”教科书(或者可能误解了问题)。开卷考试(即允许机器自动检索一个段落并使用它来回答问题)的表现更好(~60%)。

摘要:我们建议通过精心选择目标句法结构来控制释义的生成，以生成更正确、更高质量的释义。我们的模型AESOP利用预先训练的语言模型，并通过基于检索的选择模块添加特意选择的语法控制，以生成流畅的释义。实验表明，AESOP在两个基准数据集上实现了最先进的语义保存和句法构象性能，并对人工注释样本进行了真实的语法控制。此外，通过基于检索的目标语法选择模块，AESOP生成的释义质量甚至比目前最好的模型更好，使用人工注释的目标语法解析，根据人类的评价。我们进一步证明了AESOP在两个GLUE任务上通过数据增强来提高分类模型对语法扰动的鲁棒性的有效性。

摘要:预训练语言模型(PTLMs)在常识推理基准测试中取得了令人印象深刻的表现，但其使用常识进行稳健推理的能力仍存在争议，而这对于与人类有效沟通至关重要。在追求推进流畅的人类与人工智能交流的过程中，我们提出了一个新的挑战，RICA:使用常识公理的健壮推理，在文本扰动的情况下评估健壮的常识推理。为了为这一挑战生成数据，我们使用常识知识库开发了一个系统的、可扩展的过程，并在两种不同的评估设置中探测ptlm。在我们生成的带有超过10k语句的探测集上进行的大量实验表明，ptlm在零镜头设置上的表现并不比随机猜测好，受到统计偏差的严重影响，并且对扰动攻击不健壮。我们还发现，对类似语句的微调带来的收益有限，因为ptlm仍然不能推广到看不见的推论。我们新的大规模基准测试暴露了ptlm与人类水平语言理解之间的显著差距，并为ptlm展示常识提供了新的挑战。

摘要:表提供了有价值的知识，可用于验证文本语句。虽然许多工作都考虑了基于表的事实验证，但在文本语句中，表格数据与标记的直接对齐很少可用。此外，训练一个广义事实验证模型需要大量的标记训练数据。在本文中，我们提出了一个新的系统来解决这些问题。受反事实因果关系的启发，我们的系统通过基于探测的显著性估计来识别语句中的令牌级显著性。显著性估计可以从两个角度增强事实验证的学习。从一个角度来看，我们的系统进行了隐藏显著性标记预测，以增强表和语句之间的对齐和推理模型。从另一个角度来看，我们的系统应用显著性感知数据增强，通过替换非显著性术语来生成更多样化的训练实例集。在TabFact上的实验结果表明，所提出的显著感知学习技术有效地改善了SOTA在基准上的性能。

摘要:我们分析了最近提出的gSCAN (\emph{grounded} SCAN)基准，该基准用于研究接地语言理解的系统泛化。首先，我们研究了原始基准的哪些方面可以用多模态研究中常用的方法求解。我们发现，具有跨模态注意力的基于transformer的通用模型在大多数gSCAN分割上获得了强大的性能，令人惊讶地优于先前工作中更专业的方法。此外，我们的分析表明，许多剩余的错误揭示了在不考虑视觉环境的情况下，在对语言结构进行系统概括方面的相同基本挑战。其次，受到这一发现的启发，我们提出了具有挑战性的gSCAN新任务，通过生成数据来合并视觉环境中对象之间的关系。最后，我们发现，鉴于gSCAN中命令范围狭窄，当前模型的数据效率令人惊讶，这为未来的工作提出了另一个挑战。

摘要:在对话中，人们含蓄地使用常识推理(CSR)来产生自然连贯的反应。为了缩小当前响应生成(RG)模型与人类沟通能力之间的差距，我们希望通过探索RG模型对常识推理的理解来理解为什么RG模型会做出正确的反应。我们通过将常识作为RG任务中的潜在变量，并将响应的解释作为常识的文本形式，将问题形式化。我们从四个对话数据集中收集了6k个注解解释，并要求人类验证它们，并提出两个探测设置来评估RG模型的CSR能力。研究结果表明，模型未能捕捉常识性解释与响应之间的逻辑关系，对域内数据的微调和模型规模的增加并不能导致对RG的CSR理解。我们希望我们的研究能激励更多的研究，使RG模型模拟人类的推理过程，以追求顺畅的人-人工智能交流。

摘要:在机器翻译迁移学习的背景下，我们研究了Transformer架构中交叉注意的力量，并将研究结果扩展到从头开始训练时的交叉注意。通过对源语言或目标语言发生变化的数据进行微调翻译模型，我们进行了一系列实验。这些实验表明，只微调交叉注意参数几乎与微调所有参数(即整个翻译模型)一样有效。我们将深入了解为什么会出现这种情况，并观察到以这种方式限制微调会产生跨语言对齐的嵌入。这一发现对研究人员和实践者的影响包括减少灾难性遗忘、零拍摄翻译的潜力，以及将机器翻译模型扩展到几个新的语言对并减少参数存储开销的能力。

摘要GPT-2等语言模型在文本自动补全任务中构建语法健全的句子方面表现良好。然而，这样的模型往往需要大量的训练，以适应特定的写作领域(例如，医学)。在本文中，我们提出了一种中间训练策略，以提高预训练语言模型在文本自动补全任务中的表现，并使其快速适应特定领域。我们的策略包括一个新的自我监督训练目标，称为下一个短语预测(NPP)，它鼓励语言模型用丰富的短语完成部分查询，并最终提高模型的文本自动完成性能。初步实验表明，我们的方法能够在电子邮件和学术写作领域的自动补全方面优于基线。

摘要:随着标签模式的发展，微小的差异可能会导致旧模式下的数据集不可用。这阻止了研究人员在以前的注释工作的基础上进行构建，并导致存在许多小型类不平衡数据集，特别是在语篇学习中。在这项工作中，我们展示了一种多任务学习方法可以结合来自相似和不同领域的话语数据集来改进话语分类。我们在\textit{NewsDiscourse}数据集(最近发布的最大的话语数据集之一)上显示，与当前最先进的基准相比，microf1 -score提高了4.9 %，部分原因是任务之间的标签相关性，这提高了代表性不足的类的性能。我们还提供了一个广泛的审查提出的其他技术，以解决NLP中的资源贫乏问题，并表明这些方法都不能提高分类的准确性在我们的设置。

摘要:尽管最近取得了一些进展，但最先进的问答模型仍然容易受到各种对抗性攻击。虽然动态对抗性数据收集(人工注释人员试图编写示例来欺骗循环中的模型)可以提高模型的鲁棒性，但这个过程代价昂贵，限制了所收集数据的规模。在这项工作中，我们首次使用合成对抗数据生成来使问答模型对人类对手更加健壮。我们开发了一个数据生成管道，它可以选择源文章，识别候选答案，生成问题，然后最终过滤或重新标记它们以提高质量。使用这种方法，我们将一个较小的人类编写的对抗数据集放大到一个更大的合成问答对集。通过整合我们的合成数据，我们将AdversarialQA数据集的最新水平提高了3.7F1，并改进了12个MRQA数据集中的9个的模型泛化。我们进一步进行了一种新颖的“人在环中”评估，并表明我们的模型对新的人类编写的对抗示例具有更强的鲁棒性:众包工作者平均只能欺骗我们的模型8.8%的时间，而没有合成数据训练的模型则为17.6%。

摘要:我们研究了如何从原始概念组成文本中的复杂概念，同时以图像为基础。我们提出了概念和关系图(CRG)，它建立在选区分析的基础上，由递归组合的概念和谓词函数组成。同时，我们提出了一个称为Composer的概念合成神经网络，利用CRG进行视觉基础的概念学习。具体来说，我们通过将原始概念和所有组合概念对齐到图像来学习它们的基础，并表明学习组合会导致更健壮的基础结果，以文本到图像匹配精度来衡量。值得注意的是，我们的模型可以在细粒度的句子级别和粗粒度的中间级别(或单词级别)上对基础概念进行建模。当评价数据与训练数据存在显著的复合发散时，Composer可以显著提高匹配精度。

摘要:先前关于文本到文本生成的研究通常假设模型可以通过seq2seq学习来确定输入中需要关注什么，输出中需要包含什么，而只需要并行的训练数据，没有额外的指导。然而，目前尚不清楚当前的模型是否可以保留源输入中的重要概念，因为seq2seq学习没有明确地关注这些概念，常用的评估指标也将它们视为与其他令牌同等重要。在本文中，我们提出了一个系统的分析，研究当前的seq2seq模型，特别是预训练的语言模型，是否足够好地保存重要的输入概念，以及在多大程度上显式地指导生成概念作为词汇约束是有益的。我们通过对四个具有代表性的文本到文本生成任务进行广泛的分析实验来回答上述问题。在观察的基础上，我们提出了一个简单而有效的框架来自动提取、去噪和强制执行重要的输入概念作为词汇约束。这种新方法在自动指标上的表现与无约束的对应方法相当或更好，在概念保存方面表现出更高的覆盖率，并在人类评估中获得更好的评分。我们的代码可以在https://github.com/morningmoni/EDE上找到。

摘要:分类法是许多应用程序的宝贵资源，但由于昂贵的手工管理过程所造成的有限覆盖范围阻碍了其普遍适用性。先前的工作试图自动扩展现有的分类法，通过学习欧几里得空间中的概念嵌入来提高它们的覆盖范围，而分类法，固有的层次结构，更自然地与双曲空间的几何属性保持一致。在本文中，我们提出了HyperExpan，这是一种分类法扩展算法，旨在将分类法的结构保存在更具表现力的双曲嵌入空间中，并学习用双曲图神经网络(HGNN)表示概念及其关系。具体来说，HyperExpan利用位置嵌入来利用现有分类法的结构，并将概念配置文件信息特征化，以支持对训练期间未见的新概念的推断。实验表明，我们提出的HyperExpan在欧几里得特征空间中的表示学习优于基线模型，并在分类扩展基准上实现了最先进的性能。

摘要:文本中的事件提及与现实世界中不同粒度的事件对应。subbevent检测的任务就是解决这种粒度问题，识别事件复合体中多粒度事件的成员关系。由于了解事件复合体的描述上下文的跨度有助于推断事件的成员关系，我们提出了基于事件的文本分割任务(EventSeg)作为辅助任务，以改进对subevent检测的学习。为了将这两个任务连接在一起，我们提出了一种学习和强制约束的方法，以捕获subevent检测和EventSeg预测之间的依赖关系，并指导模型进行全局一致的推断。具体来说，我们采用整流网络进行约束学习，然后将学习到的约束转换为神经模型损失函数中的正则化项。实验结果表明，该方法在subevent检测、HiEve和IC的基准数据集上分别优于基线方法2.3%和2.5%，而在EventSeg预测上也取得了不错的性能。

摘要:对话行为分类是根据话语在对话中的功能对话语进行分类。现有的DA分类方法没有考虑对话中说话人之间的轮流变化，因此将其与非交互式书面文本区别对待。在本文中，我们建议在建模DAs时集成说话人之间对话的转向变化。具体来说，我们学习了对话不变说话人转向嵌入来表示对话中的说话人转向;然后将学习到的说话者转向嵌入与话语嵌入合并，用于DA分类的下游任务。通过这种简单而有效的机制，我们的模型能够从对话内容中捕获语义，同时考虑到对话中不同的说话人转向。在三个基准公共数据集上的验证表明，我们的模型具有优越的性能。

出版于2021年11月17日

最后更新于2021年11月17日

南加州大学的研究人员在EMNLP 2021年发表了30篇论文

目标包括通过减少偏见来建立更公平的常识模型，检测两极分化的话题以缓解冲突，以及实现顺畅的人类与人工智能沟通。

南加州大学论文:

bob线下交流会

来自院长

新闻|媒体|事件

经验

部门和
学术项目

专业研究生
项目

行政和
继续教育

网上银行登录

资源和
倡议

一年级申请人

硕士学位申请人

博士学位申请人

转让申请人

部门和
主要研究机构

研究
环境

技术创新
和创业

bob线下交流会

来自院长

新闻|媒体|事件

经验

部门和
学术项目

专业研究生
项目

行政和
继续教育

网上银行登录

资源和
倡议

一年级申请人

硕士学位申请人

博士学位申请人

转让申请人

部门和
主要研究机构

研究
环境

技术创新
和创业

南加州大学论文:

有关的故事