BERT拿下最佳长论文奖！NAACL 2019最佳论文奖公布

点击上方↑↑↑蓝字关注我们~

640?wx_fmt=jpeg

「2019 Python开发者日」全日程揭晓，请扫码咨询 ↑↑↑

作者 | 刘静

编辑 | 李尔客

本文经授权转自公众号图灵Topia（ID：turingtopia）

今日，自然语言处理顶会NAACL 2019最佳论文奖公布，BERT大力出奇迹，获得最佳长论文奖！

同时，NLP 领域的华人新星王威廉提名的论文获得最佳短文奖。

640?wx_fmt=png

ACL、EMNLP、NAACL - HLT、COLING 是 NLP 领域的四大顶会。前三者都由 ACL（Association of Computational Linguistics）举办，其中 NAACL - HLT（Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies，一般简称为 NAACL）虽然名义上只是 ACL 北美分会，但在 NLP 圈里也是无可争议的顶级会议，名称中的 HLT 也直接宣告了对于人类语言处理技术的关注。

据官方统计，此次 NAACL 2019 共收到论文 1955 篇论文，共接收论文 424 篇，录取率仅为 22.6%。其中收到长论文投稿 1198 篇，短论文 757 篇。

640?wx_fmt=jpeg

今年总论文投稿的数量比去年多了近 1 倍，但在录取论文数量上却只增加了大约 100 篇，整体的论文录取率不增反降了，录取率降低的背后意味着对论文质量的标准更高，审稿也更加严苛。

以下是NAACL2019所有获奖论文：

Best Thematic Paper（最佳主题论文）

《What’s in a Name? Reducing Bias in Bios Without Access to Protected Attributes》

（减少Bios中的偏差，无需访问受保护属性）

地址：

https://arxiv.org/pdf/1904.05233v1.pdf

摘要：越来越多的工作提出了减轻机器学习系统偏差的方法。这些方法通常依赖于对受保护属性（如种族，性别或年龄）的访问。然而，这提出了两个重大挑战：（1）受保护的属性可能不可用或使用它们可能不合法，（2）通常需要同时考虑多个受保护的属性及其交叉点。在减轻职业分类偏差的背景下，我们提出了一种方法，用于阻止个体真实职业的预测概率与其名称的单词嵌入之间的相关性。此方法利用了在字嵌入中编码的社会偏见，从而无需访问受保护的属性。至关重要的是，它只需要访问个人在培训时而非部署时的名称。我们使用大规模在线传记数据集评估了我们提出的方法的两种变体。我们发现这两种变异同时会减少种族和性别偏见，而分类者的整体真实阳性率几乎没有降低。

Best Explainable NLP Paper（最佳可解释NLP论文）

《CNM: An Interpretable Complex-valued Network for Matching》

（CNM：一个可解释的复值网络匹配）

地址：

http://arxiv.org/pdf/1904.05298v1

摘要：本文试图通过量子物理的数学框架对人类语言进行建模。利用量子物理学中精心设计的数学公式，该框架将单个复值向量空间中的不同语言单元统一起来，例如像量子态中的粒子和作为混合系统的句子。构建复值网络以实现用于语义匹配的该框架。通过良好约束的复值组件，网络允许对明确的物理意义进行解释。所提出的用于匹配的复值网络（CNM）在两个基准问答数据集（QA）上实现了与强CNN和RNN基线相当的性能。

Best Long Paper（最佳长论文）

《BERT:Pretraining of Deep Bidirectional Transformers for Language Understanding》

（BERT - 用于语言理解的深度双向预训练转换器）

地址：

https://arxiv.org/abs/1810.04805

摘要：这个大家已经耳熟能详了，BERT刷新了11项自然语言处理任务的最新成果，包括将GLUE基准推至80.4％（绝对改进率7.6％），MultiNLI准确度达到86.7（绝对改进率5.6％）和SQuAD v1.1问题回答测试F1到93.2（绝对改进1.5％），超过人类表现2.0％。

Best Short Paper（最佳短论文）

《Probing the Need for Visual Context in Multimodal Machine Translation》

（探索多模态机器翻译中视觉语境的需求）

地址：

https://arxiv.org/abs/1903.08678

摘要：目前关于多模态机器翻译（MMT）的工作表明，视觉模态要么不必要，要么只是略微有益。我们认为这是在任务的唯一可用数据集（Multi30K）中使用的非常简单，简短和重复的句子的结果，使源文本足以作为上下文。然而，在一般情况下，我们认为可以将视觉和文本信息结合起来以便进行地面翻译。在本文中，我们通过系统分析来探讨视觉模态对最先进的MMT模型的贡献，其中我们部分地剥夺模型从源侧文本上下文。我们的结果表明，在有限的文本背景下，模型能够利用视觉输入来生成更好的翻译。

Best Resource Paper（最佳资源论文）

《CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge》

（CommonsenseQA：针对常识知识的问题回答挑战）

地址：

https://arxiv.org/abs/1811.00937

摘要：在回答问题时，除了特定的背景之外，人们还经常利用他们丰富的世界知识。最近的工作主要集中在给出一些相关文件或背景的问题，并且只需要很少的一般背景。为了研究具有先验知识的问题回答，我们提出了CommonsenseQA：一个具有挑战性的常见问题解答新数据集。为了捕捉关联之外的常识，我们从ConceptNet（Speer et al。，2017）中提取了与单个源概念具有相同语义关系的多个目标概念。要求群众工作者撰写提及源概念的多项选择题，并在每个目标概念之间进行区分。这鼓励工人用复杂的语义创建问题，这些问题通常需要先验知识通过这个程序提出了247个问题，并通过大量强大的基线证明了我们的任务难度。我们最好的基线是基于BERT-large（Devlin等，2018）并获得56％的准确度，远低于人类表现，即89％。

（本文为 AI科技大本营转载文章，转载请微信联系原作者）

◆

倒计时两天

◆

「2019 Python开发者日」演讲议题全揭晓！这一次我们依然“只讲技术，拒绝空谈”10余位一线Python技术专家共同打造一场硬核技术大会。更有深度培训实操环节，为开发者们带来更多深度实战机会。目前大会倒计时 2 天，更多详细信息请咨询13581782348（微信同号）。

640?wx_fmt=jpeg