Google 发布 BERT，双向预训练改变了自然语言处理

事件摘要

Google AI 发表了《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》，引入了一种使用掩码语言建模在大型文本语料库上双向预训练 Transformer 模型的方法。BERT 在发布后的几个月内在 11 个 NLP 基准测试上取得了最先进的结果，其开源模型和预训练权重使自然语言处理的迁移学习变得人人可及，开启了 NLP 的

影响评估

• 能力跃迁 +2 · 短期

  引入了用于双向预训练的掩码语言建模，在 11 个 NLP 基准上取得了最佳结果。预训练的 BERT 嵌入成为 NLP 系统的通用起点，直到被更大规模的自回归模型所取代。

  受影响群体: NLP researchers、AI engineers、Google

• 普惠化 +2 · 中期

  开源预训练模型和权重使最先进的 NLP 技术对任何有 GPU 的人都可访问，大大降低了入门门槛。数千家公司和研究团体在 BERT 之上构建，创建了丰富的微调模型生态系统。

  受影响群体: students、startups、independent researchers、small businesses

共识度与来源

• 1
  Devlin, J. et al. (2018) 'BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.' arXiv:1810.04805.

  原文可访问: https://arxiv.org/abs/1810.04805

  BERT obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% absolute improvement).

  参考证据 引用已记录 原文可访问
• 2
  "Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing" — Google AI Blog (2018)

  原文可访问: https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/

  We are releasing the pre-trained BERT model and code so that anyone can use it to build a question answering system or other language understanding system.

  参考证据 引用已记录 原文可访问