Google开源BERT,一种用于自然语言处理的最先进的预培训技术-而后网

自然语言处理(NLP) - 一个跨越语言翻译,情感分析,语义搜索和许多其他语言任务的ai人工智能(AI)子类别,说起来容易做起来难。购买足以训练文本解析AI系统的大量数据集是研究人员面临的持续挑战;模拟人类大脑中神经元行为的现代深度学习模型,数百万甚至数十亿个注释示例在训练期间得到改进。
一种流行的解决方案是预训练,它改进了用于训练未标记文本以执行特定任务的通用语言模型。谷歌本周公开采用了该技术的最前沿 - 变形金刚的双向编码器表示,或称BERT - 声称开发人员可以在云中训练“最先进的”NLP模型TPU(张量处理单元)30分钟。 ,Google的云托管加速器硬件)或单个图形处理单元上的几个小时。
该版本可在Github上获得,包括预先训练的语言表示模型(英语)和基于Mountain View的TensorFlow机器学习框架的源代码。此外,Colab上还有一个相应的笔记本,这是Google为AI开发人员提供的免费云服务。

Jacob Devlin和Ming Weichang在Google AI上研究科学家,解释说BERT是双向的,允许其过去和未来的发展方向,以及无监督的访问环境,这意味着它可以单独摄取它一些数据既不属于也没有标记。这与传统的NLP模型(例如word2vec和GloVe)形成对比,后者为词汇表中的每个单词生成单个无上下文单词嵌入(单词的数学表示)。
BERT可以通过预训练可以从任何语料库生成的任务来学习模型句子之间的关系,Devlin和Chang写道。它建立在谷歌的Transformer之上,这是一种开源神经网络架构,基于一种针对NLP优化的自我关注机制。 (在去年发表的一篇论文中,谷歌表明,Transformer在英语和德语以及英语到法语翻译基准测试中表现优于传统模式,并且需要较少的计算才能进行训练。)

在斯坦福问答数据集(SQUAD)上进行测试时,阅读理解数据集包含来自维基百科文章的一组问题。 BERT达到了93.2%的准确度,最好是在之前和人类水平的最高水平。 91.6%和91.2%。共同语言理解评估(GLUE)基准(用于训练和评估NLP系统的资源集合)的准确率达到80.4%。BERT的发布遵循Google的AdaNet首次亮相,这是一个结合了机器学习算法以获得更好预测性见解的开源工具,以及一个名为ActiveQA的研究项目,该项目使用强化学习来训练AI代理人进行问答。