Open AI说：给我一句话，我能编出一本书

2）填空：任务是填出这段话的最后一个单词。案例语料是一段讲述吃早饭的文字，传达的意思是吃的应有尽有，喝的却只有”冷冽的水“，暗示没有咖啡，最后一个单词应该为”咖啡“。GPT-2 填了“食物”，违反了语料里给定的场景。

但是如果你再看一遍语料（下图），可能会察觉到，如果只看最后两句，那么确实是有“没有食物只能喝水”的意思。研究人员指出，如果提高计算量，增加参数，准确度会进一步提高。

3）缩写：表现一般，参数增加后准确度反而降低了。

4）翻译：在扩写任务上展示惊人能力之前，翻译被认为是 Transformer 类模型最适合的任务，因为其关注模型本身很适合。GPT-2 在翻译任务上表现的很不错，未来参数增加到一定程度，大有赶超现有统计机器翻译 (SMT) 技术的希望。

总的来看，GPT-2 初步展示了 Transformer 类模型，以及其背后的关注机制，在自然语言处理类任务上所具备的潜力。它能够取得state-of-the-art 的结果，并且训练所需的时间更短。

但是在 AI 领域，类似的进步总是双刃剑。刚才提到，在扩写等特定的任务上，如果 GPT-2 以及 Transformer 模型被心怀不轨的人滥用，恐怕将意味着更多假新闻出现。

OpenAI 在网站上也主动提到了这件事，而且他们本次并没有放出训练的数据集、全部代码等关键资料。在 GitHub 上 OpenAI 选择了”阉割式开源“，放出来的的是一个更小的，只有1.17亿参数的 GPT-2 版本，而论文中的最大参数量超过了15亿个。

”我们明白，某些研究者有技术实力，可以复现并且开源我们的训练结果。我们认为现在采取的发布策略可以限制这类人或机构的数量。这样，我们就能有更多时间让 AI 社区去探讨这类技术的应用，“OpenAI 在官网上写道。

OpenAI 还建议，政府应该针对滥用 AI 技术者建立惩罚机制。

[1] http://blog.openai.com/better-language-models/

[2] http://blog.openai.com/better-language-models/#sample1

（编辑：温州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!