AI|什么是GPT-3,它将如何影响人们目前的工作?

据外媒MSPoweruser报道,GPT是Generative Pre-training Transformer的简称,是由Alec Radford编写的语言模型,2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布 。它采用了生成式语言模型(两个神经网络通过竞争相互完善),通过对不同的书面材料集与长篇连载文本的预训练,能够获取世界知识并处理长程依赖关系 。
GPT-2于2019年2月宣布,是一个无监督的转化语言模型,它是在800万份文档上训练出来的,共40GB的文本,来自通过Reddit提交分享的文章 。埃隆·马斯克并不愿意发布它,因为他担心它可能被用来向社交网络发送假新闻 。
2020年5月,OpenAI发布了GPT-3,这个模型包含的参数比GPT-2多了两个数量级(1750亿vs 15亿个参数),它比GPT-2有了极大的改进 。
给予任何文本提示,GPT-3将返回一个文本完成,试图匹配用户给它的模式 。用户可以给它 "编程",只需向它展示几个希望它做的例子,它就会提供一篇完整的文章或故事,比如下面的文字,完全由GPT-3编写 。

AI|什么是GPT-3,它将如何影响人们目前的工作?
文章图片
GPT-3在许多NLP数据集上都取得了很强的性能,包括翻译、问题回答和cloze任务,以及一些需要即时推理或领域适应的任务,如在句子中使用一个新词或执行3位数运算 。GPT-3可以生成人类评估人员难以区分的新闻文章样本 。
最后一个应用一直让OpenAI担心 。GPT-3目前以开放测试版的形式提供,预计最终会推出付费的私人测试版 。OpenAI表示,对于明显有害的用例,如骚扰、垃圾邮件、激进化等传播,他们将终止API访问 。虽然最明显受到威胁的人群是那些生产书面作品的人,比如编剧,但AI开发者已经发现了令人惊讶的应用,比如使用GPT-3来编写代码 。
比如Sharif Shameem就写了一个布局生成器,用户用纯文本描述他们想要的东西,模型就会生成相应的代码 。

AI|什么是GPT-3,它将如何影响人们目前的工作?
文章图片
Jordan Singer同样创建了一个Figma插件,让人们可以使用纯文本描述创建应用程序 。

AI|什么是GPT-3,它将如何影响人们目前的工作?
文章图片
它甚至可以用来诊断哮喘和开药 。

AI|什么是GPT-3,它将如何影响人们目前的工作?
文章图片
其他的应用是作为搜索引擎或神谕的一种,甚至可以用来解释和扩展困难的概念 。

AI|什么是GPT-3,它将如何影响人们目前的工作?
文章图片
虽然看起来这种方法可能会直接导致一个可以像人类一样理解、推理和对话的通用人工智能,但OpenAI警告说,他们可能遇到了根本性的扩展问题,GPT-3需要几千petaflop/s-day的计算量,而完整的GPT-2只有几十petaflop/s-day 。
【AI|什么是GPT-3,它将如何影响人们目前的工作?】在GitHub上可阅读更多关于GPT-3的内容 。