AI|什么是GPT-3,它将如何影响人们目前的工作?
据外媒MSPoweruser报道,GPT是Generative Pre-training Transformer的简称,是由Alec Radford编写的语言模型,2018年由埃隆·马斯克的人工智能研究实验室OpenAI发布 。它采用了生成式语言模型(两个神经网络通过竞争相互完善),通过对不同的书面材料集与长篇连载文本的预训练,能够获取世界知识并处理长程依赖关系 。
GPT-2于2019年2月宣布,是一个无监督的转化语言模型,它是在800万份文档上训练出来的,共40GB的文本,来自通过Reddit提交分享的文章 。埃隆·马斯克并不愿意发布它,因为他担心它可能被用来向社交网络发送假新闻 。
2020年5月,OpenAI发布了GPT-3,这个模型包含的参数比GPT-2多了两个数量级(1750亿vs 15亿个参数),它比GPT-2有了极大的改进 。
给予任何文本提示,GPT-3将返回一个文本完成,试图匹配用户给它的模式 。用户可以给它 "编程",只需向它展示几个希望它做的例子,它就会提供一篇完整的文章或故事,比如下面的文字,完全由GPT-3编写 。
文章图片
GPT-3在许多NLP数据集上都取得了很强的性能,包括翻译、问题回答和cloze任务,以及一些需要即时推理或领域适应的任务,如在句子中使用一个新词或执行3位数运算 。GPT-3可以生成人类评估人员难以区分的新闻文章样本 。
最后一个应用一直让OpenAI担心 。GPT-3目前以开放测试版的形式提供,预计最终会推出付费的私人测试版 。OpenAI表示,对于明显有害的用例,如骚扰、垃圾邮件、激进化等传播,他们将终止API访问 。虽然最明显受到威胁的人群是那些生产书面作品的人,比如编剧,但AI开发者已经发现了令人惊讶的应用,比如使用GPT-3来编写代码 。
比如Sharif Shameem就写了一个布局生成器,用户用纯文本描述他们想要的东西,模型就会生成相应的代码 。
文章图片
Jordan Singer同样创建了一个Figma插件,让人们可以使用纯文本描述创建应用程序 。
文章图片
它甚至可以用来诊断哮喘和开药 。
文章图片
其他的应用是作为搜索引擎或神谕的一种,甚至可以用来解释和扩展困难的概念 。
文章图片
虽然看起来这种方法可能会直接导致一个可以像人类一样理解、推理和对话的通用人工智能,但OpenAI警告说,他们可能遇到了根本性的扩展问题,GPT-3需要几千petaflop/s-day的计算量,而完整的GPT-2只有几十petaflop/s-day 。
【AI|什么是GPT-3,它将如何影响人们目前的工作?】在GitHub上可阅读更多关于GPT-3的内容 。
- 你为什么想给孩子做英语早教启蒙?
- |当我们谈业务流时,我们该谈论什么?(上)
- |注意,明日将是关键时间点,还有什么行业值得关注?
- 小K说房|为什么装修时在客厅放大沙发有些落伍?看完这些分享太美了
- 价格|翻译公司的价格有着什么样的联系呢?
- 中华房买卖|购买小户型最重要的是什么?过来人说出两点,现在知道还不晚!
- 本质|黄多多获国际大奖,看了黄磊的教育,才知道教育的本质是什么
- 唯独|被问最近一次心动是什么时候,别的学长都好会说,唯独张云龙例外
- 为什么女子监狱没有男犯人,每年还有几百人怀孕
- 得知|男子为网恋女友花了72万, 得知身份后懵了 为什么偏偏是你