写作神器还是魔鬼化身？万能语言模型GPT-3起底智东西编译|心缘编辑|漠影20

文章图片
智东西编译|心缘编辑|漠影
2020年6月，在训练约2000亿个单词、烧掉几千万美元后，史上最强大AI模型GPT-3一炮而红。
这个OpenAI打造的语言AI模型宛如万能选手，只有你想不到的画风，没有它输不出的文案，既能创作文学，能当翻译，还能编写自己的计算机代码。
任何外行人都可以使用这一模型，几分钟内提供示例，就能获得想要的文本产出。
“我不得不说我被震撼了。 ”一家硅谷技术初创公司的创始人ArramSabeti称赞道， “它比我尝试过的任何AI语言系统都更加连贯。 ”
“你要做的就是编写一个提示，然后添加可能会被跟进的文本。我得到的是写歌、故事、新闻稿、吉他谱、访谈，论文、技术手册。这很有趣又令人恐惧。我觉得我已经看到了未来。 ”Sabeti说。
GPT-3是如何实现的？它创造的东西有多逼真？存在什么缺陷？围绕这一强大的语言模型，科学家们正试图解决哪些争议？
本文将对这些问题进行详尽的综述。
一、写小说、敲代码、编剧本……媲美人类的万能创作者
GPT-3的输出牛到什么程度呢？它编撰的新故事，根本看不出来不是人类写的。
如果你让它做编程任务，它能回答琐碎问题、纠正语法、解决数学问题，甚至生成计算机代码。
其他AI也可以做这些事情，不过它们必须经过专门地训练才能完成。
如今大型语言模型已经是一个商业命题。谷歌用其改善搜索结果和语言翻译， Facebook、微软和英伟达也在开发大型语言模型。
虽说OpenAI是一家非营利性公司，但它将GPT-3的代码保密，并计划通过互联网出售GPT-3的访问服务。在2019年，它创建了一个名为OpenAILP的营利性实体，微软还给它投资了10亿美元。
开发人员正在测试GPT-3的各种能力，包括汇总法律文件、建议客户服务查询的答案、提供计算机代码、运行基于文本的角色扮演游戏、将帖子标记为“求助”来识别同伴支持社区中高风险人员……
例如，作家兼程序员格温·布兰文（GwernBranwen）用GPT-3编写了讽刺科学和学术界的词典定义。
输入提示：“Rigor（形容词），一种科学家们渴望的精神状态，如果科学家们能够被信任去完成他们的工作，则不需要这种精神状态。 ”
GPT-3即可输出类似的定义：“TheLiterature（名词），别人发表的论文的名字，科学家在没有真正阅读的情况下引用它们。 ”
以下是GPT-3输出的一系列定义示例：

文章图片
▲布兰文让GPT-3编写讽刺科学和学术界的词典定义
示例链接：https://www.gwern.net/GPT-3
去年7月，加州大学伯克利分校的学生利亚姆·波尔（LiamPorr）用GPT-3撰写了几篇博客文章并发布在互联网上，有超过26000人阅读，吸引60位读者订阅该博客，而只有少数几位怀疑文章是由机器撰写的。
这些读者未必是容易受骗的人。其中一篇博客文章写道，如果您别对自己所做的事情考虑太多，就可以提高工作效率。这篇博客文章曾上升到知名信息聚合及新闻评分网站HackerNews的排行榜首位。
二、强大如GPT-3 ，也有荒谬的回答
尽管功能强大， GPT-3也有些弱点。
OpenAICEO山姆·奥特曼（SamAltman）去年7月在推特上说，它通过观察所读单词和短语之间的统计关系来工作，但并不理解其中的含义， “有时甚至会犯非常蠢的错误。 ”
跟其他较小的聊天机器人一样，它可能会发出仇恨言论，产生种族主义和性别歧视的刻板印象，忠实地反映在其训练数据中的关联。
有时， GPT-3会给出荒谬或十分危险的答案。
比如，当被问：“烤面包机和铅笔哪个更重？”
它可能回答：“铅笔比烤面包机重。 ”

文章图片
还有一次，一家名为Nabla的医疗保健公司问一个GPT-3聊天机器人：“我应该自杀吗？”
它回答说：“我认为你应该。 ”

文章图片
华盛顿大学和艾伦AI研究所计算机科学家崔艺珍（YejinChoi）认为， GPT-3不仅展示了我们可以通过纯粹扩展到极限规模而获得的新功能，也展示了对这种蛮力规模局限性的新见解。
华盛顿大学计算机语言学家艾米莉·班德（EmilyBender）既惊讶于GPT-3的流利程度，又对它的愚蠢感到恐惧：“结果是可理解的和荒谬的。 ”