回顾2020年7月
2020年7月份有一个重大新闻,人工智能科研公司OpenAI,推出了它的新一代语言模型 GPT-3(Generative Pretrained Transformer 3),这个事情在社交媒体影响甚广,甚至有一篇文章《一个新型 AI 震惊硅谷:它像一个高智商的人,颠覆对 AI 的认知》,这个标题并不算夸张,文章写的也很好,你可以找来读读
关于GPT-3的发展历史,我在OpenAI Playground 提交了请求,如下是她自己对自己的描述
给我写一篇关于GPT-3发展历史的文章
GPT-3是一种自然语言处理(NLP)技术,它是一种自然语言生成技术,可以根据给定的输入生成文本输出。它的发展历史可以追溯到2012年,当时OpenAI团队推出了第一代GPT(Generative Pre-trained Transformer)。
GPT-1是一种强大的多层网络,它可以像人类一样理解和利用自然语言,可以根据已给定的输入来生成自然语言文本。GPT-1的模型具有灵活性,它可以根据输入语句的上下文和语境,生成出更有意义的文本内容。GPT-1也支持自动化任务,例如文本转换、文本摘要和文本翻译等。
此后,OpenAI又推出了GPT-2,它是一种比GPT-1更先进的自然语言生成技术。GPT-2模型使用一种更大的数据集,模型的参数也比GPT-1更多。GPT-2模型的精度比GPT-1更高,它可以根据更细致的上下文和语境,生成出更有意义的文本内容。
最近,OpenAI又推出了GPT-3模型,GPT-3是一个大规模的自然语言处理(NLP)模型。GPT-3可以根据输入语句的上下文和语境,生成出更有意义的文本内容。GPT-3模型可以使用更大的数据集,模型的参数也比GPT-2更多,可以根据更细致的上下文和语境,生成出更有意义的文本内容。
总的来说,GPT-3是一种极具前瞻性的自然语言处理(NLP)技术,它的出现大大提高了自然语言处理的精度和效率。GPT-3可以用于各种自然语言处理(NLP)的应用,包括文本理解、自动问答、文本生成等。GPT-3的发展将继续推动自然语言处理(NLP)技术的发展,为我们提供更加智能的自然语言处理(NLP)解决方案。
GPT-3 能写情书、会写诗、写产品说明文档、写剧本。它会翻译,会回答问题,会完形填空,会做阅读理解题,要命的是可以陪你聊天 ,并且让你感觉不到她是AI
2010年以后的语言模型几乎全都是基于深度神经网络(DNN)的,衡量一个神经网络的大小可以看它有多少个“参数”。网络的每一个神经元结构点上都有若干个可调参数,参数描写了这个网络。2012 年,在 ImageNet 竞赛中获得冠军的一个能识别手写阿拉伯数字的简单神经网络,它有 1 万多个参数。代表当时图形识别技术最先进水平的 AlexNet,有 6200 万个参数1
GPT-3 的上一代,OpenAI 的 GPT-2,有 15 亿个参数。Nvidia 公司的一个语言模型 Megatron,有 80 亿个参数。微软的“图灵 NLG”,有 170 亿个参数。而GPT-3,有 1750 亿个参数。而下一代GPT-4的参数量将是GPT-4参数量的500倍2
硅谷创业圈有个概念叫“十倍思维”,就是说你的新产品得比别人好十倍,拿出来才有意思,我感觉现在OpenAI弄的神经网络就很有十倍思维的味道
2020年的GPT-3,还只是极客圈里广泛传播,OpenAI 的CEO说,GPT-3 这个热度其实是个 hype。那时候的GPT-3远没有如今的江湖地位和江湖声誉,很多开发者甚至都不太知道,但是我们团队一直在使用AI代码补全插件Tabnine,其基于GPT-2
GPT-3的近况
最近,ChatGPT 🔥了,这是OpenAI时隔了2年半,推出的一个在线对话应用,之前GPT-3一直都是内测,需要申请账号(关键是不好申请,中签率堪比北京车牌摇号)现在OpenAI不但开放了普通用户注册,而且还升级了应用模型,ChatGPT这个对话应用,每个人都可以上手(中国和俄罗斯可能有一定的门槛)
从此之后,每个人都可以和AI对话,借助AI来提高生产力,就我本人这几天的使用体验来看,十分惊喜,有一种如沐春风,如获至宝的感觉,可以说GPT-3是一位得力的助手
如何注册?
首先你要去OpenAI网站(https://beta.openai.com/ )注册一个账号,每个新注册用户自动获得18美元的试用额度,这个额度可以用挺长时间,快一个星期了,我只用了不到0.2🔪
注册的时候需要手机号,BUT目前不支持中国大陆的手机号,如果想玩的话,你需要一个境外的手机号,或者使用境外的接码平台3 (链接中的接码平台是付费的,可以用支付宝充1美元,甚至这个接码平台内嵌了一个CHATGPT的教程),再或者你可以在电商平台买一个 OpenAI 账号,又或者你有朋友在国外,让他们买好票,你上车就行
怎么玩
注册好账号,你可以有2个选择:
🅰️ 去 Playground (https://beta.openai.com/playground ) 开练
🅱️ 去CHATGPT(https://chat.openai.com/chat)开聊
注册好账号,你可以有2个选择:
🅰️ 去 Playground (https://beta.openai.com/playground ) 开练
🅱️ 去CHATGPT(https://chat.openai.com/chat)开聊
无论哪个选择,你要做的就是在页面中输入你想让AI干的事儿。我们使用🅰️来一个测试,我输入:「写一封情书」,绿色的是她给的答复
可见,GPT-3是支持中文的,但是使用中文的响应时间明显慢于英文,大概率她是将中文翻译成英文,在得到结果之后再把英文结果翻译为中文展示。最后就GPT-3这个文笔,那对象还不得马上来么
在Playground页面的右侧可以选择
- 模型(Model)
- 温度(Temperature)
- 最大输出长度(Maximum length)
现在默认的模型就是11月刚刚升级的、基于GPT-3的 text-davinci-003,也是最好的一个。「温度」代表AI输出的自由度,也就是有多大的随机性:如果你想让它更有创造性,可以调高这个参数;如果你发现有时候她话没说完,就"没声了",就需要把最大输出长度设置大一点
接着,我们使用🅱️ 做一个测试,问一个我同事关心的问题
就我的使用体验来看,ChatGPT输出的答案不如 Playground 的那个 text-davinci-003 模型好,但是它的UI更友好。另外网上有一个 Chrome 浏览器的插件4,可以在谷歌的搜索结果页插入 ChatGPT 的回答(下图),让用户比较谁回答得更好
最后
2022年可能将是 AI 应用的元年(虽然已经多次AI元年了),人工智能对人类社会的重大改造,或许就从今年开始了,望你工作中有AI给你打辅助,生活中有AI陪你唠家常
更多精彩内容欢迎关注公众号 stackoverflow
https://www.learnopencv.com/number-of-parameters-and-tensor-sizes-in-convolutional-neural-network/ ↩︎
https://towardsdatascience.com/gpt-4-will-have-100-trillion-parameters-500x-the-size-of-gpt-3-582b98d82253 ↩︎
https://sms-activate.org/cn/ ↩︎
https://github.com/wong2/chat-gpt-google-extension ↩︎