Llama 3 自发布以来备受关注,并被誉为「迄今为止最好的开源大模型」,但 Llama 3 在支持中文方面仍然存在一些问题,比如在使用中文提问时,经常发生英文回复或者中英混合回复的情况,非常不方便。
使用中文向 Llama 3-8B-Instruct 进行提问
针对于此,河南工业大学人工智能系来新璐同学开发了首个 Llama 3 中文版本 Llama 3-Chinese-Chat 模型,能够实现流畅的中文对话,拥有超高中文理解能力。该模型现已上线至 OpenBayes 平台公共模型板块,支持一键 Input。
公共模型地址:
https://go.openbayes.com/9A0Jh
不仅如此,「一键部署 Llama 3-Chinese-Chat-8B Demo」也已经同步上线至 OpenBayes 平台公共教程板块,无需输入任何命令、一键即可开启对话。
使用中文向 Llama 3-Chinese-Chat-8B 进行提问
公共教程地址:
https://go.openbayes.com/A8zqI
操作步骤
01 Demo 运行阶段
1. 登录 OpenBayes.com,在「公共教程」页面,选择「一键部署 Llama 3-Chinese-Chat-8B Demo」。
2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。
3. 点击右下角「下一步:选择算力」。
4. 页面跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!
小贝总专属邀请链接(直接复制到浏览器打开):
https://go.openbayes.com/9S6Dr
5. 点击「继续执行」,等待分配资源,首次克隆需等待 3 分钟左右的时间。当状态变为「运行中」后,将鼠标移动至「API 地址」后,复制该地址并在新标签页打开,即可跳转至 Llama 3-Chinese-Chat-8B Demo 页面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
02 效果演示阶段
1. 打开 Llama 3-Chinese-Chat-8B Demo 页面,在对话框内容输入文本,点击发送,即可开始对话。
2. 将今年高考作文(全国卷)的题目与要求发送给它,它可以十分快速的输出一篇符合要求的作文。
3. 左侧的超参数面板分别表示:
* Maximum length:模型最大输出文字的数量;
* Top P:控制从模型输出的概率分布中选择候选词的范围,值增大,意味着在文本生成过程中考虑的单词集合会更大;
* Temperature:控制随机性的超参数,值越大,生成文本的随机性越大;
* Repetition Penalty:控制生成文本中重复内容,数值越高意味文本中相同的短语或者词汇出现的次数越少。
新用户福利
* 注册福利:点击下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长,永久有效!
小贝总专属邀请链接(直接复制到浏览器打开):
https://go.openbayes.com/9S6Dr