文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告

news2024/11/15 18:06:52

本心、输入输出、结果

文章目录

  • 文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告
    • 前言
      • 相关跳转
        • 文心一言 4.0 ERNIE-Bot 4.0 接口简介
        • Bash 请求示例代码
        • Windows 模式
        • 使用 Python 请求
        • 如果直接使用官方提供的代码
        • 文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台
        • 前提条件:创建一个应用
        • 在线测试
      • 进行问题测试
        • 反应速度
        • 常识推理
        • 中文理解
        • 生蚝问题
        • 数学计算
        • 代码
      • ERNIE-Bot 4.0 大模型深度测试体验报告:总结
      • 其它内容
      • 弘扬爱国精神

文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告


编辑:简简单单 Online zuozuo
地址:https://blog.csdn.net/qq_15071263

在这里插入图片描述

前言

百度文心一言 4.0 :如何申请百度文心一言 4.0

昨天申请的 文心一言 4.0 ERNIE-Bot 4.0 测试资格,目前已经拿到,我们将开始对 文心一言 4.0 ERNIE-Bot 4.0 进行一些体验测试

在这里插入图片描述

在这里插入图片描述

相关跳转

文心一言 4.0 ERNIE-Bot 4.0 ,目前对于申请的人员,只提供了 API 测试通道,所以我们需要 API 文档

文心一言 4.0 ERNIE-Bot 4.0 API 对接文档

文心一言 4.0 ERNIE-Bot 4.0 接口简介

该接口调用 = 发起一次对话请求

本接口返回不支持图片内容

接口地址为:POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro

在这里插入图片描述

接口文档 如何获取 Access_Token

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Bash 请求示例代码

# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'

# 步骤二,调用本文API,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步骤一调用接口获取的access_token]' -d '{
   "messages": [
    {"role":"user","content":"介绍一下你自己"}
   ]
}' | iconv -f utf-8 -t utf-8

这是最简单的调用 API 的方式

Windows 模式

日常我们使用 Windows 进行工作的时候,一般使用 PowerShell,那么 Bash 脚本就不适合我们,所以我写了一个 PowerShell 脚本给大家使用

Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[这里填写你的 API KEY]&client_secret=[这里填写你的 API Secret]'   | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

如图,我们就拿到了我们需要的内容

在这里插入图片描述

发起沟通请求的 Windows PowerShell 脚本

Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8'  | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

以下为正常测试返回结果
在这里插入图片描述

使用 Python 请求

这里我再贴一下 Python 版本的代码,官方提供的 Python 代码参数上有点问题,我已经修复了

import requests
import json

API_KEY = "你的AK"
SECRET_KEY = "你的SK"


def main():
    url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()

    payload = json.dumps({
        "messages": [
            {
                "role": "user",
                "content": "你好"
            }
        ]
    })
    headers = {
        'Content-Type': 'application/json'
    }
    response = requests.request("POST", url, headers=headers, data=payload)
    print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))


def get_access_token():
    """
    使用 AK,SK 生成鉴权签名(Access Token)
    :return: access_token,或是None(如果错误)
    """
    url = "https://aip.baidubce.com/oauth/2.0/token"
    params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}
    return str(requests.post(url, params=params).json().get("access_token"))


if __name__ == '__main__':
    main()

测试结果是正确的
在这里插入图片描述

如果直接使用官方提供的代码

如果直接使用官方提供的代码会报错,包括官方的调试口子也是会报错的

在这里插入图片描述

报错返回的 336006 the length of messages must be an odd number ,文档中也没有说明

代码调试结果

在这里插入图片描述

技术文档中,也没有对 336006 的解释

在这里插入图片描述

报错的主要原因是:这里的 message 只能携带奇数个参数

在这里插入图片描述
参考这个说明
在这里插入图片描述

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

虽然只提供了 API 模式,但是我们依然可以利用提供的 API 调试平台直接可视化的使用 文心一言 4.0 ERNIE-Bot 4.0

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

页面如下,我们可以直接进行对话

在这里插入图片描述

前提条件:创建一个应用

我们需要在控制台先新建一个应用

在这里插入图片描述

在线测试

计费管理中,文心一言 4.0 ERNIE-Bot 4.0 已经免费了,但是实际上,官方并没有完善好在线测试的通道

在这里插入图片描述

我们去在线调试里面,是找不到 文心一言 4.0 ERNIE-Bot 4.0 的资源的,其它的都需要付费

在这里插入图片描述

在这里插入图片描述

进行问题测试

测试思路

  • 反应速度
  • 常识推理
  • 中文理解
  • 生蚝问题
  • 数学计算
  • 代码
反应速度

实测反应速度还是比较慢的,平均需要 3-5 秒

常识推理

中国:三个字命名的城市

理解正确,没有把上海市之类的理解为三个字的

在这里插入图片描述

GPT-4

在这里插入图片描述

国内代理 GPT-4 的(高级账户)

在这里插入图片描述

中文理解

理解:上海自来水来自海上

结果并不理想

在这里插入图片描述

生蚝问题

生蚝煮熟了叫什么

他也觉得可以叫熟蚝,但是他知道还是生蚝

GPT-4 会直接认为煮熟了,就不叫生蚝了

在这里插入图片描述

数学计算

两个完全一样的梯形拼成一个平行四边形,这个平行四边形的面积是280cm,高是35cm,每个梯形的上底、下底之和是多少cm

在这里插入图片描述

代码

使用Python代码生成一个长度为10的随机字符串。

在这里插入图片描述

我们直接复制并运行一下这段代码,是可以直接运行的

在这里插入图片描述

在这里插入图片描述

ERNIE-Bot 4.0 大模型深度测试体验报告:总结

真的已经很惊艳了,比预期值是要高出很多的,唯一不足的地方就是目前响应速度实在是有点慢,不知道是不是测试阶段部署的算力资源不足的问题

在这里插入图片描述

其它内容

测试版本的内容里面,还没有提供图片、插件等能力,不知道到时候的结果如何

目前图片生成能力,还没有接入 文心一言 4.0 ERNIE-Bot 4.0

在这里插入图片描述

我们看看 文心一言 3.5 的表现

在这里插入图片描述

弘扬爱国精神

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1107045.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

GEE19:基于Landsat8的常见的植被指数逐年获取

植被指数逐年获取 1. 常见的植被指数1.1 比值植被指数(Ratio vegetation index,RVI)1.2 归一化植被指数(Normalized Difference Vegetation Index,NDVI)1.3 增强植被指数(Enhanced Vegetation I…

nuxt3+ts:集成 百度-爱番番 客服

一、本文目标 nuxt3 ts 集成百度爱番番(客服) 百度爱番番—企业的一站式智能营销管家 二、百度爱番番客服能力 三、爱番番后台基础配置 3.1、设置中心 登录后点右上角设置中心 3.2、沟通与触达 -- > 站点设置 -- > 新建站点 填写信息 3.3、获…

jQuery的使用,下载以及一些小案例

24.jQuery的使用 1.官网地址 https://jquery.com/ 版本: ●1X:兼容E678等低版本浏览器,官网不再更新 ●2x:不兼容IE678等低版本浏览器,官网不再更新 ●3x:不兼容E678等低版本浏览器,是官方主要更新维护的版本 2 jQuery的使用步…

【MySQL】面试题

引言 :MySQL面试题及答案 【最新版】 目录 1、NOW()和CURRENT_DATE()有什么区别?2、CHAR和VARCHAR的区别?3、主键索引与唯一索引的区别4、MySQL中有哪些不同的表格?5、SQL的生命周期…

优化大型机床装配调度:项目管理软件的应用方法

最近,Zoho Projects项目管理软件的一位资深客户,跟我们分享了他是如何把Projects应用于大型机床装配的复杂调度。小Z觉得特别有必要,把各行各业的成功应用和实践经验发布出来。在取得这位资深用户同意后,我们推出了本篇文章&#…

NIO IN:技术蔚来的首次「大阅兵」

宝山,上海第一钢铁厂旧址。 上周,蔚来在这里点亮金色炉台,2500 立方米高炉,浓重的工业气质与古典凝重的光影交织,蔚来 NIO IN 用科技的进步呼应那个火红的年代。 这是蔚来第一次开科技发布会,为了全方位展…

【Leetcode每日一题 2530】「贪心|模拟|优先队列」执行K次操作后的最大分数

2023.10.18 本题重点&#xff1a; 1.优先队列的使用 2.ceil()函数的使用相同的还有floor()函数的使用 题目介绍&#xff1b; 给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。你的 起始分数 为 0 。 在一步 操作 中&#xff1a; 选出一个满足 0 < i < nums.l…

latex:使用中文字体

解决方案 我这里使用的是gbsn&#xff08;其他的字体我不知道&#xff0c;如果有补充请评价&#xff09;&#xff0c;详细说明如下&#xff1a;

vscode调试container(进行rocksdb调试)+vscode比较git项目不同分支和fork的哪个分支

vscode调试container&#xff08;进行rocksdb调试&#xff09; 参考链接&#xff1a; https://blog.csdn.net/qq_29809823/article/details/128445308#t5 https://blog.csdn.net/qq_29809823/article/details/121978762#t7 使用vscode中的插件dev containners->点击左侧的…

【算法练习Day22】 组合总和组合总和 II分割回文串

​&#x1f4dd;个人主页&#xff1a;Sherry的成长之路 &#x1f3e0;学习社区&#xff1a;Sherry的成长之路&#xff08;个人社区&#xff09; &#x1f4d6;专栏链接&#xff1a;练题 &#x1f3af;长路漫漫浩浩&#xff0c;万事皆有期待 文章目录 组合总和组合总和 II分割回…

多继承vs查看类结构

多继承里面的虚函数 类A有两个虚函数&#xff0c;类B重写了其中一个&#xff0c;类C重写了两个&#xff1b; 类C里面可以重写所有继承到的虚函数&#xff08;类A、类B里面的虚函数&#xff09; class A { public:virtual void init() { std::cout << "A init !&qu…

uniapp collapse动态生成多个折叠面板手动展开收起(包括uni-ui版)

前言 官方文档没有暴露出相关api&#xff0c;那就看看组件源码。 以下示例均通过 vue-cli 创建的 uni-app h5 项目 uView&#xff08;1.x&#xff09;版本 源码 node_modules\uview-ui\components\u-collapse-item\u-collapse-item.vue 这个方法是用来改变折叠面板子组件收起还…

Jmeter接口测试 —— jmeter对图片验证码的处理

jmeter对图片验证码的处理 在web端的登录接口经常会有图片验证码的输入&#xff0c;而且每次登录时图片验证码都是随机的&#xff1b;当通过jmeter做接口登录的时候要对图片验证码进行识别出图片中的字段&#xff0c;然后再登录接口中使用&#xff1b; 通过jmeter对图片验证码…

亲,手撸图文博文太累了?试试这个神器!

这一篇博客有关如何使用[InternLM-XComposer]来写图文并茂的博文。InternLM-XComposer是一个基于人工智能的创作工具&#xff0c;它可以根据你的输入生成不同类型的内容&#xff0c;例如文章、诗歌、歌词、代码等。你可以使用它来创作有趣和有创意的博客&#xff0c;同时也可以…

【MySQL】数据库——表操作

文章目录 1. 创建表2. 查看表3. 修改表修改表名add ——增加modify——修改drop——删除修改列名称 4. 删除表 1. 创建表 语法&#xff1a; create table 表名字 ( 列名称 列类型 ) charset set 字符集 collate 校验规则 engine 存储引擎 ; charset set字符集 &#xff0c;若…

Unity SRP 管线【第二讲:Draw Call】

参考&#xff1a; https://edu.uwa4d.com/lesson-detail/282/1309/0?isPreview0 文章目录 参考&#xff1a;一、Shader1.HLSL引入2.获取Unity提供的标准输入3.Unity提供的运算库SpaceTransform库的宏对应补充&#xff1a; 4.标准库Common.hlsl5.SpaceTransforms库引入Commo…

Flutter视图原理之三棵树的建立过程

目录 三棵树的关系树的构建过程1.updateChild函数&#xff08;element的复用&#xff09;2.inflateWidget函数3.mount函数3.1 componentElement的实现3.2 RenderObjectElement的实现3.2.1 attachRenderObject函数 4.performRebuild函数 总结三棵树创建流程 三棵树的关系 Flutt…

【数组的使用续篇】

文章目录 以数组的形式打印数组打印方法&#xff1a;Arrays.toString(数组名) 数组排序大小排序方法是 Arrays.sort(数组名) 创建一个自己的打印数组的方法自己创建一个冒泡排序两数之间交换方法 逆置数组打印核心思路还是 i 和 j 交换 总结 以数组的形式打印数组 打印方法&am…

LeCun和Bengio“吵”起来了,人工智能是“潘多拉魔盒”吗?

作者 | 谢年年 上周末&#xff0c;深度学习领域最有影响力的三巨头之二Yann LeCun和Yoshua Bengio就AI的潜在风险和安全问题引发了一场激烈辩论&#xff0c;人工智能是“潘多拉魔盒”吗&#xff1f;这场辩论引来众多AI知名人士围观。 LeCun在Facebook上发起了这场辩论&#xff…

【Axure高保真原型】树筛选中继器表格

今天和大家分享树筛选中继器表格的原型模板&#xff0c;点的树节点的箭头可以展开或者收起子节点&#xff0c;点击节点内容&#xff0c;可以按照对应层级筛选右侧中继器表格的数据&#xff0c;那这个模板里的树和表格都是用中继器制作的&#xff0c;所以使用也很方便&#xff0…