ERNIE 千帆大模型
ERNIE-3.5是一款基于深度学习技术构建的高效语言模型,其强大的综合能力使其在中文应用方面表现出色。相较于其他模型,如微软的ChatGPT,ERNIE-3.5不仅综合能力更强,而且在训练与推理效率上也更高。这使得ERNIE-3.5能够支持更丰富的外部应用开发,为更多国内开发者提供强大基础工具。
ERNIE-3.5在语义和语境理解上有了显著提升,能够更准确地回答问题和进行交流。在与用户的聊天对话中,它表现出了更高的准确性和自然度,使得其在虚拟助手、在线客服和社交媒体等场景中具备了更出色的表现。在中文测试中,ERNIE-3.5的理解和生成能力更是超过了GPT-4,这显示了其在中文语境下的强大实力。
ERNIE-3.5支持多种NLP任务,包括文本分类、命名实体识别、语义匹配等,适用于需要文本分析和理解的场景,如情感分析、智能问答、文本摘要等。同时,它在创意写作、问答、推理、代码生成等方面也有显著的改进,展现了出色的功能和性能。
此外,ERNIE-3.5的训练速度和推理速度相较于之前的版本也有了大幅提升。据对比数据显示,其训练速度提升了2倍,推理速度提升了17倍,这将大大提高模型迭代升级效率,并大幅降低训练及使用成本。
ERNIE-3.5的推出标志着我国人工智能企业和研究机构在大模型、深度学习等关键技术方面取得了新突破,其水平已赶上世界前列。这不仅有利于人工智能产业生态的繁荣,还为人工智能在更广泛复杂场景中的应用提供了支持。例如,ERNIE-3.5可支持更加开放的外部开发,使其能够被应用于更长文本的生成、图文问答等需求,有助于推动人工智能从单一领域向综合性知识服务领域进一步拓展。
安装环境
pip install qianfan
在调用 SDK 前,需要先初始化 应用API Key(即AK) 和 应用Secret Key(即SK),支持通过参数初始化、内置函数初始化、环境变量初始化三种方式进行初始化。
配置密钥
地址:https://console.bce.baidu.com/iam/#/iam/accesslist
SDK 调用千帆大模型
方案一:加载环境变量 .env 配置文件
QIANFAN_ACCESS_KEY=安全认证 Access Key
QIANFAN_SECRET_KEY=安全认证 Secret Key
方案二:直接属性设置
chat_completion = qianfan.ChatCompletion(ak="API Key", sk="Secret Key")
SDK 调用接口
import qianfan
import dotenv
dotenv.load_dotenv()
chat_comp = qianfan.ChatCompletion()
resp = chat_comp.do(model="ERNIE-Bot-4", messages=[{
"role": "user",
"content": "你好"
}])
if resp.code == 200:
print(resp.request.json_body)
#
print(resp.body)
resp.request.json_body 数据结构(数据类型:dict)
{
'messages': [
{'role': 'user', 'content': '你好'}
],
'stream': False,
'extra_parameters': {
'request_source': 'qianfan_py_sdk_v0.3.7.1'
}
}
resp.body 数据结构(数据类型:dict)
{
'id': 'as-u2tgxkd8z4',
'object': 'chat.completion',
'created': 1712759343,
'result': '你好,有什么我可以帮助你的吗?',
'is_truncated': False,
'need_clear_history': False,
'usage': {
'prompt_tokens': 1,
'completion_tokens': 8,
'total_tokens': 9
}
}
POST 请求调用接口
加载环境变量 .env 配置文件
CLIENT_API_KEY=应用 API KEY
CLIENT_SECRET_KEY=应用 SECRET KEY
地址:https://console.bce.baidu.com/qianfan/ais/console/applicationConsole/application
详细源码
import os
import requests
import json
import dotenv
dotenv.load_dotenv()
def get_access_token():
url = f"https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={os.environ['CLIENT_API_KEY']}&client_secret={os.environ['CLIENT_SECRET_KEY']}"
payload = json.dumps("")
headers = {
'Content-Type': 'application/json',
'Accept': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
return response.json().get("access_token")
def qianfan_chat_post(content):
url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()
payload = json.dumps({
"messages": [
{
"role": "user",
"content": content
}
]
})
headers = {
'Content-Type': 'application/json'
}
response = requests.request("POST", url, headers=headers, data=payload)
return response.json().get("result")
服务器端源码
读取数据
PROBELM_LIST = []
with open('english.txt', encoding='utf-8', mode='r') as file:
# 使用 for循环逐行读取文件
for line in file:
# 打印每一行的内容
PROBELM_LIST.append(line.replace("\n", ""))
百度智能云调用
import qianfan
import dotenv
dotenv.load_dotenv()
chat_comp = qianfan.ChatCompletion()
def qianfan_ask(content):
resp = chat_comp.do(model="ERNIE-Bot-4", messages=[{
"role": "user",
"content": content
}], system="结果用纯英语返回,不带有任何中文,内容不超过100个词。")
if resp.code == 200:
return resp.body.get("result")
print(qianfan_ask("问题;What is the past tense of the verb “to run”?, 我的回答:run。请问简要评价我的回答情况"))
配置服务器源码
from datetime import datetime
from flask import Flask, jsonify, request, make_response
from flask_cors import CORS
from flask_pymongo import PyMongo
from read_data import PROBELM_LIST
from qianfan_api import qianfan_ask
app = Flask(__name__)
CORS(app)
# 配置 MongoDB 连接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)
def insert_mongo_data(user: str, content: str):
collection = mongo.db.message
# 获取当前日期和时间
now = datetime.now()
# 格式化日期和时间
formatted_time = now.strftime("%Y-%m-%d %H:%M:%S")
collection.insert_one({'time': formatted_time, 'user': user, 'content': content})
@app.route('/problem')
def ramdon_problem():
index = int(request.args.get('index'))
# problem = random.choice(PROBELM_LIST)
# 题目循环取余操作
problem = PROBELM_LIST[index % len(PROBELM_LIST)]
# 记录机器人数据
insert_mongo_data("机器人", problem)
result = {'code': 200, 'data': problem}
return jsonify(result)
@app.route('/answer', methods=['POST'])
def answer_problem():
data = request.get_json()
problem = data.get('problem', "")
answer = data.get('answer', "")
# 记录使用者数据
insert_mongo_data("使用者", answer)
# 千帆大模型分析回答质量
analysis = qianfan_ask(f"问题{problem}。我的回答:{answer}。请问简要评价我的回答情况")
# 记录机器人数据
insert_mongo_data("机器人", analysis)
result = {'code': 200, 'data': analysis}
return jsonify(result)
if __name__ == '__main__':
app.run(host="0.0.0.0", port=3000, debug=True)
导出 Json 数据
开启接口支持导出 json 数据
@app.route('/json', methods=['GET'])
from flask import Flask, jsonify
from flask_cors import CORS
from flask_pymongo import PyMongo
import pandas as pd
import io
from openpyxl import Workbook
app = Flask(__name__)
CORS(app)
# 配置 MongoDB 连接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)
@app.route('/json', methods=['GET'])
def get_data():
# 查询 MongoDB
data = mongo.db.message.find()
# 将 ObjectId 转换为字符串
result = []
for d in data:
# 处理 ObjectId
d['_id'] = str(d['_id'])
result.append(d)
return jsonify(result)
if __name__ == '__main__':
app.run(host="0.0.0.0", port=3000, debug=True)
导出 Excel 数据
开启接口支持导出 excel 数据
from flask import Flask, make_response
from flask_cors import CORS
from flask_pymongo import PyMongo
import pandas as pd
import io
from openpyxl import Workbook
app = Flask(__name__)
CORS(app)
# 配置 MongoDB 连接
app.config['MONGO_URI'] = 'mongodb://localhost:27017/hnu'
mongo = PyMongo(app)
def generate_excel(data):
# 创建一个 Excel 工作簿和工作表
wb = Workbook()
ws = wb.active
ws.title = "Data"
# 将数据写入工作表
for row_num, row_data in enumerate(data, 1):
ws.append(row_data)
# 将工作簿保存到 BytesIO 流中
excel_data = io.BytesIO()
wb.save(excel_data)
# 重置流的位置到开头
excel_data.seek(0)
# 设置 HTTP 响应头,以便浏览器知道这是一个 Excel 文件
response = make_response(excel_data.read())
response.headers["Content-Disposition"] = "attachment; filename=data.xlsx"
response.headers["Content-Type"] = "application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
return response
@app.route('/excel', methods=['GET'])
def get_data_excel():
data = mongo.db.message.find()
# 将 ObjectId 转换为字符串
result = []
for d in data:
# 处理ObjectId
d['_id'] = str(d['_id'])
result.append(d)
# 将查询结果转换为 DataFrame
df = pd.DataFrame(result)
# 生成 Excel 文件并返回
return generate_excel(df.values.tolist())
if __name__ == '__main__':
app.run(host="0.0.0.0", port=3000, debug=True)
前端效果预览
聊天界面效果