通义千问大模型API调用示例

news2024/9/23 3:22:00

通义千问是由阿里云自主研发的大语言模型,用于理解和分析用户输入的自然语言。

模型概览

模型名称模型简介模型输入/输出限制
qwen-turbo通义千问超大规模语言模型,支持中文、英文等不同语言输入模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens
qwen-turbo通义千问超大规模语言模型,支持中文、英文等不同语言输入模型支持32k tokens上下文,为了保证正常的使用和输出,API限定用户输入为30k tokens
qwen-max通义千问千亿级别超大规模语言模型,支持中文、英文等不同语言输入。随着模型的升级,qwen-max将滚动更新升级,如果希望使用固定版本,请使用下面的历史快照版本。当前qwen-max模型与qwen-max-0428快照版本等价,均为最新版本的qwen-max模型,也是当前通义千问2.5产品版本背后的API模型模型支持8k tokens上下文,为了保证正常的使用和输出,API限定用户输入为6k tokens
qwen-max-longcontext通义千问千亿级别超大规模语言模型,支持中文、英文等不同语言输入模型支持30k tokens上下文,为了保证正常的使用和输出,API限定用户输入为28k tokens

API调用

一、开通DashScope并创建API-KEY

  • 开通DashScope灵积模型服务
    1、 访问DashScope管理控制台:https://dashscope.console.aliyun.com ,
    在这里插入图片描述
    2、在控制台“总览”页下,单击去开通。
    在这里插入图片描述
    3、阅读服务协议,确认无误后单击立即开通
    在这里插入图片描述

  • 创建API-KEY
    1、访问DashScope管理控制台API-KEY管理页面:前往API-KEY管理,单击创建新的API-KEY。
    在这里插入图片描述
    2、系统创建生成API-KEY,并在弹出的对话框中展示,可以单击复制按钮将API-KEY的内容复制保存。
    在这里插入图片描述

  • API-KEY添加至系统变量
    1、方式一:通过环境变量设置API-KEY
    环境变量添加方式不再赘述。
    2、在代码中显式配置API-KEY

import dashscope
dashscope.api_key="YOUR_DASHSCOPE_API_KEY"

二、示例

示例使用代码中显示配置API-KEY的方式。

from http import HTTPStatus
import dashscope

# 替换为自己的 API Key
dashscope.api_key="sk-***********"
def sample_call_streaming():
    prompt_text = '用萝卜、土豆、茄子做饭,给我个菜谱。'
    response_generator = dashscope.Generation.call(
        model='qwen-turbo',
        prompt=prompt_text,
        # 设置stream为True,开启流式输出
        stream=True,
        incremental_output=True,
        top_p=0.9)

    for response in response_generator:
        if response.status_code == HTTPStatus.OK:
            print(response.output.text, end="")  # 输出文本
        else:
            print(response.code)  # 错误码
            print(response.message)  # 错误信息


if __name__ == '__main__':
    sample_call_streaming()


输入参数

参数数据类型默认值说明
model(必选)string指定用于对话的通义千问模型名
messagesarray户与模型的对话历史。array中的每个元素形式为{“role”:角色, “content”: 内容},角色当前可选值:system、user、assistant和tool。system:表示系统级消息,用于指导模型按照预设的规范、角色或情境进行回应。是否使用system角色是可选的,如果使用则必须位于messages的最开始部分。user和assistant:表示用户和模型的消息。它们应交替出现在对话中模拟实际对话流程。tool:表示工具的消息。在使用function call功能时,如果要传入工具的结果,需将元素的形式设为{“content”:“工具返回的结果”, “name”:“工具的函数名”, “role”:“tool”}。其中name是工具函数的名称,需要和上轮response中的tool_calls[i][‘function’][‘name’]参数保持一致;content是工具函数的输出
promptstring无(与messages不可同时为空)用户输入的指令,用于指导模型生成回复
seed(可选)integer生成时使用的随机数种子,用于控制模型生成内容的随机性。seed支持无符号64位整数。
max_tokens(可选)integer1500或2000指定模型可生成的最大token个数
top_p(可选)float生成过程中的核采样方法概率阈值,例如,取值为0.8时,仅保留概率加起来大于等于0.8的最可能token的最小集合作为候选集。取值范围为(0,1.0),取值越大,生成的随机性越高;取值越低,生成的确定性越高
top_k(可选)integer生成时,采样候选集的大小。例如,取值为50时,仅将单次生成中得分最高的50个token组成随机采样的候选集。取值越大,生成的随机性越高;取值越小,生成的确定性越高。取值为None或当top_k大于100时,表示不启用top_k策略,此时,仅有top_p策略生效。
repetition_penalty(可选)float用于控制模型生成时连续序列中的重复度。提高repetition_penalty时可以降低模型生成的重复度,1.0表示不做惩罚。没有严格的取值范围。
presence_penalty(可选)float用户控制模型生成时整个序列中的重复度。提高presence_penalty时可以降低模型生成的重复度,取值范围[-2.0, 2.0]。
temperature(可选)float用于控制模型回复的随机性和多样性。具体来说,temperature值控制了生成文本时对每个候选词的概率分布进行平滑的程度。较高的temperature值会降低概率分布的峰值,使得更多的低概率词被选择,生成结果更加多样化;而较低的temperature值则会增强概率分布的峰值,使得高概率词更容易被选择,生成结果更加确定
stop (可选)string or arraystop参数用于实现内容生成过程的精确控制,在模型生成的内容即将包含指定的字符串或token_id时自动停止。stop可以为string类型或array类型
stream (可选)booleanFalse用于控制是否使用流式输出。当以stream模式输出结果时,接口返回结果为generator,需要通过迭代获取结果,默认每次输出为当前生成的整个序列,最后一次输出为最终全部生成结果,可以通过设置参数incremental_output为False改变输出模式为非增量输出
enable_search(可选)booleanFalse用于控制模型在生成文本时是否使用互联网搜索结果进行参考
result_format(可选)stringtext用于指定返回结果的格式,默认为text,也可选择message。推荐您优先使用message格式
incremental_output (可选)booleanFalse控制在流式输出模式下是否开启增量输出,即后续输出内容是否包含已输出的内容。设置为True时,将开启增量输出模式,后面输出不会包含已经输出的内容,您需要自行拼接整体输出;设置为False则会包含已输出的内容
toolsarrayNone用于指定可供模型调用的工具库,一次function call流程模型会从中选择其中一个工具
tool_choicestring or object在使用tools参数时,用于控制模型调用指定工具

出参描述

返回参数数据类型说明
status_codeinteger200(HTTPStatus.OK)表示请求成功,否则表示请求失败,可以通过code获取错误码,通过message字段获取错误详细信息。
request_idstring系统生成的标志本次调用的id。
codestring表示错误码,调用成功时为空值。仅适用于Python
messagestring表示调用失败的详细信息,调用成功时为空值。仅适用于Python
outputobject表示调用结果信息。
output.finish_reasonstring有四种情况:正在生成时为null;因触发输入参数中的stop条件而结束为stop;因生成长度过长而结束为length;因发生工具调用为tool_calls。
output.choicesarray当result_format为message时输出choices
output.choices[i].finish_reasonstring有三种情况:正在生成时为null;因触发输入参数中的stop条件而结束为stop;因生成长度过长而结束为length。
output.choices[i].messageobject模型输出的消息
output.choices[i].message.rolestring模型的角色,固定为assistant
output.choices[i].message.contentstring模型生成的文本。
output.choices[i].message.tool_callsobject如果模型需要调用工具,则会生成tool_calls参数,应用于function call场景
usageobject计量信息,表示本次请求所消耗的token数据
usage.input_tokensinteger用户输入文本转换成token后的长度。
usage.output_tokensinteger模型生成回复转换为token后的长度。
usage.total_tokensintegerusage.input_tokens与usage.output_tokens的总和

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1939724.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python数据可视化------动态柱状图

一、基础柱状图 # 基础柱状图 # 导包 from pyecharts.charts import Bar from pyecharts.options import *# 构建柱状图 bar Bar() # 添加数据(列表) x_list ["张三", "李四", "王五", "赵六"] y_list [50,…

vue引用js html页面 vue引用js动态效果

要引用的index.html页面&#xff1a;&#xff08;资源来自网络&#xff09;在pubilc下建一个static文件放入js文件 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><title>数字翻转</title><meta con…

基于SpringBoot+Vue的校园志愿者管理系统(带1w+文档)

基于SpringBootVue的校园志愿者管理系统(带1w文档) 基于SpringBootVue的校园志愿者管理系统(带1w文档) 本次设计任务是要设计一个校园志愿者管理系统&#xff0c;通过这个系统能够满足管理员和志愿者的校园志愿者信息管理功能。系统的主要功能包括首页、个人中心、志愿者管理、…

多线程应用

并发与并行 计算机操作系统对于并发性和并行性的概念给出的定义是&#xff1a; 并行性是指两个或多个事件在同一时刻发生&#xff1b; 并发性是指两个或多个事件在同一时间段内发生。 并发是指多个任务(线程)都请求运行&#xff0c;如果系统只有一个CPU,CPU只能按受一个任务&…

java学习--断点调试

可进入调用的方法里看源码

C2W2.Assignment.Parts-of-Speech Tagging (POS).Part1

理论课&#xff1a;C2W2.Part-of-Speech (POS) Tagging and Hidden Markov Models 文章目录 0 Data Sources1 POS Tagging1.1 TrainingTransition countsEmission countsTag countsExercise 01 1.2 TestingExercise 02 理论课&#xff1a; C2W2.Part-of-Speech (POS) Tagging…

创建自己的 app: html网页直接打包成app;在线网页打包app工具fusionapp、pake

1、html网页直接打包成app 主要通过hbuilderx框架工具来进行打包 https://www.dcloud.io/hbuilderx.html 参考&#xff1a; https://www.bilibili.com/video/BV1XG411r7QZ/ https://www.bilibili.com/video/BV1ZJ411W7Na 1&#xff09;网页制作 这里做的工具是TodoList 页面&a…

数据结构——栈的实现(java实现)与相应的oj题

文章目录 一 栈栈的概念:栈的实现&#xff1a;栈的数组实现默认构造方法压栈获取栈元素的个数出栈获取栈顶元素判断当前栈是否为空 java提供的Stack类Stack实现的接口&#xff1a; LinkedList也可以当Stack使用虚拟机栈&#xff0c;栈帧&#xff0c;栈的三个概念 二 栈的一些算…

Android 11 HAL层集成FFMPEG

1.集成目录&#xff1a; android/vendor/noch/common/external/NoboMediaCodec 2.文件夹目录 3. Android.mk实现 # Copyright #LOCAL_PATH : $(call my-dir)SF_COMMON_MK : $(LOCAL_PATH)/common.mkinclude $(call first-makefiles-under,$(LOCAL_PATH))4.common.mk实现 # #…

Xilinx FPGA DDR4 接口配置基础(PG150)

1. 简介 1.1 DDR4 SDRAM 控制器主要特点 支持8到80位接口宽度的组件&#xff08;支持 RDIMM、LRDIMM、UDIMM 和 SODIMM&#xff09; 最大组件限制为9&#xff0c;此限制仅适用于组件&#xff0c;不适用于 DIMM。密度支持 最高支持 32 GB 的组件密度&#xff0c;64 GB 的 LRDI…

初识godot游戏引擎并安装

简介 Godot是一款自由开源、由社区驱动的2D和3D游戏引擎。游戏开发虽复杂&#xff0c;却蕴含一定的通用规律&#xff0c;正是为了简化这些通用化的工作&#xff0c;游戏引擎应运而生。Godot引擎作为一款功能丰富的跨平台游戏引擎&#xff0c;通过统一的界面支持创建2D和3D游戏。…

数字集成电路(3)

光刻&#xff08;photolithography&#xff09; 工艺步骤&#xff1a; 扩散和离子注入&#xff1a;900~1100℃ 淀积 刻蚀 平面化 衬底选择&#xff1a;常用&#xff08;100&#xff09;晶面&#xff08;原因&#xff1a;面密度小&#xff0c;界面态少&#xff09; 设计规…

【vue教程】四. Vue 计算属性和侦听器

目录 本章涵盖知识点回顾计算属性&#xff08;Computed&#xff09;创建计算属性计算属性的多样性计算属性的数组过滤计算属性的复杂表达式 计算属性 vs 方法计算属性的实例演示 侦听器&#xff08;Watchers&#xff09;创建侦听器侦听器的高级用法侦听器的深度观察侦听器的立即…

【ffmpeg命令基础】过滤处理

文章目录 前言过滤处理的介绍两种过滤类型简单滤波图简单滤波图是什么简单滤波示例 复杂滤波图复杂滤波是什么区别示例 总结 前言 FFmpeg是一款功能强大的开源音视频处理工具&#xff0c;广泛应用于音视频的采集、编解码、转码、流化、过滤和播放等领域。1本文将重点介绍FFmpe…

mysql存储引擎和备份

索引 事务 存储引擎 概念&#xff1a;存储引擎&#xff0c;就是一种数据库存储数据的机制&#xff0c;索引的技巧&#xff0c;锁定水平。 存储引擎。存储的方式和存储的格式。 存储引擎也属于mysql当中的组件&#xff0c;实际上操作的&#xff0c;执行的就是数据的读写I/O。…

ROC曲线和AUC

ROC曲线能更稳定反映模型的性能&#xff0c;对测试集合中数据分布的变化不敏感 AUC&#xff1a;当随机挑选一个正样本和一个负样本&#xff0c;根据当前的分类器计算得到的score将这个正样本排在负样本前面的概率 从AUC判断分类器&#xff08;预测模型&#xff09;优劣的标准&a…

【QT开发(19)】2023-QT 5.14.2实现Android开发,使用新版SDK,试图支持 emulator -avd 虚拟机

之前的博客【QT开发&#xff08;17&#xff09;】2023-QT 5.14.2实现Android开发&#xff0c;SDK是24.x版本的&#xff0c;虚拟机是32位的&#xff0c;但是现在虚拟机是64位的了&#xff0c;需要升级SDK匹配虚拟机 文章目录 最后的效果1.1 下载最新版 SDK tools (仅限命令行工…

JavaWeb-【3】DOM

笔记系列持续更新&#xff0c;真正做到详细&#xff01;&#xff01;本次系列重点讲解后端&#xff0c;那么第一阶段先讲解前端【续上篇CSS和JavaScript】 目录 1、dom介绍 2、html-dom 3、document 4、应用实例 ①、应用实例1 ②、多选框案例 ③、图片切换案例 ④、添…

高性能图数据库Neo4j从入门到实战

图数据库Neo4j介绍 什么是图数据库&#xff08;graph database&#xff09; 随着社交、电商、金融、零售、物联网等行业的快速发展&#xff0c;现实社会织起了了一张庞大而复杂的关系网&#xff0c;传统数据库很难处理关系运算。大数据行业需要处理的数据之间的关系随数据量呈…

密码学基础-Hash、MAC、HMAC 的区别与联系

密码学基础-Hash、MAC、HMAC 的区别与联系 Hash Hash 是一种从一段数据中创建小的数字“指纹”的方法。就像一个人的指纹代表一个人的信息一样&#xff0c;Hash 对输入的数据进行整理&#xff0c;生成一个代表该输入数据的“指纹” 数据。通常该指纹数据也可称之为摘要、散列…