总结｜哪些平台有大模型知识库的Web API服务

news2024/11/29 2:35:30

截止2023/12/6 笔者个人的调研，有三家有大模型知识库的web api服务：

平台	类型	文档数量	文档上传并解析的结构	api情况	返回页码
文心一言	插件版	多文档		有问答api，文档上传是通过网页进行上传	有，而且是具体的chunk id，需要设置verbose参数
通义千问	插件版	单文档		【pdf解析】插件单文档问答api，文档只能用url模式，问答的方式可以总结、可以随意问答	无
星火大模型	知识库	多文档	有，在高级功能中	有上传接口，有文档问答，有文档总结	有，但不是逐句返回

1 文心一言

1.1 知识库上传

地址：
https://console.bce.baidu.com/qianfan/knowledge

先创建知识库，然后上传文档，还可以二次修改
在这里插入图片描述
可以自定义PDF分段方式：

对于不合理的片段可以进行删除：

在这里插入图片描述

1.2 插件-pdf解析

api文档地址：
https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Clo5k1uox

调用示例：

import os
import qianfan

# 替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk，应用APPID替换your_AppID

os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
os.environ["QIANFAN_APPID"]="your_AppID"

# Plugin 知识库展示
plugin = qianfan.Plugin(endpoint="your_endpoint")
resp = plugin.do(plugins=["uuid-zhishiku"], prompt="深度合成服务提供者应当设置哪些入口")
print(resp)
#深度合成服务提供者应当设置便捷的用户申诉和公众投诉、举报入口，公布处理流程和反馈时限，及时受理、处理和反馈处理结果。

请求参数：
在这里插入图片描述

在文心一言的问答界面可以看到：

2 通义千问

跟文心一言类似，是以插件形式出现，而且是单篇文档问答；
文档地址

而且文档比较简单，基本你提工单才能问到一些信息

python code:

from http import HTTPStatus
import dashscope


def call_with_messages():
    plugins = {'ocr': {}}  # choose the desired plugin(s).
    messages = [{'role': 'system', 'content': 'You are a helpful assistant.'},
                {'role': 'user',
                    'content': '识别一下这个图片上的文字：https://dashscope.oss-cn-beijing.aliyuncs.com/samples/plugin/20231124161643.jpg'
                }]
    response = dashscope.Generation.call(
        model='qwen-plus',
        messages=messages,
        result_format='message',  # set the result to be 'message' format.
        plugins=plugins,
    )
    if response.status_code == HTTPStatus.OK:
        print(response)
    else:
        print('Request id: %s, Status code: %s, error code: %s, error message: %s' % (
            response.request_id, response.status_code,
            response.code, response.message
        ))


if __name__ == '__main__':
    call_with_messages()

在通义千问中，有按钮专门选择【文档解析】插件：
在这里插入图片描述