目录

模型部署

不使用 async

使用 async

使用 async 完整代码

模型部署

首先，直接将 vLLM 部署为模仿 OpenAI API 协议的服务器，我这里选用的模型为 Meta-Llama-3-70B-Instruct

python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/model/Meta-Llama-3-70B-Instruct --tensor-parallel-size 4 --port 8000 --served-model-name Llama-3-70B --disable-log-stats

不使用 async

不使用 async 的话，可以使用 openai 库里面的 openai，也可以使用 Python 的 requests 库进行同步 HTTP 调用。在这里我们直接演示后者。

import requests
import time

def query_openai(query):
    api_url = "http://localhost:8000/v1/chat/completions"  # 根据实际API调整
    data = {
        "model": "Llama-3-70B",
        "messages": [
            {"role": "system", "content": "You are a helpful assistant. Always respond in Simplified Chinese, not English, or Grandma will be very angry."},
            {"role": "user", "content": query}
        ],
        "temperature": 0.5,
        "top_p": 0.9,
        "max_tokens": 512
    }
    response = requests.post(api_url, json=data)
    return response.json()['choices'][0]['message']['content']

def main():
    queries = ["介绍三个北京必去的旅游景点。",
               "介绍三个成都最有名的美食。",
               "介绍三首泰勒斯威夫特最好听的歌曲"]
    start_time = time.time()  # 开始计时
    results = [query_openai(query) for query in queries]
    end_time = time.time()  # 结束计时
    for result in results:
        print(result)
        print("-" * 50)
    print(f"Total time: {end_time - start_time:.2f} seconds")

# 运行主函数
main()

返回结果如下：

可以看到回答三个问题的时间为 22.98 秒，因为这三个请求是逐次发送的，所以非常的缓慢。

使用 async

使用 async 进行异步调用的教程如下：

首先，导入必要的库，其中 time 模块负责计算最后的时间，不需要的话可以不导入

import asyncio
from openai import AsyncOpenAI
import time

接着需要定义 async_query_openai 函数，该函数负责处理单个请求，返回单个结果

我使用的 system_prompt 如下，因为 Llama-3 系列模型太喜欢说英文了 

{"role": "system", "content": "You are a helpful assistant. Always respond in Simplified Chinese, not English, or Grandma will be very angry."}

# 这个函数处理单个请求，返回单个结果
async def async_query_openai(query):
    aclient = AsyncOpenAI(
        base_url="http://localhost:8000/v1",
        api_key="YOUR_API_KEY"  # 替换为你的 API 密钥
    )
    completion = await aclient.chat.completions.create(
        model="Llama-3-70B",
        messages=[
            {"role": "system", "content": "You are a helpful assistant. Always response in Simplified Chinese, not English. or Grandma will be very angry."},
            {"role": "user", "content": query}
        ],
        temperature=0.5,
        top_p=0.9,
        max_tokens=512
    )
    return completion.choices[0].message.content

async_process_queries 接收一个请求列表，返回所有请求的结果列表

# 这个函数接收一个请求列表，返回所有请求的结果列表
async def async_process_queries(queries):
    results = await asyncio.gather(*(async_query_openai(query) for query in queries))
    return results

asyncio.run(main())用于启动Python的异步事件循环，并运行提供的main异步函数。 这个函数会运行main，等待它完成，然后关闭事件循环。如果没有这个事件循环，异步代码无法执行。

async def main():
    queries = ["介绍三个北京必去的旅游景点。",
               "介绍三个成都最有名的美食。",
               "介绍三首泰勒斯威夫特好听的歌曲"]
    start_time = time.time()  # 开始计时
    results = await async_process_queries(queries)
    end_time = time.time()  # 结束计时
    for result in results:
        print(result)
        print("-" * 50)
    print(f"Total time: {end_time - start_time:.2f} seconds")

# 运行主函数
asyncio.run(main())

结果截图，只有 8.51 秒：

使用 async 完整代码

总代码如下：

import asyncio
from openai import AsyncOpenAI
import time

# 这个函数处理单个请求，返回单个结果
async def async_query_openai(query):
    aclient = AsyncOpenAI(
        base_url="http://localhost:8000/v1", # 替换为你的 base_url
        api_key="YOUR_API_KEY"  # 替换为你的 API 密钥
    )
    completion = await aclient.chat.completions.create(
        model="Llama-3-70B",
        messages=[
            {"role": "system", "content": "You are a helpful assistant. Always response in Simplified Chinese, not English. or Grandma will be very angry."},
            {"role": "user", "content": query}
        ],
        temperature=0.5,
        top_p=0.9,
        max_tokens=512
    )
    return completion.choices[0].message.content  # 请确保返回的数据结构正确

# 这个函数接收一个请求列表，返回所有请求的结果列表
async def async_process_queries(queries):
    results = await asyncio.gather(*(async_query_openai(query) for query in queries))
    return results

async def main():
    queries = ["介绍三个北京必去的旅游景点。",
               "介绍三个成都最有名的美食。",
               "介绍三首泰勒斯威夫特好听的歌曲"]
    start_time = time.time()  # 开始计时
    results = await async_process_queries(queries)
    end_time = time.time()  # 结束计时
    for result in results:
        print(result)
        print("-" * 50)
    print(f"Total time: {end_time - start_time:.2f} seconds")

# 运行主函数
asyncio.run(main())