Py之fireworks-ai：fireworks-ai的简介、安装和使用方法、案例应用之详细攻略

news2024/11/28 2:42:10

fireworks-ai的简介

fireworks-ai的安装和使用方法

1、安装

2、使用方法

# 使用Fireworks客户端库与某个预训练模型进行交互

fireworks-ai的案例应用

LLMs之Agent之Self-ask with Search：基于LangChain框架实现SawS Agent(自我提问并搜索)——初始化工具列表(TavilyAnswer)→创建SawS Agent(将llm【采用Fireworks】、tools、prompt【提示模板】打包给create_self_ask_with_search_agent+定义AgentExecutor)→测试SawS Agent(用户输入dict格式)

fireworks-ai的简介

fireworks-ai提供了一个方便的API来访问Fireworks支持的llm。我们的目标是让我们的API与OpenAI的API非常相似，这样你就可以用最少的修改来取代OpenAI的使用。

fireworks-ai的安装和使用方法

1、安装

pip install fireworks-ai

pip install -i https://mirrors.aliyun.com/pypi/simple fireworks-ai

2、使用方法

# 使用Fireworks客户端库与某个预训练模型进行交互


# 使用Fireworks客户端库与某个预训练模型进行交互


# 获取模型列表：设置 API 密钥,并调用 Models.list() 方法获取模型列表并打印出来
import fireworks.client
fireworks.client.api_key = "your-key"
print(fireworks.client.Models.list())


# 实现生成文本：利用Completion.create()方法生成文本，需要指定模型 ID、输入文本、温度、生成文本数量和最大令牌数。
import fireworks.client
completion = fireworks.client.Completion.create("accounts/fireworks/models/llama-v2-7b", "Once upon a time", temperature=0.1, n=2, max_tokens=16)
print(completion)


# 流式生成文本：，利用 Completion.create() 方法使用迭代方式遍历生成的文本
import fireworks.client
fireworks.client.api_key = "your-key"
for completion in fireworks.client.Completion.create(
    "accounts/fireworks/models/llama-v2-7b",
    prompt="Once upon a time",
    temperature=0.1,
    n=2,
    max_tokens=16
):
    print(completion)


# 异步生成文本：利用异步函数 main()和Completion.acreate() 方法异步生成文本完成
import asyncio
import fireworks.client
fireworks.client.api_key = "your-key"
async def main():
    response = await fireworks.client.Completion.acreate("accounts/fireworks/models/llama-v2-7b", "Once upon a time", echo=True, max_tokens=16)
    print(response.choices[0].text)
asyncio.run(main())


# 运行 Python 脚本
# python test.py
# Once upon a time, there used to be a huge mountain that was the most famous mou

# 聊天生成：调用 ChatCompletion.create() 方法生成聊天完成，需要指定模型 ID、消息列表、温度、生成文本数量和最大令牌数。
import fireworks.client
fireworks.client.api_key = "your-key"
completion = fireworks.client.ChatCompletion.create(
    "accounts/fireworks/models/llama-v2-7b-chat",
    messages=[{"role": "user", "content": "Hello there!"}],
    temperature=0.7,
    n=2,
    max_tokens=16
)
print(completion)