本地部署 Google Gemma 开源模型

news2024/9/27 9:28:33

Google Gemma 是 Google AI 团队开发的基于Transformer的轻量级大语言模型，Gemma 模型已开源并在各种硬件平台上保持良好性能，记录下本地部署过程并在多种情景下使用情况。

一、环境配置

1、下载并安装Ollama

在 Windows 上下载 Ollama ，选择操作系统对应版本下载，下载后运行安装，安装过程无任何设置操作。

安装完成后打开命令行输入 ollama -v ，全小写字母，准确显示当前安装版本号即为顺利安装。

2、模型下载

同网页，点击网页上方Models 按钮进入模型信息查询下载界面：

博主个人电脑是2080，点击gemma2 下方9B按钮，显示具体的信息和下载方式：

将上述图片中的ollama run gemma2 复制到命令行中执行，自动下载对应模型，由于博主在写博客时已完成安装，这里以老版gemma安装进行示例，读条完成后即完成下载。

二、模型使用

1、使用方法1：通过命令行

第一次安装完成后将自动打开，直接输入需要完成的工作，模型给出对应答案。

非第一次安装后，随时在命令行输入安装时的语句，即 ollama run gemma2，即可运行。

2、使用方法2：通过写程序调用

以pycharm调用为例，以下代码实现调用ollama对外部的txt文件进行读取，并按照给定的模板进行信息提取填充输出，复制以下代码可直接运行：

from langchain_community.llms import Ollama
from langchain_core.prompts import PromptTemplate

def read_text_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        return file.read()

def extract_information(text, model_name):
    # 定义信息提取的提示模板
    prompt_template = PromptTemplate.from_template("""
    从以下文本中提取信息，填充指定的模板:
    文本: {context}
    信息: 
    1. 故事人物:
    2. 背景:
    3. 时间:
    4. 起因:
    5. 故事的发展:
    6. 结束:
    请严格按照上述格式回答，不要添加额外的解释或信息。
    """)
    
    # 创建 Ollama 实例
    llm = Ollama(model=model_name)
    
    # 使用提示模板和模型进行信息提取
    chain = prompt_template | llm
    response = chain.invoke({'context': text})
    return response

def main(file_path, model_name, output_file):
    # 读取文本文件
    text = read_text_file(file_path)
    
    # 提取信息
    extracted_info = extract_information(text, model_name)
    
    # 输出提取的信息到文件
    with open(output_file, 'w', encoding='utf-8') as file:
        file.write(extracted_info)

    print(f"信息已提取并保存到 {output_file}")

if __name__ == "__main__":
    file_path = 'show.txt'
    model_name = "Gemma2"  # 根据实际模型名称进行替换
    output_file = 'extracted_info.txt'
    main(file_path, model_name, output_file)

show.txt的文本内容为：

2019年春节档期间的《流浪地球》无疑是热度最高、反响最好的一部电影。它根据刘慈欣同名小说改编，影片故事设定在2075年。科学家们发现太阳急速衰老膨胀，太阳即将毁灭，地球将不适合人类生存。为了自救，人类开启一个名为“流浪地球”的大胆计划，倾全球之力在地球表面建造上万座发动机和转向机，推动地球离开太阳系，用2500年的时间奔往另外一个栖息之地。中国航天员刘培强在儿子刘启四岁那年前往国际空间站，和国际同侪肩负起领航者的重任。由于地面低温已经降至零下84度，人类被迫迁入地下城生活。

危机来临！当刘培强经过17年的太空工作，已经到了离职的时候，他的儿子刘启带着妹妹朵朵偷偷跑到地表玩耍，还偷了外公韩子昂是超级驾驶员的车卡，不仅遭到逮捕。更大的问题是，全球发动机停摆。但是，地球还没有飞出太阳系、路过木星的时候被木星引力吸引，逐渐接近并要撞击木星。

怎么修好发动机，阻止地球撞击木星，这是全人类面临的问题。

首先，为了延续百代子孙生存的希望，人类空前团结，成立了联合政府，来自世界各国的救援队通力合作，展开营救。第二，刘启他们的车也被强征加入救援队伍，参与火石运送行动，确保所有的故障发动机都得到了重启。第三，经过三十多个小时的努力，虽然完成了71%的发动机重新启动和100%的转向机的重新启动，可是地球仍然要撞向木星。联合政府宣告流浪地球计划失败，刘培强决定牺牲自己，利用空间站的撞击点燃木星，最终拯救了地球。

示例输出结果：