1 概述
ollama和deepseek如果需要多实例,一种方式是部署在kubernetes集群中,一种是使用云厂商的云函数服务。云函数服务是按量付费,并且底层支持GPU,不需要维护kubernetes集群。本文介绍使用华为云函数计算FunctionGraph来部署ollma+deepseek。
2 部署
2.1 创建函数计算
函数的类型选择HTTP函数,权限委托是fgs_default_agency,使用的容器镜像为:
swr.cn-east-3.myhuaweicloud.com/custom_container/ollama-deepseek-r1:14b
2.1 函数开启GPU资源
函数创建完成后,需要启动GPU资源来运行deepseek。
2.3 函数开启HTTP触发器
在详细页面的[ 设置 ] --> [ 触发器 ],创建APIG触发器,表单数据如下图所示:
注意:分组的列表为空,只需要新建即可,名称可自定义。
创建APIG触发器成功后,如下图所示:
4 测试函数
在浏览器访问地址,地址为APIG触发器的调用URL,第一次访问时间会比较久,因为云函数的POD还未就绪,最终浏览器结果如下图所示:
通过/api/tags接口可以得知,云函数部署的ollama实例运行着大模型deepseek-r1-14B。