Java实现OpenAI模型训练

news2024/11/15 23:49:56

本文章介绍如何用java实现OpenAI模型训练,仅供参考

提前准备工作

  1. OpenAI KEY,获取方式可自行百度
  2. 需要自备VPN 或 使用国外服务器转发
  3. 需要训练的数据集,文章格式要求为JSONL,格式内容详见下图(尽量不要低于500个问答)
    在这里插入图片描述
    话不多说,上代码

一、导入pom依赖

        <dependency>
            <groupId>cn.gjsm</groupId>
            <artifactId>openai</artifactId>
            <version>0.1.4</version>
        </dependency>

二、初始化OpenAiClient对象

private OpenAiClient initOpenAiClient() {
        return OpenAiClientFactory.createClient("OpenAI KEY");
    }

三、上传数据集并创建模型

数据集可以自己解析成特定格式,务必为JSONL格式

 @SneakyThrows
    public String modelTraining() {


        // 发送文件到ChatGPT 文件进行存储
        OpenAiClient openAiClient = initOpenAiClient();

        // 文件内容格式 {"prompt":"What 'S the main idea of the text ? ->","completion":" The lack of career -- based courses in US high schools END"}
        RequestBody requestBody = FileUploadRequest.builder()
                .file(new File("C:\\Users\\17600\\Desktop\\res2.jsonl"))
                .purpose("fine-tune")  // fine-tune代表训练
                .build()
                .toRequestBody();

        Call<FileObject> fileObjectCall = openAiClient.uploadFile(requestBody);
        Response<FileObject> execute = fileObjectCall.execute();
        if (!execute.isSuccessful()){
            log.info("code={}",execute.code());
            log.info("errBody={}",execute.errorBody());
            return null;
        }

        log.info("body={}",execute.body());

        //FileObject(id=file-nHX070z0XRvokTNi84YHAYzC, object=file, bytes=181, createdAt=1680488594,filename=ajson,purpose=fine-tune)
        String id = execute.body().getId();

        // 创建模型
        FineTunesRequest body = FineTunesRequest.builder()
                .trainingFile(id)
                .model("davinci") // 基于训练模型的名称
                .suffix("zze-en") // 自定义训练好模型的名称
                .build();

        Call<FineTuneResult> fineTuneResultCall = openAiClient.callFineTunes(body);
        Response<FineTuneResult> tuneExecute = fineTuneResultCall.execute();

        if (tuneExecute.isSuccessful()) {
            log.info("body={}",tuneExecute.body());
        }else {
            log.info("code={}",tuneExecute.code());
            log.info("errBody={}",tuneExecute.errorBody());
        }

        return null;
    }

注意:上传文件时可能会失败,请多次尝试

四、查询当前账号下所有已训练好名称

创建模型需要花费几分钟甚至几小时,可多次调用此方法查询训练好的模型,查询接口是免费的,可放心调用

    @SneakyThrows
    private void selectModel() {
        OpenAiClient openAiClient = initOpenAiClient();
        Response<BaseResponse<Model>> modelExecute = openAiClient.listModels().execute();

        if (modelExecute.isSuccessful()) {
            for (Model datum : modelExecute.body().getData()) {
                log.info("id={}",datum.getId());
            }
        }else {
            log.info("code={}",modelExecute.code());
            log.info("errBody={}",modelExecute.errorBody());
        }
    }

五、使用模型聊天

  @SneakyThrows
    private void chat(String model,String msg) {
        OpenAiClient openAiClient = initOpenAiClient();

        CompletionRequest completionRequest = CompletionRequest.builder()
                .model(model) // 指定模型名称(自己训练好的模型名称)
                .stop(Arrays.asList("END")) // 指定停止标识
                .prompt(Arrays.asList(String.format("%s->",msg)))
                .build();

        Response<CompletionResponse> completionExecute = openAiClient.callCompletion(completionRequest).execute();
        if (completionExecute.isSuccessful()) {
            log.info("body={}",completionExecute.body());
        }else {
            log.info("code={}",completionExecute.code());
            log.info("errBody={}",completionExecute.errorBody());
        }
    }

六、注意事项

  • 模型训练好之后可能达不到预想的效果,这和数据集的大小有关,所以数据集尽量保持在500条以上。数量约多,效果约好
  • 选择模型时可选择 Ada、Babbage、Curie和Davinci这四种模型为基础进行训练,每个模型训练的价格也是不同,价格详见下图
  • 在这里插入图片描述

OK,齐活~,文章仅供参考,不对的地方望指出,谢谢

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/706366.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

消息模块的数据模型设计

目录 一、创建POJO映射类 1. message集合 2. message_ref集合 二、MongoDB的联合查询 MessageRef&#xff1a;保存消息接收人相关信息&#xff0c;接收人ID、消息已读未读、消息是否最新接收。 在 MongoDB 里面我们不需要预先去创建集合&#xff0c;只要我们往 MongoDB 里…

Linux常用命令——finger命令

在线Linux命令查询工具 finger 用于查找并显示用户信息 补充说明 finger命令用于查找并显示用户信息。包括本地与远端主机的用户皆可&#xff0c;帐号名称没有大小写的差别。单独执行finger指令&#xff0c;它会显示本地主机现在所有的用户的登陆信息&#xff0c;包括帐号名…

Layout-静态模板结构搭建、字体图标引入、一级导航渲染、吸顶导航交互实现、Pinia优化重复请求【小兔鲜Vue3】

Layout-静态模板结构搭建 Layout模块静态模板搭建 LayoutNav.vue <script setup></script><template><nav class"app-topnav"><div class"container"><ul><template v-if"true"><li><a h…

鲸鱼算法WOA优化VMD参数,最小包络熵、样本熵、信息熵、排列熵(适应度函数可自行选择,一键修改)包含MATLAB源代码...

鲸鱼优化算法(Whale optimization algorithm, WOA)是Mirjalili根据座头鲸的捕食行为而提出来的&#xff0c;算法对座头鲸的狩猎行为进行模仿&#xff0c;通过对猎物的寻找&#xff0c;然后攻击进行觅食&#xff0c;以此来达到优化的目的&#xff0c;已有很多学者将算法用于实际…

【C/C++实现进程间通信 二】消息队列

文章目录 前情回顾思路源码Publisher.cppSubscriber.cpp 效果 前情回顾 上一期已经讲解过了进程的相关概念以及进程间通信的实现原理&#xff0c;下面仅展示消息传递机制实现1进程间通信的相关代码。 思路 /*本项目主要用于以消息传递机制的方式进行进程间通信的测试。1.主要…

很荣幸与屈晗煜在 GitLink 编程夏令营(GLCC)活动中协作

作为一名软件工程师&#xff0c;天然有着追求代码质量的执念。相信很多人对代码的优雅、质量有着自己的认识&#xff0c;业界也有不少的共识&#xff0c;其中有一条我认为是非常重要的——代码可测试。 作为一名研发&#xff0c;只关注功能可测&#xff08;容易测&#xff09;是…

BUUCTF old-fashion 1

题目描述&#xff1a; 密文&#xff1a; Os drnuzearyuwn, y jtkjzoztzoes douwlr oj y ilzwex eq lsdexosa kn pwodw tsozj eq ufyoszlbz yrl rlufydlx pozw douwlrzlbz, ydderxosa ze y rlatfyr jnjzli; mjy gfbmw vla xy wbfnsy symmyew (mjy vrwm qrvvrf), hlbew rd symmy…

多元回归预测 | Matlab基于鲸鱼算法(WOA)优化混合核极限学习机HKELM回归预测, WOA-HKELM数据回归预测,多变量输入模型

文章目录 效果一览文章概述部分源码参考资料效果一览 文章概述 多元回归预测 | Matlab基于鲸鱼算法(WOA)优化混合核极限学习机HKELM回归预测, WOA-HKELM数据回归预测,多变量输入模型 评价指标包括:MAE、RMSE和R2等,代码质量极高,方便学习和替换数据。要求2018版本及以上。 …

【软考程序员学习笔记】——数据结构与算法基础

目录 &#x1f34a;一、数据结构概念和分类 &#x1f34a;二、数组特点&存储方式 &#x1f34a;三、矩阵 特殊矩阵 非特殊矩阵 &#x1f34a;四、栈和队列 &#x1f34a; 五、二叉树的性质 &#x1f34a;六、二叉树的遍历 (1)前序遍历(先根遍历&#xff0c;先序遍历…

《MySQL》什么是数据库

文章目录 数据库的理解MySQL的架构SQL语句分类存储引擎 数据库的理解 我们所下的数据库软件(如MySQL)其实是中间件。如何理解呢&#xff0c;如图&#xff1a; 我们用户通过MySQL对数据进行管理。 mysql #客户端程序 mysqld #服务端程序&#xff0c;再修改配置后需要重新启动…

【MySQL】在Linux终端上使用MySQL的简单介绍

本文仅供学习参考&#xff01; MySQL是一个开源的跨平台关系数据库管理系统&#xff08;RDBMS&#xff09;。MySQL使用标准查询语言&#xff08;SQL&#xff09;与MySQL软件进行通信。 数据库管理员和开发人员通过运行语句与 RDBMS 交互&#xff0c;这些语句在数据库管理中称为…

前端Vue自定义登录界面切换tabs 账号登录验证码登录模版 支持手机号校验邮箱校验验证码发送

前端Vue自定义登录界面切换tabs 账号登录验证码登录模版 支持手机号校验邮箱校验、验证码发送&#xff0c; 下载完整代码请访问uni-app插件市场地址&#xff1a;https://ext.dcloud.net.cn/plugin?id13298 效果图如下&#xff1a; # cc-loginTabs #### 使用方法 使用方法 …

Spring Boot中@RabbitHandler注解的介绍、原理和使用

Spring Boot中RabbitHandler注解的介绍、原理和使用 引言 在RabbitMQ中&#xff0c;消息的消费者需要根据不同的消息类型进行不同的处理。在Spring Boot中&#xff0c;我们可以通过RabbitHandler注解来实现这一功能。本文将介绍Spring Boot中RabbitHandler注解的介绍、原理和…

【聚类算法】DBSCAN基于密度聚类

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 瞬间感觉kmeans不香了&#xff0c;哈哈哈 说明&#xff1a; 该算法不仅能聚类&#xff0c;还能剔除离群点&#xff0c;聚类以后标签为-1的即噪声点&…

滑动折叠效果简单实现

绿色为标题&#xff0c;滑动时始终不会被折叠、不会滑动。红色和黑色会在滑动的时候折叠&#xff0c;先折叠红色&#xff0c;在折叠黑色。 activity_shop_search.xml&#xff1a; <?xml version"1.0" encoding"utf-8"?> <layout xmlns:androi…

css实现元素纵向排列自动换列

块级元素在容器类纵向排列&#xff0c;当达到最大高度后自动换到下一列 <div id"main-div"><div class"item">1 一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容一条内容…

王道考研计算机网络第四·章知识点汇总

4.1.1网络层功能概述 4.1.2 SDN基本概念 4.2.1 路由算法和路由协议概述 4.3.1 IP数据报格式 4.3.2 IP数据报分片 4.3.3 IPv4地址 4.3.4 网络地址转换NAT 4.3.5 子网划分和子网掩码 不同子网掩码得到的网络地址可能相同 网络号为B类地址&#xff0c;16位网络号&#xff1b;6位子…

从四个角度全面认识 ChatGPT

传统语言模型是什么样的&#xff1f;ChatGPT 涌现出了哪些新能力&#xff1f;这些能力都是怎么做到的&#xff1f;在 ChatGPT 大模型时代&#xff0c;我们应该怎么做&#xff1f; 当下最引人注目的语言模型 ChatGPT 如火如荼&#xff0c;主要还是因为其能力远远超越了传统模型。…

js中堆的操作和案例!

堆 什么是堆&#xff1f; 堆是一种特殊的完全二叉树。完全二叉树的含义就是每层节点都完全填满&#xff0c;除了最后一层外只允许最右边缺少若干个节点。在 JavaScript 中通常用数组表示堆&#xff08;按照广度优先遍历顺序&#xff09;。 最大堆 最小堆 特性 所有的节…

Python入门教程+项目实战-14.4节-lambda表达式

目录 14.4.1 理解匿名函数 14.4.2 lambda表达式 14.4.3 lambda表达式与具名函数 14.4.4 知识要点 14.4.5 系统学习python 14.4.1 理解匿名函数 匿名函数&#xff0c;从其字面意思来进行理解。所谓的匿名即不具名&#xff0c;没有名称。匿名函数&#xff0c;也就是没有函…