本文章介绍如何用java实现OpenAI模型训练,仅供参考
提前准备工作
- OpenAI KEY,获取方式可自行百度
- 需要自备VPN 或 使用国外服务器转发
- 需要训练的数据集,文章格式要求为JSONL,格式内容详见下图(尽量不要低于500个问答)
  
 话不多说,上代码
一、导入pom依赖
        <dependency>
            <groupId>cn.gjsm</groupId>
            <artifactId>openai</artifactId>
            <version>0.1.4</version>
        </dependency>
二、初始化OpenAiClient对象
private OpenAiClient initOpenAiClient() {
        return OpenAiClientFactory.createClient("OpenAI KEY");
    }
三、上传数据集并创建模型
数据集可以自己解析成特定格式,务必为JSONL格式
 @SneakyThrows
    public String modelTraining() {
        // 发送文件到ChatGPT 文件进行存储
        OpenAiClient openAiClient = initOpenAiClient();
        // 文件内容格式 {"prompt":"What 'S the main idea of the text ? ->","completion":" The lack of career -- based courses in US high schools END"}
        RequestBody requestBody = FileUploadRequest.builder()
                .file(new File("C:\\Users\\17600\\Desktop\\res2.jsonl"))
                .purpose("fine-tune")  // fine-tune代表训练
                .build()
                .toRequestBody();
        Call<FileObject> fileObjectCall = openAiClient.uploadFile(requestBody);
        Response<FileObject> execute = fileObjectCall.execute();
        if (!execute.isSuccessful()){
            log.info("code={}",execute.code());
            log.info("errBody={}",execute.errorBody());
            return null;
        }
        log.info("body={}",execute.body());
        //FileObject(id=file-nHX070z0XRvokTNi84YHAYzC, object=file, bytes=181, createdAt=1680488594,filename=ajson,purpose=fine-tune)
        String id = execute.body().getId();
        // 创建模型
        FineTunesRequest body = FineTunesRequest.builder()
                .trainingFile(id)
                .model("davinci") // 基于训练模型的名称
                .suffix("zze-en") // 自定义训练好模型的名称
                .build();
        Call<FineTuneResult> fineTuneResultCall = openAiClient.callFineTunes(body);
        Response<FineTuneResult> tuneExecute = fineTuneResultCall.execute();
        if (tuneExecute.isSuccessful()) {
            log.info("body={}",tuneExecute.body());
        }else {
            log.info("code={}",tuneExecute.code());
            log.info("errBody={}",tuneExecute.errorBody());
        }
        return null;
    }
注意:上传文件时可能会失败,请多次尝试
四、查询当前账号下所有已训练好名称
创建模型需要花费几分钟甚至几小时,可多次调用此方法查询训练好的模型,查询接口是免费的,可放心调用
    @SneakyThrows
    private void selectModel() {
        OpenAiClient openAiClient = initOpenAiClient();
        Response<BaseResponse<Model>> modelExecute = openAiClient.listModels().execute();
        if (modelExecute.isSuccessful()) {
            for (Model datum : modelExecute.body().getData()) {
                log.info("id={}",datum.getId());
            }
        }else {
            log.info("code={}",modelExecute.code());
            log.info("errBody={}",modelExecute.errorBody());
        }
    }
五、使用模型聊天
  @SneakyThrows
    private void chat(String model,String msg) {
        OpenAiClient openAiClient = initOpenAiClient();
        CompletionRequest completionRequest = CompletionRequest.builder()
                .model(model) // 指定模型名称(自己训练好的模型名称)
                .stop(Arrays.asList("END")) // 指定停止标识
                .prompt(Arrays.asList(String.format("%s->",msg)))
                .build();
        Response<CompletionResponse> completionExecute = openAiClient.callCompletion(completionRequest).execute();
        if (completionExecute.isSuccessful()) {
            log.info("body={}",completionExecute.body());
        }else {
            log.info("code={}",completionExecute.code());
            log.info("errBody={}",completionExecute.errorBody());
        }
    }
六、注意事项
- 模型训练好之后可能达不到预想的效果,这和数据集的大小有关,所以数据集尽量保持在500条以上。数量约多,效果约好
- 选择模型时可选择 Ada、Babbage、Curie和Davinci这四种模型为基础进行训练,每个模型训练的价格也是不同,价格详见下图
 
OK,齐活~,文章仅供参考,不对的地方望指出,谢谢



















