模型训练与验证minicpm-v

news2024/9/22 13:43:53

minicpm-v 模型进行微调并进行验证

训练使用混合数据集进行训练,对minicpm-V进行lora微调,微调后使用llama3_1对输出结果与标签值进行比对,计算准确率。
整体流程验证代码为:

# URL = https://swift.readthedocs.io/zh-cn/latest/LLM/VLLM%E6%8E%A8%E7%90%86%E5%8A%A0%E9%80%9F%E4%B8%8E%E9%83%A8%E7%BD%B2.html

'''
使用swift进行部署的示例
model: llama3_1-8b-instruct
CUDA_VISIBLE_DEVICES=2 swift deploy --max_model_len 4096 --model_type llama3_1-8b-instruct --model_id_or_path /nas/share/model/huggingface/models--meta-llama--Meta-Llama-3.1-8B-Instruct/snapshots/8c22764a7e3675c50d4c7c9a4edb474456022b16
'''

# 客户端
# example of using swift client

import os
import json
from tqdm import tqdm
from swift.llm import get_model_list_client, XRequestConfig, inference_client

model_list = get_model_list_client()
model_type = model_list.data[0].id


def get_data_jsonl(data_path):
    datas =[]
    with open(data_path, 'r') as f:
        data = f.readlines()
        
    for i in range(len(data)):
        datas.append(json.loads(data[i]))
        
    return datas

def save_data_jsonl(save_path:str, datas: list):
    with open(save_path, 'w') as f:
        for data in datas:
            json.dump(data, f,ensure_ascii=False)
            f.write('\n')
    return save_path


def get_save_path(data_path:str):
    save_path =os.path.splitext(data_path)[0] + '_llm_eval.jsonl'
    if not os.path.exists(os.path.dirname(save_path)):
        os.makedirs(os.path.dirname(save_path))
    return save_path
    
def get_result_correct_path(data_path:str):
    result_correct_path =os.path.splitext(data_path)[0] + '_llm_eval_correct.json'
    if not os.path.exists(os.path.dirname(result_correct_path)):
        os.makedirs(os.path.dirname(result_correct_path))
    return result_correct_path

def save_result_correct(data_path:str,precision:float):
    result =  {
        'data_path': data_path,
        'precision': precision
    }
    with open(data_path, 'w') as f:
        json.dump(result, f,ensure_ascii=False)
    print(f'precision: {precision*100}%')
    return result


def main():
    
    def q_tempalte(response, reply):
        question_template = '''你可以作为一个语言专家,判断一下两个回答是否相同吗 \n
                "response": "{}",
                "reply": "{}",
                ----
                如果是,返回"YES",否则返回"NO"。
                '''.format(response, reply)
        return question_template

    # origin
    data_paths = 
    
    for data_path in tqdm(data_paths):
        datas = get_data_jsonl(data_path)

        save_data =[]
        total_correct = 0
        total = 0
        for data in tqdm(datas):
            
            response = data['response']
            reply = data['reply']
            
            question = q_tempalte(response, reply)
            
            request_config = XRequestConfig(max_tokens=32, temperature=0.1, seed=42)    
            resp = inference_client(model_type, question, request_config=request_config)
            response = resp.choices[0].message.content
            data['llm_response'] = response
            save_data.append(data)
            
            if response.lower() == 'yes':
                total_correct += 1
                
            total += 1
            
            precision = total_correct / total    

        # 保存数据
        save_path = get_save_path(data_path)
        save_data_jsonl(save_path, save_data)
        
        # 保存精度
        result_correct_path = get_result_correct_path(data_path)
        save_result_correct(result_correct_path, precision)
if __name__ == '__main__':
    main()

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2039106.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

PMP到底有什么用?

PMP 就是项目管理证书,全称是项目管理专业人士资格认证,对于一个在项目管理岗位混迹五年的老油条来说,PMP 证书是敲开项目管理岗位的第一块砖,每年考 PMP 的人都很多,要是 PMP 证书没有价值,还会有那么多人…

Tomcat下载安装文档

简介 Tomcat服务器软件是一个免费的开源的web应用服务器。是Apache软件基金会的一个核心项目。由Apache,Sun和其他一些公司及个人共同开发而成。 由于Tomcat只支持Servlet/JSP少量JavaEE规范,所以是一个开源免费的轻量级Web服务器。 JavaEE规范&#x…

Java IO流使用方法 (常见方法)

Java系列文章目录 补充内容 Windows通过SSH连接Linux 第一章 Linux基本命令的学习与Linux历史 文章目录 Java系列文章目录一、前言二、学习内容:三、问题描述四、解决方案:4.1 File 的使用4.2 防止乱码问题 五、总结:5.1 学习总结&#xff1…

IPFS、IPNS 网站部署

目录 概念IPFS 网站IPNS 网站网站迁移到 IPFS/IPNS1. 连接 Github2. 选择仓库3. 配置 Build4. 绑定域名5. 绑定 IPNS 域名6. 检查 DNSLink概念 以 https://bhitdao.com/ 为例 IPFS 网站 链接为 Hash: ipfs://bafybeifxwlnnvuhbxiszvs2kkckxkxfy36chzoy2f7nrempkpznxrudbsm/…

开源AI智能名片微信小程序:以人性洞察与资源优化为驱动的社群营销新策略

摘要:随着科技的飞速发展,特别是人工智能(AI)技术的广泛应用,传统营销模式正经历着前所未有的变革。本文旨在探讨开源AI智能名片微信小程序如何凭借其独特的功能特性,结合人性洞察、需求解决、资源优化以及…

CLAMP-1

一、信息收集 1、主机发现 nmap 192.168.236.0/24 2、端口扫描 nmap 192.168.236.173 -p- -A 3、目录扫描 dirb http://192.168.236.173 二、漏洞探测 访问80端口 访问 /nt4stopc/ 下面有一些问题,提示必须收集答案 都是一些判断题,对与错对应1与0&…

SQL注入(原理、分类、union、POST注入)

目录 【学习目标、重难点知识】 【学习目标】 【重难点知识】 SQL注入简介 SQL注入原理 SQL注入类型 MySQL与SQL注入的相关知识 information_schema 数据库的结构 数据库查询语句 limit的用法 需要记住的几个函数 注释符号 SQL注入探测方法 SQL注入漏洞攻击流程…

gerrit的使用

配置SSH密钥 用记事本打开电脑里以下文件,复制内容 在gerrit代码库设置里找到菜单 SSH Keys,将以上复制的内容粘贴到New SSH Key处,点击ADD NEW SSH KEY即可。 克隆代码 git clone ssh://..... 下载commit-msg文件 复制代码下载地址里的…

java之校验QQ号是否正确以及如何用正则表达式进行优化

public class RegexDemo {public static void main(String[] args) {String qq"123456789";System.out.println(checkQQ(qq));}public static boolean checkQQ(String qq){//规则:6位到20位之内,0不能在开头,必须全部是数字//核心思想://先把异常数据过滤//下面的…

外部排序(败者树、置换-选择排序、最佳归并树)

外部排序可能会考查相关概念、方法和排序过程,外部排序的算法比较复杂,不会在算法设计上进行考查。 一、外部排序的基本概念与方法 外部排序指待排序文件较大,内存一次放不下,需存放在外存的文件的排序。 1. 基本概念 在许多应用…

python入门之命令提示符和文本创建.py文件

1.命令提示符 程序 快捷键:windowsR 在安装完python以后,可以直接在命令提示符程序上敲代码进行初步尝试。 python解释器 计算机是不认识python代码的,计算机只能识别0和1这个二进制的数,所以需要一个翻译官“python翻译器”。 …

【Linux系列】known_hosts详解

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

【Linux网络(一)】Socket编程

文章目录 1. 预备知识1.1 认识端口号1.2 初识TCP协议1.3 初识UDP协议1.4 网络字节序1.5 socket编程接口1.5.1 套接字编程的种类1.5.2 sockaddr结构体1.5.3 socket 常见API1.5.4 地址转换函数 2. 编写UDP服务器与客户端2.1 UDP服务器的创建2.2 UDP服务器接收/发送数据2.3 补充知…

动态规划——背包问题(01背包、完全背包,分组背包与二进制优化)

本蒟蒻写二进制优化开始的时候写昏了,并且昏了一下午。但好在有神犇救命,这篇博客才得以面世——躲着人群 一、01背包 概述: 其常见的问题形式为:给出n个物品,每个物品有对应的价值和体积。给出背包容量后求不超过背…

硬件开发流程

1.看原理图找引脚 --开发板上找到LED,查看丝印 --在原理图中根据丝印找到对应的器件 --找到对应的引脚 2.配置引脚功能(对应硬件的工作原理) 3.控制对应的引脚(或控制器) volatile: 易失性修饰符

qtpdfium 多平台编译

源码下载地址:https://codeload.github.com/kkzi/qpdf/zip/2681018e300738d6da9a9f89f06c93fc3ef17831 参考:https://blog.51cto.com/u_2194662/5256871 开发环境:QT 5.15.2 1. windows下编译: 编译环境:vs2019qt5.15…

【Python】线性规划模型(笔记)

线性规划的作用 求一个线性目标函数在线性可行域内的最值问题 线性规划的典型应用 配送运输问题:选大车还是小车生产规划问题:每种原料各买多少几何切割问题:切割长宽各多少买卖利润问题:最多能挣多少钱… 线性规划的本质 问…

6 二进制、十进制、八进制和十六进制的概念与进制转换,原码、反码、补码的概念与计算

目录 1 进制 1.1 常见的进制 1.2 不同进制的整数在 C 语言中的写法 1.3 printf 以不同进制形式输出整数 1.4 案例:使用不同的进制形式输出同一整数 2 进制的转换 2.1 二进制与十进制转换 2.1.1 二进制转换成十进制 2.1.2 十进制转换成二进制 2.2 八进制和…

pygame 赛亚人打怪

笔者最近学了一点pygame,献丑了。 代码附上,大佬勿喷! import random import timeimport pygameWIDTH 410 HEIGHT 750 ENEMY_BORN pygame.USEREVENT 1 BULLET_BORN pygame.USEREVENT 10 ENEMY_BULLET_BORN pygame.USEREVENT 100 REW…

2024年最新版小程序云开发数据模型的开通步骤,支持可视化数据库管理,支持Mysql和NoSql数据库,可以在vue3前端web里调用操作

小程序官方又改版了,搞得石头哥不得不紧急的再新出一版,教大家开通最新版的数据模型。官方既然主推数据模型,那我们就先看看看新版的数据模型到底是什么。 一,什么是数据模型 数据模型是什么 数据模型是一个用于组织和管理数据的…