rknn转换后精度差异很大，失真算子自纠

news2024/11/21 13:47:17

下面是添加了详细注释的优化代码：

import cv2
import numpy as np
import onnx
import onnxruntime as rt
from onnx import helper, shape_inference

def get_all_node_names(model):
    """
    获取模型中所有节点的名称。

    参数:
    model (onnx.ModelProto): ONNX 模型。

    返回:
    list: 包含所有节点名称的列表。
    """
    return [node.name for node in model.graph.node]

def remove_node_and_following(model, node_name):
    """
    删除指定节点及其后续节点，并返回新的模型。

    参数:
    model (onnx.ModelProto): 原始 ONNX 模型。
    node_name (str): 要删除的节点名称。

    返回:
    onnx.ModelProto: 修改后的 ONNX 模型。
    """
    nodes_to_keep = []  # 要保留的节点
    nodes_to_remove = set(i.name for i in model.graph.output)  # 要删除的节点
    start_removal = False  # 是否开始删除节点
    output = []  # 输出节点列表

    for node in model.graph.node:
        if node.name == node_name:
            start_removal = True
        if start_removal:
            nodes_to_remove.add(node.name)
        else:
            nodes_to_keep.append(node)
            output.extend(node.output)

    for node in model.graph.value_info:
        if node.name in output:
            shape = [
                dim.dim_value if (dim.dim_value > 0 and dim.HasField('dim_value')) else None
                for dim in node.type.tensor_type.shape.dim
            ]
            output_tensor = helper.make_tensor_value_info(
                node.name,
                onnx.TensorProto.FLOAT,
                shape
            )
            model.graph.output.append(output_tensor)

    new_graph = helper.make_graph(
        nodes_to_keep,
        model.graph.name,
        model.graph.input,
        [output for output in model.graph.output if output.name not in nodes_to_remove],
        model.graph.initializer,
    )

    new_model = helper.make_model(new_graph, producer_name=model.producer_name)
    new_model = shape_inference.infer_shapes(new_model)

    return new_model

def preprocess_image(image_path, target_shape):
    """
    加载并预处理图像。

    参数:
    image_path (str): 图像文件路径。
    target_shape (tuple): 目标形状 (宽, 高)。

    返回:
    np.ndarray: 预处理后的图像数组。
    """
    im = cv2.imread(image_path)
    im = cv2.resize(im, target_shape)
    im = im.transpose((2, 0, 1))[::-1]  # HWC 转 CHW, BGR 转 RGB
    return np.ascontiguousarray(im)

def main():
    model_path = 'yolov5s.onnx'
    model = onnx.load(model_path)

    dtype_map = {
        'tensor(float)': np.float32,
        'tensor(int32)': np.int32,
        'tensor(int64)': np.int64,
    }

    all_node_names = get_all_node_names(model)
    im = preprocess_image('./sample.jpg', (640, 640))

    for node_name in all_node_names:
        if node_name:
            new_model = remove_node_and_following(model, node_name)
            new_model_path = 'test.onnx'
            onnx.save(new_model, new_model_path)

            sess = rt.InferenceSession(new_model_path)
            output_names = [output.name for output in sess.get_outputs()]
            input_data = {
                input.name: im.reshape(input.shape).astype(dtype_map[input.type])
                for input in sess.get_inputs()
            }

            outputs = sess.run(output_names, input_data)

            # TODO: 补充 rknn 转换、加载和获取输出的代码

            # TODO: 补充评估对比两个输出 onnx 的 target 和 rknn 的 predict

            # TODO: 补充当评估准确率低于 0.8 时终止循环，此时的模型最后一个算子就是 rknn 不正确的算子

if __name__ == "__main__":
    main()

在这里插入图片描述

解释

在补充 TODO 部分的代码之前，我们需要确保你有正确的 RKNN API 环境，并且你知道如何使用它来转换、加载和获取输出。以下是一个示例代码，展示了如何使用 RKNN API 完成这些任务。

1. 安装 RKNN Toolkit

首先，确保你已经安装了 RKNN Toolkit。你可以通过以下命令安装：

pip install rknn-toolkit

2. 补充代码

以下是补充了 TODO 部分的代码：

import cv2
import numpy as np
import onnx
import onnxruntime as rt
from onnx import helper, shape_inference
from rknn.api import RKNN

def get_all_node_names(model):
    """
    获取模型中所有节点的名称。

    参数:
    model (onnx.ModelProto): ONNX 模型。

    返回:
    list: 包含所有节点名称的列表。
    """
    return [node.name for node in model.graph.node]

def remove_node_and_following(model, node_name):
    """
    删除指定节点及其后续节点，并返回新的模型。

    参数:
    model (onnx.ModelProto): 原始 ONNX 模型。
    node_name (str): 要删除的节点名称。

    返回:
    onnx.ModelProto: 修改后的 ONNX 模型。
    """
    nodes_to_keep = []  # 要保留的节点
    nodes_to_remove = set(i.name for i in model.graph.output)  # 要删除的节点
    start_removal = False  # 是否开始删除节点
    output = []  # 输出节点列表

    for node in model.graph.node:
        if node.name == node_name:
            start_removal = True
        if start_removal:
            nodes_to_remove.add(node.name)
        else:
            nodes_to_keep.append(node)
            output.extend(node.output)

    for node in model.graph.value_info:
        if node.name in output:
            shape = [
                dim.dim_value if (dim.dim_value > 0 and dim.HasField('dim_value')) else None
                for dim in node.type.tensor_type.shape.dim
            ]
            output_tensor = helper.make_tensor_value_info(
                node.name,
                onnx.TensorProto.FLOAT,
                shape
            )
            model.graph.output.append(output_tensor)

    new_graph = helper.make_graph(
        nodes_to_keep,
        model.graph.name,
        model.graph.input,
        [output for output in model.graph.output if output.name not in nodes_to_remove],
        model.graph.initializer,
    )

    new_model = helper.make_model(new_graph, producer_name=model.producer_name)
    new_model = shape_inference.infer_shapes(new_model)

    return new_model

def preprocess_image(image_path, target_shape):
    """
    加载并预处理图像。

    参数:
    image_path (str): 图像文件路径。
    target_shape (tuple): 目标形状 (宽, 高)。

    返回:
    np.ndarray: 预处理后的图像数组。
    """
    im = cv2.imread(image_path)
    im = cv2.resize(im, target_shape)
    im = im.transpose((2, 0, 1))[::-1]  # HWC 转 CHW, BGR 转 RGB
    return np.ascontiguousarray(im)

def convert_onnx_to_rknn(onnx_model_path, rknn_model_path):
    """
    将 ONNX 模型转换为 RKNN 模型。

    参数:
    onnx_model_path (str): ONNX 模型路径。
    rknn_model_path (str): 转换后的 RKNN 模型路径。
    """
    rknn = RKNN()

    # 加载 ONNX 模型
    print('--> Loading model')
    ret = rknn.load_onnx(model=onnx_model_path)
    if ret != 0:
        print('Load ONNX model failed!')
        return
    print('done')

    # 配置模型
    print('--> Building model')
    ret = rknn.build(do_quantization=False)
    if ret != 0:
        print('Build RKNN model failed!')
        return
    print('done')

    # 导出 RKNN 模型
    print('--> Export RKNN model')
    ret = rknn.export_rknn(rknn_model_path)
    if ret != 0:
        print('Export RKNN model failed!')
        return
    print('done')

def load_and_run_rknn_model(rknn_model_path, input_data):
    """
    加载 RKNN 模型并运行推理。

    参数:
    rknn_model_path (str): RKNN 模型路径。
    input_data (np.ndarray): 输入数据。

    返回:
    list: RKNN 模型的输出结果。
    """
    rknn = RKNN()

    # 加载 RKNN 模型
    print('--> Loading RKNN model')
    ret = rknn.load_rknn(rknn_model_path)
    if ret != 0:
        print('Load RKNN model failed!')
        return []
    print('done')

    # 初始化 RKNN 模型
    print('--> Init runtime environment')
    ret = rknn.init_runtime()
    if ret != 0:
        print('Init runtime environment failed!')
        return []
    print('done')

    # 运行推理
    print('--> Running model')
    outputs = rknn.inference(inputs=[input_data])
    print('done')

    rknn.release()

    return outputs

def compare_outputs(onnx_outputs, rknn_outputs, threshold=0.8):
    """
    比较 ONNX 和 RKNN 模型的输出结果。

    参数:
    onnx_outputs (list): ONNX 模型的输出结果。
    rknn_outputs (list): RKNN 模型的输出结果。
    threshold (float): 准确率阈值。

    返回:
    bool: 如果准确率低于阈值，则返回 False，否则返回 True。
    """
    # 计算准确率 (这里假设是简单的相对误差)
    accuracy = np.mean([np.allclose(onnx_out, rknn_out, rtol=threshold) for onnx_out, rknn_out in zip(onnx_outputs, rknn_outputs)])

    return accuracy >= threshold

def main():
    model_path = 'yolov5s.onnx'
    model = onnx.load(model_path)

    dtype_map = {
        'tensor(float)': np.float32,
        'tensor(int32)': np.int32,
        'tensor(int64)': np.int64,
    }

    all_node_names = get_all_node_names(model)
    im = preprocess_image('./sample.jpg', (640, 640))

    for node_name in all_node_names:
        if node_name:
            new_model = remove_node_and_following(model, node_name)
            new_model_path = 'test.onnx'
            onnx.save(new_model, new_model_path)

            sess = rt.InferenceSession(new_model_path)
            output_names = [output.name for output in sess.get_outputs()]
            input_data = {
                input.name: im.reshape(input.shape).astype(dtype_map[input.type])
                for input in sess.get_inputs()
            }

            onnx_outputs = sess.run(output_names, input_data)

            # 转换 ONNX 模型为 RKNN 模型
            rknn_model_path = 'test.rknn'
            convert_onnx_to_rknn(new_model_path, rknn_model_path)

            # 加载并运行 RKNN 模型
            rknn_outputs = load_and_run_rknn_model(rknn_model_path, im)

            # 比较 ONNX 和 RKNN 模型的输出结果
            if not compare_outputs(onnx_outputs, rknn_outputs):
                print(f'Node {node_name} is the incorrect operator in RKNN model.')
                break

if __name__ == "__main__":
    main()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1847682.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【有手就会】图数据库Demo教程，实现反洗钱场景下银行转账流水数据分析

【有手就会】图数据库Demo教程，实现反洗钱场景下银行转账流水数据分析

前言 星环社区版家族于近期发布了单机、30s一键启动的StellarDB图数据库，本篇文章将为用户介绍如何使用开发版StellarDB实现人物关系探索。 友情链接：白话大数据 | 关于图数据库，没有比这篇更通俗易懂的啦 TDH社区版本次发布StellarDB社区…
阅读更多...
可信启动Trusted Board Boot

可信启动Trusted Board Boot

TBB Trusted Board Boot（TBB）对所有固件镜像（包括普通世界的bootloader）进行身份验证，以防止恶意固件在平台上运行。TBB使用公钥加密标准 （PKCS）来建立信任链（Chain of Trust&#…
阅读更多...
密码CTF（4)——e和phi不互素

密码CTF（4)——e和phi不互素

参考 RSA中e和phi不互素 AMM算法 AMM算法简要理解 RSA系列解题研究——e与phi不互素 - 先知社区 (aliyun.com) e与phi不互素 --- 四 1 1 1道题详记-CSDN博客 总述 gcd(e,φ(n))比较小时可以考虑iroot直接开根，当直接开根跑不出来时，考虑有限域…
阅读更多...
xargs 传参

xargs 传参

xargs的默认命令是 echo，空格是默认定界符。这意味着通过管道传递给 xargs的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。 xargs -n1 // 一次输出一个参数到一行&#xf…
阅读更多...
【Android面试八股文】你能说一说自定义View与ViewGroup的区别

【Android面试八股文】你能说一说自定义View与ViewGroup的区别

文章目录 Android UI 组件：View 和 ViewGroupViewGroup 的职责View 的职责自定义 View 和 ViewGroup 的区别1. 继承的类不同2. 主要功能不同3. 重写方法不同4. 使用场景不同5. 事件分发方面的区别6. UI 绘制方面的区别Android UI 组件：View 和 ViewGroup 在 Android 开发中，…
阅读更多...
Python开发日记--手撸加解密小工具(3)

Python开发日记--手撸加解密小工具(3)

目录 1.xcb-cuisor0问题解决 2.AES-CBC算法实现 2.1 信号和槽机制 2.2 开始设计算法 3.小结 1.xcb-cuisor0问题解决 继续解决该问题，在Ubuntu下面运行会发生这个错误。 看描述， 这是说要运行Qt xcb平台插件，需要xcb-cursor0或者libxcb-c…
阅读更多...
舔狗日记Puls微信小程序源码

舔狗日记Puls微信小程序源码

源码介绍： 这是一款舔狗日记Puls微信小程序源码，提供每日一舔的功能，让你舔到最后，什么都有！ 源码通过API获取一些舔狗日记，内置了100多句舔狗日记，让你摆脱上班摸鱼的无聊时光， …
阅读更多...
Python火焰锋动力学和浅水表面波浪偏微分方程

Python火焰锋动力学和浅水表面波浪偏微分方程

🎯要点 🎯流图可视化正弦余弦矢量场 | 🎯解空间变化边界条件二维拉普拉斯方程 | 🎯解圆柱坐标系标量场 | 🎯解一维泊松方程 | 🎯解二维扩散方程 | 🎯解火焰锋的动力学偏微分方程 | &#x1f3a…
阅读更多...
【LeetCode刷题】6. Z 字形变换

【LeetCode刷题】6. Z 字形变换

1. 题目链接2. 题目描述3. 解题方法4. 代码 1. 题目链接 6. Z 字形变换 2. 题目描述 3. 解题方法 假设一串字符串"abcdefghijklmnopqrstuvwx", 会有如下排列： 我们再以下标来看看排列 从下标来看，每个下标是有规律的 每一行的下标之间的差…
阅读更多...
一个自定义流程的平台

一个自定义流程的平台

脚本语言使用的是C#，当用户发布一个新的流程时，会把C#的脚本编译成dll，然后添加到微服务中，因为有了硬编译，所以执行速度是非常快的。逻辑脚本支持调试，可以断点和逐行调试。平台提供了调试工具&#xff0c…
阅读更多...
每月 GitHub 探索｜10 款引领科技趋势的开源项目

每月 GitHub 探索｜10 款引领科技趋势的开源项目

1.IT-Tools 仓库名称： CorentinTh/it-tools 截止发稿星数: 16842 (近一个月新增:5744) 仓库语言: Vue 仓库开源协议： GNU General Public License v3.0 引言 CorentinTh/it-tools 是一个开源项目，提供各种对开发者友好的在线工具&#xff0…
阅读更多...
LabVIEW项目中的常见电机及其特点分析

LabVIEW项目中的常见电机及其特点分析

在LabVIEW项目中，电机的选择对系统的性能和应用效果至关重要。常见电机类型包括直流电机（DC Motor）、步进电机（Stepper Motor）、交流感应电机（AC Induction Motor）和无刷直流电机（BL…
阅读更多...
使用上海云盾 CDN 和 CloudFlare 后 Nginx、 WordPress、 Typecho 获取访客真实 IP 方法

使用上海云盾 CDN 和 CloudFlare 后 Nginx、 WordPress、 Typecho 获取访客真实 IP 方法

最近因为被 DDoS/CC 攻击的厉害，明月就临时的迁移了服务器，原来的服务器就空置下来了，让明月有时间对服务器进行了重置重新部署安装生产环境。因为站点同时使用了上海云盾和 CloudFlare（具体思路可以参考【国内网站使用国外 CloudFlare CDN 的思路分享】一文）两个 CDN 服务…
阅读更多...
人工智能--搭建人工神经网络

人工智能--搭建人工神经网络

欢迎来到 Papicatch的博客 文章目录 🍉引言 🍉神经元与感知器 🍈神经元（Neuron） 🍈感知器 🍉损失函数与梯度下降算法 🍈损失函数 🍈梯度下降算法 🍉…
阅读更多...
微型操作系统内核源码详解系列五（3）：cm3下调度的开启

微型操作系统内核源码详解系列五（3）：cm3下调度的开启

系列一：微型操作系统内核源码详解系列一：rtos内核源码概论篇（以freertos为例）-CSDN博客 系列二：微型操作系统内核源码详解系列二：数据结构和对象篇（以freertos为例）-CSDN博客 系列…
阅读更多...
大语言模型-Transformer

大语言模型-Transformer

目录 1.概述 2.作用 3.诞生背景 4.历史版本 5.优缺点 5.1.优点 5.2.缺点 6.如何使用 7.应用场景 7.1.十大应用场景 7.2.聊天机器人 8.Python示例 9.总结 1.概述 大语言模型-Transformer是一种基于自注意力机制（self-attention）的深度学习…
阅读更多...
AI通用大模型不及垂直大模型？各有各的好

AI通用大模型不及垂直大模型？各有各的好

​​​​​​​AI时代，通用大模型和垂直大模型，两者孰优孰劣，一直众说纷纭。 通用大模型，聚焦基础层，如ChatGPT、百度文心一言，科大讯飞星火大模型等，都归属通用大模型，它们可以解答…
阅读更多...
nginx出现504 Gateway Time-out错误的原因分析及解决

nginx出现504 Gateway Time-out错误的原因分析及解决

nginx出现504 Gateway Time-out错误的原因分析及解决 1、查看公网带宽是否被打满 2、查看网络是否有波动(可以在nginx上ping后端服务，看是否有丢包情况) 3、查看服务器资源使用情况(cpu、内存、磁盘、网络等) 4、查看nginx日志，具体到哪个服务的哪个…
阅读更多...
美创科技入选“2024年度浙江省工业信息安全服务支撑单位”

美创科技入选“2024年度浙江省工业信息安全服务支撑单位”

近日，浙江省经济和信息化厅公布“2024年度浙江省工业信息安全服务支撑单位”名单。 经单位自愿申报、各市经信主管部门初审推荐、专家评审等环节，凭借在工业数据安全领域长期深耕和产品服务实力，美创科技成功入选！ “2024年度浙江…
阅读更多...
Java数据类型与运算符

Java数据类型与运算符

1. 变量和类型 变量指的是程序运行时可变的量，相当于开辟一块空间来保存一些数据。 类型则是对变量的种类进行了划分，不同类型的变量具有不同的特性。 1.1 整型变量（重点） 基本语法格式： int 变量名 初始值;代码示…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023