Halcon 3D应用 - 胶路提取

news2024/11/24 5:03:41

1. 需求

本文基于某手环（拆机打磨处理）做的验证性工作，为了项目保密性，只截取部分数据进行测试。
这里使用的是海康3D线激光轮廓相机+直线电机的方式进行的高度数据采集，我们拿到的是高度图+亮度图数据。
提取手环上的胶路信息，检测胶路的胶宽、胶高、断胶等信息。

2.实现思路

  • 扫描没有涂胶水的手环作为模板数据，包含高度图+亮度图；
  • 扫描带胶水的手环作为被测数据，包含高度图+亮度图；
  • 分割模板数据高度图中一个公共部分作为匹配模板；
  • 高度图转点云图，利用模板点云信息，和被测数据的点云进行匹配靠模；
  • 匹配后的点云转高度图；
  • 高度图差分，只保留胶路数据；
  • 进行胶路分析。

3.图像格式分析

3.1高度图

海康相机返回的高度图是tiff格式，具体含义如下：

  • 图像高：直线电机移动中会触发拍照，每拍一次生成一个轮廓，高度对应了本次扫描拍摄的轮廓数。每行的间隔对应了直线电机的触发拍照两次间隔移动的距离。
  • 图像宽：和相机的X轴轮廓点数+X轴采样间隔有关，注意这里不等于轮廓点数，需要调节合适的参数，保证图像的行间隔和列间隔实际距离一致。
  • 像素值：代表高度信息，单位um。

本次测试调节的每个像素宽高都为40um。

3.2亮度图

最终提取的胶路，可以在亮度图上进行对比查看。
亮度图还可以进行缺陷检测、2D匹配定位等功能，但注意本验证中，亮度图不能用来匹配，因为手环放置的位姿可能会出现倾斜透视，需转到点云上进行3D位姿匹配。

4.代码实现

4.1 胶水和无胶水图像信息

无胶水高度图：
在这里插入图片描述
无胶水亮度图：
在这里插入图片描述
带胶水高度图：
在这里插入图片描述
带胶水亮度图：
在这里插入图片描述

4.2 读取数据

read_image(HeightImg_no_glue, height_img_no_glue_path)
read_image (LumImage_no_glue, lum_img_no_glue_path)
read_image(HeightImg_glue, height_img_glue_path)
read_image (LumImage_glue, lum_img_glue_path)

get_image_type (HeightImg_no_glue, ImgType) //海康是uint2
get_image_size (LumImage_no_glue, Width, Height)

* 裁剪图片
crop_row_begin := 700
crop_row_end := 1060
gen_rectangle1 (ROI_Crop, crop_row_begin, 0, crop_row_end, Width)
reduce_domain (HeightImg_no_glue, ROI_Crop, HeightImg_no_glue)
reduce_domain (LumImage_no_glue, ROI_Crop, LumImage_no_glue)
reduce_domain (HeightImg_glue, ROI_Crop, HeightImg_glue)
reduce_domain (LumImage_glue, ROI_Crop, LumImage_glue)

get_image_size (LumImage_no_glue, Width, Height)
dev_open_window (0, 0, Width/2,Height/2, 'black', WindowHandle)

* 高度图像素间隔 单位um
step := 40

4.3 高度图预处理

高度图中干扰信息太多，比如底平面、高位杂质等，通过设定高度阈值，去除干扰的信息，聚焦胶水和模板位置的信息。

* 对高度图阈值分割
height_min := 3000  
height_max := 7500
threshold (HeightImg_no_glue, region, height_min, height_max)
reduce_domain (HeightImg_no_glue, region, HeightImg_no_glue)
threshold (HeightImg_glue, region, height_min, height_max)
reduce_domain (HeightImg_glue, region, HeightImg_glue)

预处理结果：
在这里插入图片描述
在这里插入图片描述

4.4 模板位置提取

在高度图中，尽心如下位置的提取：

* 分割模板区域
thr_min := 3500 
thr_max := 4500
gen_rectangle1 (ROI_1, 937, 118, 1060, 220) //选择这个两个孔的位置作为模板
reduce_domain (HeightImg_no_glue, ROI_1, HeightImg_no_glue_roi)
threshold (HeightImg_no_glue_roi, HeightImg_no_glue_roi_region, thr_min, thr_max)//缩小高度范围，聚焦模板平面
reduce_domain (HeightImg_no_glue, HeightImg_no_glue_roi_region, img_mod) //分割模板位置区域，注意是在高度图中分割，这样后面创建的模板3D图像的坐标系和原先的高度图是一样的

提取的模板如下：
在这里插入图片描述

4.5 高度图转点云图

要想进行点云匹配，必须首先将高度图转为点云图。halcon中没有该算子（可能没发现？？），这里自己实现了一个算子height_to_3d_obj，可以将高度图转为halcon点云对象。
核心是构建X坐标图、Y坐标图和Z坐标图，然后调用halcon的xyz_to_object_model_3d算子，转为3D图。
三个图的宽高和原始的高度图一致：

  • X图：每个像素存储的是对应高度图相同行列像素的X世界坐标，使用间隔step（高度图像素间隔）构建。可能结果为[(第一行)0 40 80 120 …(第二行)…]
  • Y图：和X图类似，存储的是对应高度图相同行列像素的Y世界坐标，也使用step构建。可能的结果为[(第一行)0 0 0 … (第二行)40 40… ]
  • Z图：就是高度图。

最后需要使用reduce_domain算子只保留原高度图中分割的部分。
在这里插入图片描述

gen_image_const (ImageY, 'real', Width, Height)
gen_image_const (ImageZ, 'real', Width, Height)

* 获取高度图中的region区域
get_domain (HeightImg, DomainH)
 
* x图
tupleX :=[]
tuple_gen_sequence (0, (Width-1)*step, step, row_x) //一行
for Index := 0 to Height-1 by 1 //多行拼接成图像数据
    tupleX :=[tupleX,row_x]
endfor
get_domain(ImageX,domainX)
get_region_points(domainX,rows,cols)
set_grayval (ImageX, rows, cols, tupleX) //技巧，通过获取domain定义域，直接将序列赋值为像素
* 整体赋值完毕后再抠出region
reduce_domain (ImageX, DomainH, ImageX)

* y图
tupleY :=[]
for Index := 0 to Height-1 by 1
    tuple_gen_const (Width, Index*step, row_y)
    tupleY :=[tupleY, row_y]
endfor
set_grayval (ImageY, rows, cols, tupleY)
reduce_domain (ImageY, DomainH, ImageY)

* z图 - 转为real格式的图，原高度图非real格式
get_region_points(DomainH,rows_Z,cols_Z)
get_grayval(HeightImg,rows_Z,cols_Z,tupleZ)
zv0 := tupleZ
set_grayval (ImageZ, rows_Z, cols_Z, zv0) //ImageZ在前面是real格式
reduce_domain (ImageZ, DomainH, ImageZ)

xyz_to_object_model_3d (ImageX, ImageY, ImageZ, ObjectModel3D3)
return ()

最后显示三个高度图的点云图像：

* 转3D对象模型查看
height_to_3d_obj (HeightImg_no_glue, step, obj3D_hk_no_glue)
height_to_3d_obj (HeightImg_glue, step, obj3D_hk_glue)
height_to_3d_obj (img_mod, step, obj3D_mod)
visualize_object_model_3d (WindowHandle, obj3D_hk_no_glue, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)
visualize_object_model_3d (WindowHandle, obj3D_hk_glue, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)
visualize_object_model_3d (WindowHandle, obj3D_mod, [], [], ['lut','color_attrib','disp_pose'], ['color1','coord_z','true'], [], [], [], PoseOut)

无胶水：
在这里插入图片描述
胶水：
在这里插入图片描述
模板：
在这里插入图片描述

4.6 点云匹配

先上代码：

* 点云匹配校准
create_surface_model (obj3D_mod, 0.03, [], [], SurfaceModel)//创建surface模型，因为上面的模型非点云型，需进行采样
MinScore := 0.1
* find返回的Pose指的是模型到目标的位姿变换关系，可以用rigid_trans_object_model_3d将模板转换到目标附近靠模
find_surface_model (SurfaceModel, obj3D_hk_glue, 0.03, 0.1, MinScore, 'true', ['num_matches', 'use_3d_edges'], [1, 'false'], Pose_glue, Score, SurfaceMatchingResult)
get_surface_matching_result (SurfaceMatchingResult, 'sampled_scene', [], SampledScene)
get_surface_matching_result (SurfaceMatchingResult, 'key_points', [], KeyPoints)

* 胶路点云对齐到模型，注意rigid_trans_object_model_3d算子是将模型转变到目标场景中
* pose_invert (Pose_glue, Pose_glue_Invert)
rigid_trans_object_model_3d (obj3D_hk_no_glue, Pose_glue, obj3D_hk_no_glue_t)
visualize_object_model_3d (WindowHandle, [obj3D_hk_glue,obj3D_modTrans,obj3D_hk_no_glue_t], [], [], \
                           ['color_' + [0, 1, 2],'point_size_' + [0, 1, 2],'disp_pose'], ['red', 'blue', 'yellow', 1.0, 3.0, 5.0,'true'], [], [], [], PoseOut)
  • 首先create_surface_model 进行采样，作为基准；
  • find_surface_model 进行点云匹配，返回的Pose是模型到目标的位姿变换关系，这里的参数不再详细解释，需自己实验调节；
  • rigid_trans_object_model_3d 靠模，这里是将模型（无胶水点云）转变到目标场景中（胶水点云），用这个算子就可以进行点云对齐，为后面的高度图差分做准备。

在这里插入图片描述
其中红色的带胶的，黄色是无胶水，蓝色是无胶水的模板。

4.7 点云转高度图

现在需要将靠模后的无胶水点云转为高度图，这里又是自己封装的算子：
在这里插入图片描述

* 将3D对象中的xyz点云，转为z向高度图
get_object_model_3d_params (object_3d, 'point_coord_x', point_x_no_glue_t)
get_object_model_3d_params (object_3d, 'point_coord_y', point_y_no_glue_t)
get_object_model_3d_params (object_3d, 'point_coord_z', point_z_no_glue_t)
cols := int(point_x_no_glue_t/step) //在高度图中的行列坐标，cols[index]和rows[index]是一对。 
rows := int(point_y_no_glue_t/step) 
* 高度图赋值
for Index := 0 to |cols|-1 by 1
    * 注意其中可能有负数！下面将负数都转移到0,0点
    * 可能有越界的点，都转移到0点
    if (cols[Index] < 0 or cols[Index]>=Width)
        cols[Index] :=0
        rows[Index] :=0
        point_z_no_glue_t[Index] :=0
    endif
    if (rows[Index] < 0 or rows[Index]>=Height)
        cols[Index] :=0
        rows[Index] :=0
        point_z_no_glue_t[Index] :=0
    endif
endfor
gen_image_const (Height_img, img_type, Width, Height)
set_grayval (Height_img, rows, cols, point_z_no_glue_t) //将对应行列的，设置为对应的z值，比较绕这里。
return ()

实际代码：

* x y z的实际坐标是变了，所以深度图需要由这三个实际坐标来重新构建
obj3D_to_height (Height_img_no_glue_t, obj3D_hk_no_glue_t, step, Width, Height, ImgType)

带胶水的高度图：
在这里插入图片描述

转换之后的高度图（无胶水）：
在这里插入图片描述
转换之前的高度图（无胶水）：
在这里插入图片描述

4.8 差分

* 差分
sub_image (HeightImg_glue, Height_img_no_glue_t, ImageSub, 1, 0)
threshold (ImageSub, Image_Glue, 80, 1000)

背景为带胶水的亮度图，红色的为差分出的胶路Region：
在这里插入图片描述

5. 胶路分析

略。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2209228.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

IBM Flex System服务器硬件监控指标解读

IBM Flex System服务器硬件监控指标解读

随着企业IT架构的日益复杂&#xff0c;服务器的稳定运行对于保障业务连续性至关重要。IBM Flex System作为一款模块化、可扩展的服务器解决方案&#xff0c;广泛应用于各种企业级环境中。为了确保IBM Flex System服务器的稳定运行&#xff0c;监控易作为一款专业的IT基础设施监…
阅读更多...
[Linux#65][TCP] 详解 延迟应答 | 捎带应答 | 流量控制 | 拥塞控制

[Linux#65][TCP] 详解 延迟应答 | 捎带应答 | 流量控制 | 拥塞控制

目录 一、延迟应答 二、捎带应答 三. 流量控制 总结 四. 拥塞控制 1. 拥塞控制 2. 慢启动机制&#xff1a; 3.思考 4.拥塞避免算法 5. 快速恢复算法 一、延迟应答 1. 立即应答问题 接收数据的主机若立刻返回ACK应答&#xff0c;可能返回的窗口较小。例如&#xff1…
阅读更多...
数字化转型新引擎：中小企业信息化建设的破局与未来-亿发

数字化转型新引擎：中小企业信息化建设的破局与未来-亿发

随着全球数字经济的蓬勃发展&#xff0c;信息化建设已成为企业提升竞争力、提高运营效率的重要途径。中小企业作为经济的重要组成部分&#xff0c;也逐步认识到信息化的重要性。然而&#xff0c;尽管中小企业在信息化方面有强烈的需求&#xff0c;但在实际推进过程中却面临诸多…
阅读更多...
简单粗暴理解GNN、GCN、GAT

简单粗暴理解GNN、GCN、GAT

GNN 思想&#xff1a;近朱者赤近墨者黑 GNN的流程&#xff1a; 聚合&#xff08;把邻居的信息贴到自己身上来&#xff0c;作为它自己特征的补足&#xff09;更新循环&#xff08;为什么要多次&#xff1f;看以下例子&#xff09; GNN能干嘛&#xff1f; 1.结点分类&#xf…
阅读更多...
Windows系统最高分辨率(单边16384)

Windows系统最高分辨率(单边16384)

11520*216024883200 来源&#xff1a; 2017-04-08【【极客湾】双路核弹&#xff1f;三屏4K&#xff1f;终极Geforce的究极测试&#xff01;】 【精准空降到 02:45】 https://www.bilibili.com/video/BV1tx411S7MU/?t165 2020-12-09【用三台8K电视玩游戏&#xff01;能成功吗&a…
阅读更多...
【Linux】嵌入式Linux系统的组成、u-boot编译

【Linux】嵌入式Linux系统的组成、u-boot编译

Linux—嵌入式Linux系统的组成、u-boot编译 前言一、嵌入式Linux系统的组成1.1 嵌入式Linux系统和PC完整的操作系统的对比如下&#xff1a;1.2 PC机—Windows系统启动流程&#xff08;PC机—Linux系统、嵌入式ARM—linux系统的启动流程类似&#xff09; 二、编译u-boot2.1 u-bo…
阅读更多...
测试质量报告=测试报告？当然不是！

测试质量报告=测试报告？当然不是！

测试报告大家都大概知道怎么做&#xff0c;但是质量报告呢&#xff0c;说起来到底与测试报告有什么不同&#xff1f; 仔细思考&#xff0c;其实这两种报告之间的差异还是比较直观的。 测试报告 更多是以测试为出发点&#xff0c;关注测试工作的背景、过程、完成度和结果。当…
阅读更多...
Qt-系统处理定时器相关事件(59)

Qt-系统处理定时器相关事件(59)

目录 描述 使用 描述 qt进行了封装&#xff0c;之前也使用过了 使用 先创建一个定时器 原型 这个事件是继承自 QObject 的&#xff0c;Widget 是继承 QObject 的&#xff0c;所以我们能够直接使用 重写 如下重写过后的定时器事件&#xff0c;正常倒计时了
阅读更多...
rpc中常用的数据格式：Protobuf 图文详解

rpc中常用的数据格式：Protobuf 图文详解

概述 protobuf也叫protocol buffer&#xff0c;是google 的一种数据交换的格式&#xff0c;它跨语言、跨平台。可以实现多种语言文件的数据传输实现&#xff08;java、c#、c、go 和 python 等&#xff09;&#xff0c;如一个cpp程序和一个python程序的数据传输。 由于它是一种…
阅读更多...
Linux下以编译源码的方式安装Qt5与Qt6及其使用

Linux下以编译源码的方式安装Qt5与Qt6及其使用

文章目录 概要资源下载依赖安装编译Qt5Qt6 遇到的问题qtchooser使用 概要 自 Qt 5.15 开始&#xff0c;不再提供 open source offline installers&#xff0c;也就是原来的 .run 的安装文件&#xff0c;只能通过源码编译来安装了参考文章 资源下载 源码网址&#xff0c;链接…
阅读更多...
【C语言复习】分支和循环

【C语言复习】分支和循环

【C语言复习】分支和循环 1. if语句1.1 if1.2 else1.3分支中包含多条语句1.4嵌套if1.5悬空else问题 2.关系操作符3. 条件操作符4.逻辑操作符&#xff1a;&& 、|| 、!4.1 逻辑取反运算符4.2 与运算符4.3或运算符4.4 练习&#xff1a;闰年的判断4.5短路 5.switch 语句5.1…
阅读更多...
【黑苹果】记录MacOS升级Sonoma的过程

【黑苹果】记录MacOS升级Sonoma的过程

【黑苹果】记录MacOS升级Sonoma的过程 一、硬件二、提前说明三、准备OC四、选择驱动五、选择ACPI六、下载内核扩展七、其他问题 一、硬件 设备是神舟zx6-ct5da 具体参照下图 二、提前说明 本机器已经安装过 macOS Monterey 12.6&#xff0c;这次是升级到 macOS Sonoma 14。 …
阅读更多...
GoogLeNet，代码示例，辅助分类器，Inception

GoogLeNet，代码示例，辅助分类器，Inception

亮点&#xff1a; 引入了Inception结构&#xff08;融合不同尺度的特征信息&#xff09; 使用1x1的卷积核进行降维以及映射处理 添加两个辅助分类器帮助训练 丢弃全连接层&#xff0c;使用平均池化层&#xff08;大大减少模型 参数&#xff09; GoogLeNet的网络连接图&…
阅读更多...
LInux学习FreeType编程

LInux学习FreeType编程

文章目录 使用freetype 显示一个文字使用 freetype 显示一行文字了解笛卡尔坐标系每个字符的大小可能不同怎么在指定位置显示一行文字freetype 的几个重要数据结构1、**FT_Library**结构体2、FT_Face结构体3、FT_GlyphSlot结构体4、FT_Glyph结构体5、FT_BBox结构体 读懂显示一行…
阅读更多...
Linux运维_Apache更改默认网站目录

Linux运维_Apache更改默认网站目录

1.首先创建目录 并且在目录下新建测试文件 index.html mkdir -p /home/test/ap_web 直接wget 百度官网 wget www.baidu.com 2.编辑配置文件 /etc/apache2/sites-available/000-default.conf(找到 DocumentRoot)更改为刚刚创建的目录 接着在添加 最终文件: 3.给文件 添加属…
阅读更多...
Nacos配置管理和Nacos集群配置

Nacos配置管理和Nacos集群配置

目录 Nacos作为配置中心实现配置管理 统一配置管理 如何在nocas添加配置文件 在微服务拉取nacos配置中心的配置 1&#xff09;引入nacos-config依赖 2&#xff09;添加bootstrap.yaml 3&#xff09;测试&#xff0c;读取nacos配置中心中配置文件的内容 ​编辑 总结&…
阅读更多...
在Spring Boot中具有多个实现的接口正确注入的六种方式

在Spring Boot中具有多个实现的接口正确注入的六种方式

​ 博客主页: 南来_北往 系列专栏&#xff1a;Spring Boot实战 在Spring Boot中&#xff0c;当一个接口具有多个实现时&#xff0c;正确地将这些实现注入到需要使用它们的地方是一个常见的需求。以下是在Spring Boot中实现这一目标的六种方式&#xff1a; 1. 使用Autowir…
阅读更多...
maven聚合ssm

maven聚合ssm

如果没有写过ssm项目请移步SSM后端框架搭建&#xff08;有图有真相&#xff09;-CSDN博客 数据库准备 create table user (id int (11),uid varchar (60),name varchar (60),age int (11),sex varchar (12) ); insert into user (id, uid, name, age, sex) values(10,202409…
阅读更多...
小米电机与STM32——CAN通信

小米电机与STM32——CAN通信

背景介绍&#xff1a;为了利用小米电机&#xff0c;搭建机械臂的关节&#xff0c;需要学习小米电机的使用方法。计划采用STM32驱动小米电机&#xff0c;实现指定运动&#xff0c;为此需要了解他们之间的通信方式&#xff0c;指令写入方法等。花了很多时间学习&#xff0c;但网络…
阅读更多...
LINUX网络编程:cookie和session

LINUX网络编程:cookie和session

目录 1.cookie 1.2.cookie原理 1.3.cookie的格式以及字段 字段介绍&#xff1a; 完整的cookie 1.4.cookie的安全问题 2.session 2.2session的原理 1.cookie 在大家在浏览b站的时候&#xff0c;都会发现一个问题&#xff0c;当我们登录过一次之后&#xff0c;下次点开b站…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023