PF-Net点云补全解读

news2024/11/23 19:59:24

论文链接:https://arxiv.org/pdf/2003.00410.pdfhttps://arxiv.org/pdf/2003.00410.pdf        PF-Net是一个点云补全模型,整体网络为生成对抗网络(Gan)构成,G网络负责生成缺失的数据,D网络负责鉴别G网络生成的数据。

1、数据集的制作

        PF-Net预测缺失的点云数据,因此在制作数据集时,需要随机扔掉一个方向的数据,代码如下。这里扔掉的点会记录作为lable与预测值进行loss计算。

# 对于每一个对象,在提供的5个区域中随机选择一个丢失的区域
choice = [torch.Tensor([1, 0, 0]), torch.Tensor([0, 0, 1]), torch.Tensor([1, 0, 1]), torch.Tensor([-1, 0, 0]), torch.Tensor([-1, 1, 0])]

        除此之外,作者在输入数据的时候,将点固定在2048个点,也就是说不论进来的数据是什么,都将被采样为2048个点,这里的采样方式为随机采样(踩坑:我改代码改为最远点采样方式后效果奇差)。

2、特征提取

        输入G网络的数据将会被分为三份输入网络,由于每个点云数据所构成的点的数量是不一样的,为了方便网络提取特征,需要设定一个定值,通常需要采样,但是每次采样的方式又会影响网络训练效果,作者索性用三次采样,每次采样都采样固定的点数,这里分别为512、1024、2048。采样方式采用最远点采样,上面说到会随机丢到一部分的点,这里每个采样后的点会丢失的数量分别为64、128、512。如图1所示,一个点云数据的不同点数的最远点采样。

图1 最远点采样

        特征提取方面,这里作者使用了一种叫CMLP的方法,这种方法其实类似于二维图像中的特征金字塔,CMLP在MLP的基础上加入了特征拼接,这里面就包含了浅层语义信息。如图2所示,左侧为MLP,右侧为CMLP。

 图2 MLP和CMLP

        前面说到,将会有同一数据的三次最远点采用的数据进入到G网络中,因此每个最远点采样后的数据都需要做一次CMLP,然后将做完的特征拼接起来,如图3所示。

图3 三次最远点采样的结果分别进行CMLP

        接下来,对得到的特征进行进一步的特征提取,经过MLP和Linear后会得到三种不同长度的特征,分别为1024,512,256。这些特征会通过进一步的卷积得到预测点,如图4所示。

 图4 G网络

         其中,每一种长度的卷积结果还会和其他层相加进行预测,得到的预测点分别和真实的值做欧式距离(CD)计算。这里就会引入损失函数,即希望CD值越小越好。文章中的损失函数为:

3、D网络

        鉴别器(D网络)主要鉴别生成器(G网络)生成的预测数据是否为真实的,为了能让D网络知道哪些是真实数据,哪些为假的的数据。因此,作者直接告诉了D网络,在生成数据部分,我么说过有真实的label,将这些真实的数据喂入D网络,希望D网络的损失值越小越好。同时我们也有G网络生成的数据喂给D网络,并且告知是假数据,这样的话就希望损失值越大约好。这里的损失函数为:

         公式里第一部分求的是真实值,其loss越小越好,本来公式里的第二部分输入假数据希望求最大值的,取个反就变成求最小值了。

        最后训练时,我们只需要追求一个统一的loss就可以了,把G、D网络的Loss加在一起计算最小值,公示如下:

         两个入为权重系数,他们的合为1。再看下总体的图,如图5下面的虚线内为D网络。

图5 PF-Net总体图

        至此,网络讲解结束。


tips:原文的代码有些bug,需要代码的和实在有不懂的联系我1049632143,说明来意。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/717924.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

为什么Unity使用AssetBundle热更的时候要剔除掉.mainfest文件

1)为什么Unity使用AssetBundle热更的时候要剔除掉.mainfest文件 ​2)Addressable热更,断点续传问题 3)在线性空间,使用后处理解决UI混合问题 这是第341篇UWA技术知识分享的推送,精选了UWA社区的热门话题&am…

计算机毕业论文内容参考|基于Python的手机订餐系统的设计与实现

文章目录 导文摘要前言绪论1课题背景2国内外现状与趋势3课题内容相关技术与方法介绍系统分析系统设计系统实现系统测试总结与展望1本文总结2后续工作展望导文 计算机毕业论文内容参考|基于Python的手机订餐系统的设计与实现 摘要 本文基于Python语言,设计并实现了一个手机订餐…

我的毕业故事

前言 2023年6月25日,在拿到双证(毕业证书/学士学位证书)之后,我正式毕业,结束了本科学习阶段。 由于毕业设计中了盲审,因此在大致顺利的过程中平添了不少故事,这里就对近两个月做一个回顾。 盲审 首先解释一下什么…

MySQL之binlog、redolog、undolog

1.binlog是 mysql server 层的一种二进制日志,用来记录数据库的写入操作,并以"事务"的形式保存在磁盘上,主要的使用场景有主从复制和数据恢复。 2.redo log (重做日志)是InnoDB存储引擎产生的,记…

day30-Oracle函数

Oracle函数 1.oracle字符函数 1.1 拼接函数concat 1.2 首字母转大写initcap 1.3 lower转小写;upper转大写 1.4 trim去除首尾空格 1.5 substr截取字符串3,4,3代表从第三个字符开始,4代表共截取4个字符 1.6 replace替换字符串 2.oracl…

局部均方差滤波(磨皮)

note 锚点灰度值 用 原图像对应点的原灰度值 和 局部均值加权得到 局部均值 由 掩膜 区域计算得到 权重 由 局部方差 与用户输入参数计算确定 code // 局部均方差滤波 /*\brief 局部均方差滤波\param src:原矩阵,单通道\param res:结果矩阵\param size:掩膜矩形…

Linux学习之磁盘分区(fdisk、parted、df)、文件大小查看(ls、du)和文件写入(dd)

我用来演示的系统使用CentOS Linux release 7.9.2009 (Core),内核版本是3.10.0-1160.71.1.el7.x86_64。 fdisk fdisk -l可以查看分区,因为我这里使用的不是root用户,所以前边加上sudo。 可以看到当前只有sda一块磁盘,第二磁盘…

全志V3S嵌入式驱动开发(软、硬件调试方法总结)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 v3s开发板本身是比较小巧的,ddr也是嵌入在soc里面的,电路设计也不复杂,因此很受电子爱好者的喜欢。不过大部分朋…

对话小红书剑寒:如何跨方向技术融合,全局优化打造更智能的音视频系统?...

编者按:在 AI 时代,随着 ChatGPT 掀起技术狂潮,构建更智能的音视频系统已经成为音视频领域从业者的共同目标。 然而,音视频系统的智能化,每个从业者对其都有自己独特的视角和理解,正如“一千个人眼中有一千…

华为官宣2024年推出面向商用的5.5G全套网络设备

2023年6月29日华为董事、ICT产品与解决方案总裁杨超斌在2023 MWC上海展5G Advanced论坛上宣布,2024年,华为将会推出面向商用的5.5G全套网络设备。这也标志着ICT行业即将迈入5.5G时代。 经过四年的高速发展,5G建设已经取得了丰硕的成果。目前…

【花雕】全国青少年机器人技术一级考试备考实操搭建手册7

随着科技的不断进步,机器人技术已经成为了一个重要的领域。在这个领域中,机械结构是机器人设计中至关重要的一部分,它决定了机器人的形态、运动方式和工作效率。对于青少年机器人爱好者来说,了解机械结构的基础知识,掌…

MySql的操作跟命令

概述 仅仅为了加强记忆,废话不说,直接上正文。 快速开始 创建数据库。 进入MySql客户端,输入root用户的密码 Enter password: **** Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 16 Server vers…

第3章 创建项目并初始化业务数据(过程记录)

项目声明和依赖 ECommerceRecommendSystem [pom.xml] 公用的声明、依赖、插件 properties 声明 log4g:处理日志的框架(日志的具体实现)sel4g:简单日志门面(简单日志的接口)mongodb-spark:Mong…

Python 元类实现ORM

目录 ORM概念 __new__、__init__、__call__的介绍 通过元类简单实现ORM中的insert功能 抽取到基类中 ORM概念 ORM(Object Ralational Mapping,对象关系映射)用来把对象模型表示的对象映射到基于 SQL 的关系模型数据库结构中去。这样&am…

隔断推拉门滑动不畅常见的原因和解决方法

隔断推拉门滑动不畅常见的原因和解决方法如下: 1. 滑轨污秽:如果滑轨上有灰尘、油垢或杂物积聚,会影响推拉门的滑动效果。解决方法是定期清洁滑轨,使用吸尘器或刷子清除污垢,并用湿布擦拭干净。 2. 滑轨损坏&#xff1…

Git---分支管理

文章目录 前言一、理解分支二、创建分支三、切换分支四、合并分支五、删除分支六、合并冲突七、分支管理策略八、分支策略九、bug分支十、删除临时分支总结 前言 本篇博客开始介绍Git的杀手级功能之一 : 分支.分支就是科幻电影里面的平行宇宙,当你正在电脑前努力学习C的时候,另…

MySQL学习基础篇(六)---多表查询

MySQL学习基础篇(六)—多表查询 对于多表查询的理解: 多表查询,也称为关联查询,指两个或更多个表一起完成查询操作。 前提条件:这些一起查询的表之间是有关系的(一对一、一对多),它们之间一定是…

浅析EasyCVR视频技术与AR实景智能管理平台在智慧厂区中的应用

一、背景分析 新型智慧厂区是运用人工智能、大数据、物联网和设备监控技术加强厂区安保和信息管理。通过先进技术,保障厂区生产运营安全,同时减少生产线上的人工干预、及时正确地采集各类生产数据,以及合理的生产计划编排与生产进度&#xff…

线性规划的对偶问题(The Dual of LP)

线性规划的对偶问题(The Dual of LP) 对偶理论是线性规划中最重要的理论之一,是深入了 解线性规划问题结构的重要理论基础。同时,由于问题提 出本身所具有的经济意义,使得它成为对线性规划问题系 统进行经济分析和敏感…

原生 js点击空白处 关闭遮罩层(关闭某个div)

如图所示 点击空白处关闭此div document.addEventListener(click, function(e) {//监听页面点击事件var screenDoc document.querySelector(.controlHead);//需要关闭的divvar control document.querySelector(.control);//设置的按钮if (screenDoc && !screenDoc.co…