目录

1 introduction

2 overview

 3 Related work

3.1 Single-patch Mesh Parametrization

3.2 Global Mesh Parametrization

3.3 Signal-Specialized UV Maps

3.4 Mesh repairing

3.5 Alleviating the effect of seams

3.6 Packing of texture charts

4 Phases of the algorithms

4.1. Enumeration of candidate merge operations

4.2. Performing a merge operation

 4.2.1. Initial alignment

4.2.2. Local UV re-optimization

4.2.3. Consistency Checks

4.3. Ranking of the candidate operations

4.4. Updating candidate operations

4.5. Atlas Repacking

4.6. Extension to Multiple Texture Sheets

5. Results

5.1 defragmentaion 实验

5.2 ablation study

5.2.1 local optimization (alpha 邻域)

5.2.2 greedy order

5.2.3 appeal score factors

5.3 Comparison against computing an entirely new UV-map

6. conclusions

1 introduction

1. 不采用重新map的原因：

   1. 模型不连续，高分辨率--不利于参数化（模型复杂）
   2. resample纹理图，导致纹理信息损失

2. 摄影测量三维重建，纹理问题
   1. 用参数化的思路——走不通

      1. undistorted map--不关注
      2. 根据映射后UV坐标（0~1）对原始重建影像采样（三维顶点投影到视图，得到像素坐标（隐含一次采样），变换得到到UV纹理图）
      3. 渲染时，需要对纹理图再采样（到screen）
      4. 总结：视图-纹理图-屏幕渲染（两次采样：信息损失）
      5. 模型不规整

   2. 目前的思路：三维顶点投影到视图，得到像平面坐标，再对像平面坐标采样，直接copy-拼接到最终的UV纹理图，无需额外采样
      1. 三维面片最佳视图的选择，与可视性 && 法向有关（尽可能选择正视图？？？
      2. 保证了与重建影像相同的采样密度： 近大远小（近处采样密度高，远处采样密度小）
      3. 疑惑？？ 采样密度与UV纹理图中像素数相关；在人工UV展开时，像素数，应该与模型部位的重要性有关；而上述方法，像素数与该部位相对于最佳影像的深度
      4. 好处/意义
      5. 需要注意的点

         1. Seam - visible(视觉上尽量不可见)
         2. 全局一致性
         3. [LI07] LEMPITSKY V., IVANOV D.: Seamless mosaicing of image-based texture maps. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2007), IEEE Computer Society, pp. 1–6.
         4. [GWO∗10] GAL R., WEXLER Y., OFEK E., HOPPE H., COHEN-OR D.: Seamless montage for texturing models. Computer Graphics Forum 29, 2 (2010), 479–486.

   3. 当前做法的问题
      1. [YLT19] YUKSEL C., LEFEBVRE S., TARINI M.: Rethinking texture mapping. Computer Graphics Forum 38, 2 (2019), 535–551.
      2. Texture space - packing
      3. Texture pixel = texel

         1.  Texel 重复
         2. 渲染时，基于UV图，采样颜色值时，采用双线性插值，得到最终的渲染值
         3. 在seam边界处，由于存在空白区域，上述插值，会导致seam边界处的渲染值不一致，进一步使得接缝明显；
         4. 因此seam边界处的插值，要考虑空间邻接性，体现为：将空间邻接的texel重复备份，用于插值
         5. seam越长，备份数据越多
         6. [RNLL10] RAY N., NIVOLIERS V., LEFEBVRE S., LÉVY B.: Invisible seams. Computer Graphics Forum 29, 4 (2010), 1489–1496.

      4. 问题2也加重了问题（预留更多gap来备份）
      5. 双线性插值本身，是种不连续的方式，使得seam两侧还是不一致
      6. Seam顶点的备份（标记seam？？）--gpu memory/loading /cache
      7. seam导致缓存不一致？！！！

                 除第一个问题，其他都是渲染方面的问题？？

2 overview

1. 
2. 本文核心目标：
   1. 减少缝-碎片减少
   2. 尽可能保留原始变形属性，同时避免重采样
3. 上述目标，是相互冲突，无法找到全局最优的解决方法，因此，采用贪心策略(需要去了解一下贪心策略的含义)

 3 Related work

3.1 Single-patch Mesh Parametrization

1. Single :强调只讨论基于变形度的map，不考虑seam
2. 结合需求，应该侧重于基于纹理映射的参数化！！！！
3. 

   1. [FH05] FLOATER M. S., HORMANN K.: Surface parameterization: a tutorial and survey. In Advances in Multiresolution for Geometric Modelling (Berlin, Heidelberg, 2005), Dodgson N. A., Floater M. S., Sabin M. A., (Eds.), Springer Berlin Heidelberg, pp. 157–186.
   2. [SPR∗07] SHEFFER A., PRAUN E., ROSE K., ET AL.: Mesh parameterization methods and their applications. Foundations and Trends R in Computer Graphics and Vision 2, 2 (2007), 105–171.
   3. [HPS08] HORMANN K., POLTHIER K., SHEFFER A.: Mesh parameterization: Theory and practice. In ACM SIGGRAPH ASIA 2008 Courses (2008), SIGGRAPH Asia ’08.

4. 

   1. [LZX∗08] LIU L., ZHANG L., XU Y., GOTSMAN C., GORTLER S. J.: A local/global approach to mesh parameterization. Computer Graphics Forum 27, 5 (2008), 1495–1504.
   2. [SA07] SORKINE O., ALEXA M.: As-rigid-as-possible surface modeling. In Proceedings of the Fifth Eurographics Symposium on Geometry Processing (2007), SGP ’07, pp. 109–116.
   3. [RPPSH17] RABINOVICH M., PORANNE R., PANOZZO D., SORKINEHORNUNG O.: Scalable locally injective mappings. ACMTrans. Graph. 36, 2 (2017).

5. 
   1. 
   2. [LZX∗08] LIU L., ZHANG L., XU Y., GOTSMAN C., GORTLER S. J.: A local/global approach to mesh parameterization. Computer Graphics Forum 27, 5 (2008), 1495–1504.

3.2 Global Mesh Parametrization

1. global :强调考虑seam+基于变形度的map
2. 二者同时考虑，构成NP-hard问题——一般采用启发式算法（heuristics）
3. [PTH∗17] PORANNE R., TARINI M., HUBER S., PANOZZO D., SORKINE-HORNUNG O.: Autocuts: Simultaneous distortion and cut optimization for uv mapping. ACMTrans. Graph. 36, 6 (2017)
4. 需要关注能够体现 平衡seam + distortion 的度量方式

   1. 难点：seam的衡量
   2. 本文： [MPCT20]：[MPCT20] MAGGIORDOMO A., PONCHIO F., CIGNONI P., TARINI M.: Real-world textured things: A repository of textured models generated with modern photo-reconstruction tools. Computer Aided Geometric Design 83 (2020).
   3. [LKK∗18] LI M., KAUFMAN D. M., KIM V. G., SOLOMON J., SHEFFER A.: Optcuts: Joint optimization of surface cuts and parameterization. ACMTrans. Graph. 37, 6 (2018).

3.3 Signal-Specialized UV Maps

1. 含义：参数化过程中重点考虑纹理问题，纹理的信息是否被损耗
2. 相关研究（重要）！！！

   1. [SWB98] SLOAN P.-P. J., WEINSTEIN D. M., BREDERSON J.: Importance driven texture coordinate optimization. Computer Graphics Forum 17, 3 (1998), 97–104.
   2. [SGSH02] SANDER P. V., GORTLER S. J., SNYDER J., HOPPE H.: Signal-specialized parametrization. In Proceedings of the 13th Eurographics Workshop on Rendering (2002), EGRW ’02, Eurographics Association, pp. 87–98.
   3. [BTB02] BALMELLI L., TAUBIN G., BERNARDINI F.: Space-optimized texture maps. In Computer Graphics Forum (2002), vol. 21, pp. 411– 420.

3. 本文：不考虑纹理信号（原始纹理图，每个像素同等重要）  && 不保证每个像素在最终的结果中，都1：1保留
4. Signal specialization && avoid texture area to be resampled 是一个trade-off问题

3.4 Mesh repairing

1. 用于解决摄影测量生成模型-inconsistent问题
2. 参考:
   1. [ACK13] ATTENE M., CAMPEN M., KOBBELT L.: Polygon mesh repairing: An application perspective. ACM Comput. Surv. 45, 2 (2013).
3. 结论：repair不适用
   1. repair步骤需要处理一个具有高几何复杂度和分辨率的mesh，其本身就是当前难以解决的问题
   2. repair后，会涉及到texel密度改变 && 重采样
4. 本文仍旧基于原始模型（可以尝试repair）

3.5 Alleviating the effect of seams

1. 减少seam number的几个目的（不同侧重点），相关方法包含一个或多个
   1. 
   2. Servey:[YLT19] YUKSEL C., LEFEBVRE S., TARINI M.: Rethinking texture mapping. Computer Graphics Forum 38, 2 (2019), 535–551.
2. 最接近本文应用场景的方法：

   1. [[SWG∗03] SANDER P. V., WOOD Z. J., GORTLER S. J., SNYDER J., HOPPE H.: Multi-chart geometry images. In Proceedings of the 2003 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing (2003), SGP ’03, Eurographics Association, p. 146â ˘A¸S155.] LIU S., FERGUSON Z., JACOBSON A., GINGOLD Y.: Seamless: Seam erasure and seam-aware decoupling of shape from mesh resolution. ACMTrans. Graph. 36, 6 (2017).
   2. 不同点：
      1. 参考文献只考虑了 visual artifacts
      2. 参考文献的实验数据，是小规模mesh，摄影测量的模型是大规模的&& 复杂的

3.6 Packing of texture charts

1. packing问题嵌入到参数化问题中，类似于一个组合优化问题--采用启发式（类似于autoCut）
2. 常规方法：chart栅格化-pack to 2d grid(最小化各种损失函数：pack水平高度？？ chart之间的空隙空间)

   1. [LPRM02] LÉVY B., PETITJEAN S., RAY N., MAILLOT J.: Least squares conformal maps for automatic texture atlas generation. ACM Trans. Graph. 21, 3 (2002), 362–371.
   2. [SWG∗03] SANDER P. V., WOOD Z. J., GORTLER S. J., SNYDER J., HOPPE H.: Multi-chart geometry images. In Proceedings of the 2003 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing (2003), SGP ’03, Eurographics Association, p. 146â ˘A¸S155.
   3. [NS11] NÖLL T., STRIEKER D.: Efficient packing of arbitrary shaped charts for automatic texture atlas generation. Computer Graphics Forum 30, 4 (2011), 1309–1317.

3. pack过程中，首先detect大的空隙空间（由复杂的seam边界line造成） ，然后通过split charts来减少这些空隙---其实质与减少seam number && length相悖 --trade-off
4. 本文：
   1. 直接采用先有的packing方法，增加一个grid-perserving constraint
   2. 本文输入到packing额uv-map，chart 数量更少，形状更加规整
5. 参考：[LVS18] LIMPER M., VINING N., SHEFFER A.: Box cutter: Atlas refinement for efficient packing via void elimination. ACMTrans. Graph. 37, 4 (2018).

4 Phases of the algorithms

1. Linked edges： 与seam相对应的边
2. Charts: connected component in UV-layout
3. Linked chart: 通过linked edges 联系的charts

4.1. Enumeration of candidate merge operations

1. Merge operations：
   1. 只考虑：merge the all linked edges of linked charts
   2. merge the subset of linked edges of linked charts：成立，但会增加merge operation的空间，故不考虑
2. 针对 linked edge出现在同一个chart的情况--intra-chart，合并，不影响chart数目
3. 舍弃无效的合并操作：将非0亏格变为0的操作

4.2. Performing a merge operation

1. Merge operations，涉及到transform && topological unifying---会使相关tri变形--违背目的2，因此，用tri变形作为是否接受该merge的评判标准之一
2. 在merge相关操作中，尽可能较少变形，体现为：
   1. Initial 步骤，采用刚性变换