对图像Size的处理, 以适应Transformer
- 在MVSPlat 当中使用
Center_Crop裁剪图像，适用于 Transformer 的32 倍数， 其中 焦距f不变化，只改变cx,cy. - MuRF 直接对图像进行 插值，合成理想的 size. 根据
ori_size和inference_size计算出来scale, 然后分别乘上 对应的 内参。 这个时候 内参数的 所有参数f和cx,cy都会改变。
ori_size = var.images.shape[3:]
scale_factor_y = inference_size[0] / ori_size[0]
scale_factor_x = inference_size[1] / ori_size[1]
tmp_imgs = var.images.view(-1, 3, *ori_size)
tmp_imgs = F.interpolate(tmp_imgs, size=inference_size, mode='bilinear', align_corners=True)
# update intrinsics
intrinsic = var.intrinsics.clone() # [B, V, 3, 3]
intrinsic[:, :, :1] = intrinsic[:, :, :1] * scale_factor_x
intrinsic[:, :, 1:2] = intrinsic[:,:, 1:2] * scale_factor_y
使用 Transformer 对于图像进行处理，得到不同分辨率的 Feature Map
# extract multi-view image features,用列表存储
# list of [B, V, C, H, W], multi-scale, resolution from low to high
ref_feats_list = self.get_img_feat(ref_images)
Render
生成的 Ray 是从 downsample 之后的图像生成的， 假设原图像的分辨率是(352，1408), 论文中的参数 radiance_subsample_factor = 4， 那么会从 降采样4倍之后的图像 size = (88，352)生成光线。 每条光线如果采样 64 个点，那么组成的 Tensor pts_3D 对应的 shape 是 # [B,HW,D,3]， 将这些采样点投影到 feature_map 上面然后计算 Reference Image 之间的 feature 相似度，去得到 Geometry 的 Cues.
Patch-based for High-Resolution rendering
MuRF 可以对于 高分辨率的图像在 Test 的阶段做 Rendering
sample window on the image
- 先生成一个小范围的 window. uv像素坐标系;
* window_grid = generate_window_grid(-local_radius, local_radius,
-local_radius, local_radius,
local_h, local_w, device=grid.device)
- 上一部生成的 grid 坐标 [-1,1] 之间转换到 uv像素坐标系;
b, n, d = grid.shape[:3]
# grid is in [-1, 1]
color_sample_grid = grid.view(b, n * d, 1, 2) # [B, H*W*D, 1, 2]
color_sample_grid = (color_sample_grid + 1) / 2 # [0, 1]
color_sample_grid = torch.cat((color_sample_grid[:, :, :, :1] * (
img_w - 1), color_sample_grid[:, :, :, 1:] * (img_h - 1)), dim=-1) # image scale
- window 的 size 和实际采样点坐标相加， 生成 最后的采样范围，变换到[-1,1]之间，使用
grid_sample函数来实现最后的 query;
color_sample_grid = color_sample_grid + \
window_grid # [B, H*W*D, (2R+1)^2, 2]
# normalize to [-1, 1]
c = torch.Tensor([(img_w - 1) / 2., (img_h - 1) / 2.]).float().to(color_sample_grid.device)
color_sample_grid = (color_sample_grid - c) / c # [-1, 1]
sampled_color = torch_F.grid_sample(
ref_images[:, view_idx], color_sample_grid, align_corners=True, mode='bilinear', padding_mode='border')
