DataProcessor模块解析

在对batch_data的处理中，经过了point_feature_encoder模块处理后，就轮到了进行data_processor处理。在data_processor的forward流程中比较简单，就是依次经过队列各模块处理即可，如下所示：

def forward(self, data_dict):
    """
    Args:
        data_dict:
            points: (N, 3 + C_in)
            gt_boxes: optional, (N, 7 + C) [x, y, z, dx, dy, dz, heading, ...]
            gt_names: optional, (N), string
            ...

    Returns:
    """
    # 依次进行各类数据处理，不断更新data_dict
    for cur_processor in self.data_processor_queue:
        data_dict = cur_processor(data_dict=data_dict)

其中，这里的data_dict保留了是否启动某些数据增强的相关信息，以及具体确定的随机参数：

在pointpillars中主要进行3种数据处理，分别是：mask_points_and_boxes_outside_range、shuffle_points、transform_points_to_voxels；下面对别对着几个函数进行记录。

---

1. mask_points_and_boxes_outside_range

给定点云场景的一个限制范围limit_range: [minx, miny, minz, maxx, maxy, maxz]，现在对超过这个范围的点进行过滤，同时对gt中心点在这个范围外也进行过滤。那么得到的结果是gt的部分点可能会因为这个范围限制而被截取。

核心函数与核心代码如下所示：

# 功能: 限制点云在限制范围集中，返回的是每个点云是否符合范围的掩码（布尔变量）
def mask_points_by_range(points, limit_range):
    """
    Args:
        points: (N, 4) 点云特征
        limit_range: [minx, miny, minz, maxx, maxy, maxz]
    """
    mask = (points[:, 0] >= limit_range[0]) & (points[:, 0] <= limit_range[3]) \
           & (points[:, 1] >= limit_range[1]) & (points[:, 1] <= limit_range[4])
    return mask
    
# 功能:移除范围外的gt
def mask_boxes_outside_range_numpy(boxes, limit_range, min_num_corners=1, use_center_to_filter=True):
    """
    Args:
        boxes: (N, 7) [x, y, z, dx, dy, dz, heading, ...], (x, y, z) is the box center
        limit_range: [minx, miny, minz, maxx, maxy, maxz]
        min_num_corners: 1
        use_center_to_filter: True 是否利用gt中心店来进行采样
    Returns:

    """
    if boxes.shape[1] > 7:
        boxes = boxes[:, 0:7]   # 这里去除最后一位的类别id
    if use_center_to_filter:
        box_centers = boxes[:, 0:3]     # 提取xyz中心位置信息
        mask = ((box_centers >= limit_range[0:3]) & (box_centers <= limit_range[3:6])).all(axis=-1)  # 中心点是否在限制范围内
    return mask

---

2. shuffle_points

随后根据点数量构建一个随机顺序的索引序列，然后根据这个随机的索引序列对点云进行重新编排点顺序，核心代码如下所示：

# 训练过程打乱，测试过程不打乱
if config.SHUFFLE_ENABLED[self.mode]:
    points = data_dict['points']
    shuffle_idx = np.random.permutation(points.shape[0])    # 生成随机序列索引
    points = points[shuffle_idx]    # 根据索引重新编排点顺序
    data_dict['points'] = points

---

3. transform_points_to_voxels

这部分的具体执行代码调用了sponv进行稀疏卷积，将点场景转换为voxel场景，核心代码如下所示：

# 功能：将点云转换为voxel,调用spconv的VoxelGeneratorV2
def transform_points_to_voxels(self, data_dict=None, config=None):
    # 初始化确认网格大小与体素大小
    if data_dict is None:
        grid_size = (self.point_cloud_range[3:6] - self.point_cloud_range[0:3]) / np.array(config.VOXEL_SIZE)   # 网格数量
        self.grid_size = np.round(grid_size).astype(np.int64)   # 四舍五入取整
        self.voxel_size = config.VOXEL_SIZE      # 从配置文件中获取指定的体素大小
        # just bind the config, we will create the VoxelGeneratorWrapper later,
        # to avoid pickling issues in multiprocess spawn
        return partial(self.transform_points_to_voxels, config=config)

    if self.voxel_generator is None:
        self.voxel_generator = VoxelGeneratorWrapper(
            vsize_xyz=config.VOXEL_SIZE,   # 体素大小 [0.16, 0.16, 4]
            coors_range_xyz=self.point_cloud_range,     # 场景范围 [0, -39.68, -3, 69.12, 39.68, 1]
            num_point_features=self.num_point_features, # 每个点特征数量 4
            max_num_points_per_voxel=config.MAX_POINTS_PER_VOXEL,   # 每个voxel最大点云数 32
            max_num_voxels=config.MAX_NUMBER_OF_VOXELS[self.mode],  # 场景的最大voxel数 训练模式是 16000
        )

    # 调用spconv的voxel_generator的generate方法生成体素
    points = data_dict['points']
    voxel_output = self.voxel_generator.generate(points)
    voxels, coordinates, num_points = voxel_output
    """
        voxels: (num_voxels, max_points_per_voxel, 3 + C)  表示每个体素中有32个点云，每个点有3+C（4）和特征维度
        coordinates: (num_voxels, 3)     在点云场景中voxel的位置信息，pointpillars算法这里的voxel就是pillars，所以只有平面上的2d坐标，没有z维度切分
        num_points: (num_voxels)         表示每个voxel内的有效点数量
    """
    
    ......

在data_process模块处理完后，单帧点云场景的数据处理流程就此结束了，剩下的就是就是收集batch_size各如此的单帧点云数据构建成一个batch数据，然后对batch数据进行处理。

---