ultralytics-8.3.28版本debug记录

1传入文件

代码太多不粘贴在这里了，完整代码写在了篇三

    def open_src_file(self):
        config_file = 'config/fold.json'
        config = json.load(open(config_file, 'r', encoding='utf-8'))
        open_fold = config['open_fold']
        if not os.path.exists(open_fold):
            open_fold = os.getcwd()
        name, _ = QFileDialog.getOpenFileName(self, 'Video/image', open_fold, "Pic File(*.mp4 *.mkv *.avi *.flv *.jpg *.png)")
        if name:
            self.yolo_predict.source = name  #将图片或者视频传入到source中
            print(name)
            self.show_status('Load File：{}'.format(os.path.basename(name)))
            config['open_fold'] = os.path.dirname(name)
            config_json = json.dumps(config, ensure_ascii=False, indent=2) # 重新保存json的信息
            with open(config_file, 'w', encoding='utf-8') as f:
                f.write(config_json)
            self.stop()

最终我们发现，打开的图片其实保存到了YoloPredictor下面的source，但是BasePredictor（yolo检测器）这个文件下是没有source这个属性的。因此这一步并没有完成图片与yolo检测器之间的链接

# 设置输入源
self.setup_source(self.source if self.source is not None else self.args.source)# 打开的图片从这被self.args.source被加载进去

• 在setup_source函数中，发现传入的source被包含到了self.dataset当中，我们要在这里找出self.dataset对于图片检测和视频检测都有什么区别。

1图片检测

“”“yolo检测器”“”
def setup_source(self, source):
	   """Sets up source and inference mode."""
	   self.imgsz = check_imgsz(self.args.imgsz, stride=self.model.stride, min_dim=2)  # check image size
	   self.transforms = (
	       getattr(
	           self.model.model,
	           "transforms",
	           classify_transforms(self.imgsz[0], crop_fraction=self.args.crop_fraction),
	       )
	       if self.args.task == "classify"
	       else None
	   )
	   self.dataset = load_inference_source(
	       source=source,
	       batch=self.args.batch,
	       vid_stride=self.args.vid_stride,
	       buffer=self.args.stream_buffer,
	   )
	   self.source_type = self.dataset.source_type
	   if not getattr(self, "stream", True) and (
	       self.source_type.stream
	       or self.source_type.screenshot
	       or len(self.dataset) > 1000  # many images
	       or any(getattr(self.dataset, "video_flag", [False]))
	   ):  # videos
	       LOGGER.warning(STREAM_WARNING)
	   self.vid_writer = {}

‘’‘新版本yolo’‘’
def load_inference_source(source=None, batch=1, vid_stride=1, buffer=False):
    """
    Loads an inference source for object detection and applies necessary transformations.

    Args:
        source (str, Path, Tensor, PIL.Image, np.ndarray): The input source for inference.
        batch (int, optional): Batch size for dataloaders. Default is 1.
        vid_stride (int, optional): The frame interval for video sources. Default is 1.
        buffer (bool, optional): Determined whether stream frames will be buffered. Default is False.

    Returns:
        dataset (Dataset): A dataset object for the specified input source.
    """
    source, stream, screenshot, from_img, in_memory, tensor = check_source(source) # 打断点
    source_type = source.source_type if in_memory else SourceTypes(stream, screenshot, from_img, tensor)

    # Dataloader
    if tensor:
        dataset = LoadTensor(source)
    elif in_memory:
        dataset = source
    elif stream:
        dataset = LoadStreams(source, vid_stride=vid_stride, buffer=buffer)
    elif screenshot:
        dataset = LoadScreenshots(source)
    elif from_img:
        dataset = LoadPilAndNumpy(source)
    else:
        dataset = LoadImagesAndVideos(source, batch=batch, vid_stride=vid_stride)

    # Attach source types to the dataset
    setattr(dataset, "source_type", source_type)

    return dataset

输入图片之后load_inference_source函数打断点，发现图片走的是这行代码。

    else:
        dataset = LoadImagesAndVideos(source, batch=batch, vid_stride=vid_stride)

再仔细分析check_source(source)返回的全是false，在这个函数内部判定is_file:True。我们的source确实是file文件，因此这一步并没有问题。

我们再仔细分析一下这行代码

    else:
        dataset = LoadImagesAndVideos(source, batch=batch, vid_stride=vid_stride)

我们返回的dataset是一个迭代器，使用方式如下面代码所示：

Examples:
        >>> loader = LoadImagesAndVideos("path/to/data", batch=32, vid_stride=1)
        >>> for paths, imgs, info in loader:
        ...     # Process batch of images or video frames
        ...     pass

在接下来的代码中有：

batch = next(self.dataset)  # 使用 next(self.dataset) 可以显式地获取下一批数据，而不是依赖 for 循环或隐式的迭代器行为。这种方式适用于需要更细粒度控制数据加载的场景，例如在某个特定条件下才加载下一批数据。

self.batch = batch  # 保存当前批次
path, im, im0s = batch  # 从批次中提取路径、图像、原始图像、视频捕获和其他信息

这种情况明显和新版的dataset是不一致的。具体表现在im0s以前是原图，但如今表示注释信息info。

2视频检测

我们发现输入为视频，在check_source(source)函数中依旧会被判定为is_file:True。因此最后依旧会走LoadImagesAndVideos这个类，所生成的dataset依旧是没有属性的。setattr(dataset, "source_type", source_type)这里的属性是没有的。

LoadImagesAndVideos会将MP4装到一个列表里面

后续LoadImagesAndVideos会用视频解释器给装起来，变成self.frames

    def _new_video(self, path):
        """Creates a new video capture object for the given path and initializes video-related attributes."""
        self.frame = 0
        self.cap = cv2.VideoCapture(path)
        self.fps = int(self.cap.get(cv2.CAP_PROP_FPS))
        if not self.cap.isOpened():
            raise FileNotFoundError(f"Failed to open video {path}")
        self.frames = int(self.cap.get(cv2.CAP_PROP_FRAME_COUNT) / self.vid_stride)

在提取的时候数据的时候，最后一个batch所提取的是path表示地址，im当前帧numpy数组，info其他信息。

batch = next(self.dataset)  # 使用 next(self.dataset) 可以显式地获取下一批数据，而不是依赖 for 循环或隐式的迭代器行为。这种方式适用于需要更细粒度控制数据加载的场景，例如在某个特定条件下才加载下一批数据。
self.batch = batch  # 保存当前批次，注意如果是视频，那么则为当前帧数据
path, im, info = batch  # path表示图片或者视频的地址，im当前帧numpy数组，info其他信息。

然后我发现了一个V11的缺陷，就是一些尺寸的图片无法完成检测，我就报错了
但是换了一个图片之后有可以了，估计是模型在cat的时候有地方是不满足的。

Sizes of tensors must match except in dimension 1. Expected size 136 but got size 135 for tensor number 1 in the list.

2数据集使用

在run函数将dataset将数据集转化为一个迭代器。这个self.dataset也是新版本yolo与旧版本最大的区别。

def run() 
...
	batch = iter(self.dataset)  # 将数据集转化为迭代器

3Debug

class YoloPredictor(BasePredictor, QObject):
。。。
self.yolo_predict = YoloPredictor()  # Createa a Yolo instance
。。。
self.yolo_predict.source = name  #将图片或者视频传入到source中

• 问题代码1——这里报错——报错expected np.ndarray (got list)
  ultralytics-8.3.28版本batch是3个维度首先无法被解压为5个。

path, im, im0,svid_cap, s  = batch （错误源头）
。。。

• 因此我将其这么调整

self.batch = batch  # 保存当前批次
print(batch)  # 打印 batch 的内容
print(len(batch))  # 打印 batch 的长度
path, im, im0s = batch  # 从批次中提取路径、图像、原始图像、视频捕获和其他信息
path, im, im0s = batch  # 从批次中提取路径、图像、原始图像、视频捕获和其他信息
vid_cap, s = None, None  # 其他变量设为默认值

• 然而遇见了这个报错——expected np.ndarray (got list) 这里的im要求输入是图片而不是列表。

 # 预处理图像
with self.dt[0]:
    im = self.preprocess(im)  # 预处理图像
    if len(im.shape) == 3:  # 如果图像维度为3，则扩展批次维度
        im = im[None]  # 扩展为批次维度

• 于是我调整为

with self.dt[0]:
   im = self.preprocess(im[count-1])  # 预处理图像
   if len(im.shape) == 3:  # 如果图像维度为3，则扩展批次维度
       im = im[None]  # 扩展为批次维度
       im = im.permute(0, 3, 1, 2)  # 交换维度

• 有报错为’str’ object has no attribute ‘shape’

pred[:, :4] = ops.scale_boxes(img.shape[2:], pred[:, :4], shape).round()

• batch = iter(self.dataset) 这个到底有啥作用
• 报错KeyError(-1)，这里的字典没有-1索引？

if isinstance(self.vid_writer[-1], cv2.VideoWriter):
self.vid_writer[-1].release()  # 释放视频写入器

太晚了明天继续debug。