every blog every motto: There’s only one corner of the universe you can be sure of improving, and that’s your own self.
https://blog.csdn.net/weixin_39190382?spm=1010.2135.3001.5343
0. 前言
异常检测库anomalib的使用
1. 前提
1.1 数据组织形式
说明： 分类时不需要mask
数据： https://github.com/openvinotoolkit/anomalib/releases/download/hazelnut_toy_dataset/hazelnut_toy.zip
1.2 安装
最新版的anomalib使用Python3.10
conda create -n anomalib_env python=3.10
conda activate anomalib_env
pip install anomalib
2. 分类任务
在异常检测过程中，可能存在异常图片无法获取的情况，所以分两种情况：
- 有正常图片和异常图片
- 只有正常图片
2.1 正常图片and异常图片
如下代码，使用Folder类，我们需要指定
- 数据集名称
- 数据集根目录
- 正常图片目录
- 异常图片目录
- 任务类型
至此，我们就生成了datamodule。
# Import the datamodule
from anomalib.data import Folder
# Create the datamodule
datamodule = Folder(
name="hazelnut_toy",
root="datasets/hazelnut_toy",
normal_dir="good",
abnormal_dir="crack",
task="classification",
)
# Setup the datamodule
datamodule.setup()
2.1.1 数据集
我们可以查看train,valid,test
i, train_data = next(enumerate(datamodule.train_dataloader()))
print(train_data.keys())
# dict_keys(['image_path', 'label', 'image'])
i, val_data = next(enumerate(datamodule.val_dataloader()))
print(val_data.keys())
# dict_keys(['image_path', 'label', 'image'])
i, test_data = next(enumerate(datamodule.test_dataloader()))
print(test_data.keys())
# dict_keys(['image_path', 'label', 'image'])
我们可以指定验证集和测试集的划分比例可划分模式
默认情况下正常图片为训练集，异常图片为测试集。
默认的验证集是从测试集进行划分的，默认划分比例为0.5
2.1.2 训练
说明： 训练完会进行测试
# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine
# Create the model and engine
model = Patchcore()
engine = Engine(task="classification")
# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)
2.2 只有正常图片
当只有正常图片时，有两种处理方式：
- 只进行训练
- 生成异常图片进行验证和测试
我们这里展示第二种方式
2.2.1 数据集
# Import the datamodule
from anomalib.data import Folder
from anomalib.data.utils import TestSplitMode
# Create the datamodule
datamodule = Folder(
name="hazelnut_toy",
root="datasets/hazelnut_toy",
normal_dir="good",
test_split_mode=TestSplitMode.SYNTHETIC,
task="classification",
)
# Setup the datamodule
datamodule.setup()
2.2.2 训练
这里训练和上述类似，
# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine
# Create the model and engine
model = Patchcore()
engine = Engine(task="classification")
# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)
3. 分割任务
3.1 正常图片and异常图片
3.1.1 数据集
假设我们有一个数据集，其中训练集只包含正常图像，测试集同时包含正常和异常图像。我们还对测试集中的异常图像进行了掩码处理。我们想要训练一个能够检测出测试集中异常区域的异常分割模型
# Import the datamodule
from anomalib.data import Folder
# Create the datamodule
datamodule = Folder(
name="hazelnut_toy",
root="datasets/hazelnut_toy",
normal_dir="good",
abnormal_dir="crack",
mask_dir="mask/crack",
normal_split_ratio=0.2,
)
# Setup the datamodule
datamodule.setup()
其中datasets和dataloader访问方式如下：
# Access the datasets
train_dataset = datamodule.train_data
val_dataset = datamodule.val_data
test_dataset = datamodule.test_data
# Access the dataloaders
train_dataloader = datamodule.train_dataloader()
val_dataloader = datamodule.val_dataloader()
test_dataloader = datamodule.test_dataloader()
3.1.2 训练
# Import the model and engine
from anomalib.models import Patchcore
from anomalib.engine import Engine
# Create the model and engine
model = Patchcore()
engine = Engine()
# Train a Patchcore model on the given datamodule
engine.train(datamodule=datamodule, model=model)
3.2 只有正常图片
和上述分类一样，当只有正常图片时，有两种处理方式：
- 只进行训练
- 生成异常图片进行验证和测试
我们依然展示的是第二种情况
# Import the datamodule
from anomalib.data import Folder
from anomalib.data.utils import TestSplitMode
# Create the datamodule
datamodule = Folder(
name="hazelnut_toy",
root="datasets/hazelnut_toy",
normal_dir="good",
test_split_mode=TestSplitMode.SYNTHETIC,
)
# Setup the datamodule
datamodule.setup()
训练和上述类似
参考
- https://anomalib.readthedocs.io/en/latest/markdown/guides/how_to/data/custom_data.html
