👨💻作者简介： CSDN、阿里云人工智能领域博客专家，新星计划计算机视觉导师，百度飞桨PPDE，专注大数据与AI知识分享。✨公众号：GoAI的学习小屋 ，免费分享书籍、简历、导图等，更有交流群分享宝藏资料，关注公众号回复“加群”或➡️点击链接 加群。
🎉专栏推荐： 点击访问➡️ 《计算机视觉》 总结目标检测、图像分类、分割OCR、等方向资料。 点击访问➡️ 《深入浅出OCR》: 对标全网最全OCR教程，含理论与实战总结。以上专栏内容丰富、价格便宜且长期更新，欢迎订阅，可加入上述交流群长期学习。
🎉学习者福利： 强烈推荐优秀AI学习网站，包括机器学习、深度学习等理论与实战教程，非常适合AI学习者。➡️网站链接。
🎉技术控福利： 程序员兼职社区招募！技术范围广，CV、NLP均可，要求有一定基础，最好是研究生及以上或有工作经验，也欢迎有能力本科大佬加入！群内Python、c++、Matlab等各类编程单应有尽有, 资源靠谱、费用自谈，有意向者直接访问➡️链接。
💚 专栏地址：深入浅出OCR
🍀 专栏导读：恭喜你发现宝藏！本专栏系列主要介绍计算机视觉OCR文字识别领域，每章将分别从OCR技术发展、方向、概念、算法、论文、数据集、对现有平台及未来发展方向等各种角度展开详细介绍，综合基础与实战知识。以下是本系列目录，分为前置篇、基础篇与进阶篇，进阶篇在基础篇基础上进行全面总结，会针对最经典论文及最新算法展开讲解，内容目前包括不限于文字检测、识别、表格分析等方向。 未来看情况更新NLP方向知识，本专栏目前主要面向深度学习及CV同学学习，希望大家能够多多交流，欢迎订阅本专栏，如有错误请大家评论区指正，如有侵权联系删除。
【智慧交通项目实战】 OCR车牌检测与识别项目实战（一）：项目总览
💚导读：本项目为新系列【智慧交通项目实战】《OCR车牌检测和识别》(一)，该系列将分为多篇文章展开分别对项目流程、数据集、检测、识别算法、可视化进行详细介绍，本篇为该系列第一篇，将着重介绍本次项目开源的CCPD车牌数据集，，用于本次车牌检测和识别模型算法开发，后续系列文章将陆续更新。
本系列项目目录，后续将更新对应文章：
1.智慧交通预测系统（PaddleOCR版本）
参考：https://blog.csdn.net/qq_36816848/article/details/128686227
2.OCR车牌检测+识别
本篇项目， 代码暂未公开，需要代码和指导可加群联系。
3.车辆检测
后续更新
1.项目背景：
车牌识别技术是智能交通的重要环节，目前已广泛应用于例如停车场、收费站等等交通设施中，提供高效便捷的车辆认证的服务，其中较为典型的应用场景为卡口系统。车牌识别即识别车牌上的文字信息，属于光学字符识别（OCR）的一项子任务。
项目流程：
1.基于YOLOv5的车牌检测
YOLOv5训练代码和测试代码（Pytorch）
- 整套YOLOv5项目工程，含训练代码train.py和测试代码demo.py
- 支持高精度版本yolov5s训练和测试
- 支持轻量化版本yolov5训练和测试
- 根据本篇博文说明，简单配置即可开始训练：train.py
- 源码包含了训练好的yolov5及其他模型，配置好环境，可直接运行demo.py
- 测试代码demo.py支持图片，视频和摄像头测试
2.基于CRNN和LPRNet的车牌识别
支持如下：
- 1.单行蓝牌
- 2.单行黄牌
- 3.新能源车牌
- 4.白色警用车牌
- 5.教练车牌
- 6.武警车牌
- 7.双层黄牌
- 8.双层白牌
- 9.使馆车牌
- 10.港澳粤Z牌
- 11.双层绿牌
- 12.民航车牌
2.车牌号码说明
绿牌和蓝牌区别如下：
颜色区别： 小型新能源车牌采用“渐变绿”的配色，大型新能源车牌采用“黄绿双拼色”，绿牌的字体颜色为黑色；而传统燃油车蓝牌则采用“纯蓝色”设计，字体颜色为白色；
号码编排：普通蓝牌共有7位字符；新能源车牌有8位字符；新能源绿牌的号码共有6位数，其中小型新能源汽车牌照的字母设计在第一位，大型新能源汽车牌照的字母设计在最后一位。其中车牌首字母为“D/A/B/C/E”的，代表“纯电动车”；首字母为“F/G/H/J/K”的，代表“非纯电动汽车”。而普通燃油车蓝牌的号码只有5位数，首字母或数字一般不代表任何含义，只有部分地区会给营运类车型划分特定字母。
以下为统计后本次车牌识别用到的字典文件：
省份：[“皖”, “沪”, “津”, “渝”, “冀”, “晋”, “蒙”, “辽”, “吉”, “黑”, “苏”, “浙”, “京”, “闽”, “赣”, “鲁”, “豫”, “鄂”, “湘”, “粤”, “桂”, “琼”, “川”, “贵”, “云”, “藏”, “陕”, “甘”, “青”, “宁”, “新”]
地市：[‘A’, ‘B’, ‘C’, ‘D’, ‘E’, ‘F’, ‘G’, ‘H’, ‘J’, ‘K’, ‘L’, ‘M’, ‘N’, ‘P’, ‘Q’, ‘R’, ‘S’, ‘T’, ‘U’, ‘V’, ‘W’,‘X’, ‘Y’, ‘Z’]
车牌字典：[‘A’, ‘B’, ‘C’, ‘D’, ‘E’, ‘F’, ‘G’, ‘H’, ‘J’, ‘K’, ‘L’, ‘M’, ‘N’, ‘P’, ‘Q’, ‘R’, ‘S’, ‘T’, ‘U’, ‘V’, ‘W’, ‘X’,‘Y’, ‘Z’, ‘0’, ‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’, ‘7’, ‘8’, ‘9’]
3.车牌数据集CCPD
（1）车牌数据集CCPD说明
CCPD (Chinese City Parking Dataset, ECCV)是中国城市车牌数据集，共有两个：
CCPD2019 : 主要是蓝牌数据，约34W,大小为12G左右；
CCPD2020 : 主要是新能源绿牌数据，约1万. 大小为800M左右；
CCPD官方原始数据集下载地址：https://github.com/detectRecog/CCPD
CCPD2019数据集包含将近30万张图片、图片尺寸为720x1160x3，共包含8种类型图片，每种类型、数量及类型说明如下表：
| 类型 | 图片数 | 说明 |
|---|---|---|
| ccpd_base | 199998 | 正常车牌 |
| ccpd_challenge | 10006 | 比较有挑战的车牌 |
| ccpd_db | 20001 | 光线较暗或较亮车牌 |
| ccpd_fn | 19999 | 距离摄像头较远或较近 |
| ccpd_np | 3036 | 没上牌的新车 |
| ccpd_rotate | 9998 | 水平倾斜20-50度，垂直倾斜-10-10度 |
| ccpd_tilt | 10000 | 水平倾斜15-45度，垂直倾斜-15-45度 |
| ccpd_weather | 9999 | 雨天、雪天或大雾的车牌 |
| 总共283037张车牌图像 |
CCPD2019车牌数据集拍摄的车牌照片的环境复杂多变，包括了倾斜、模糊、雨天、雪天等多个场景的数据，并且大部分图片有且仅含有一个车牌；由于采集人员主要在安徽省城市的停车场进行采集，*导致大部分数据都是含【皖】的车牌图片*，而其他省份的车牌比较少，而一些特殊车牌的数据就几乎没有，比如【挂使领民航危险品】这些车牌几乎没有。下表给出CCPD数据各个省份的车牌数据统计：
（2）车牌数据集CCPD标注格式
CCPD数据集没有专门的标注文件，每张图像的文件名就是对应的数据标注(label)。CCPD车牌数据集图片文件名包括车牌四个角点，车牌水平和垂直角度以及车牌号码等信息。
具体字段解释参考：
如图片【025-95_113-154&383_386&473-386&473_177&454_154&383_363&402-0_0_22_27_27_33_16-37-15.jpg】，其文件名的含义如下：
- 025：车牌区域占整个画面的比例；
- 95_113： 车牌水平和垂直角度, 水平95°, 竖直113°
- 154&383_386&473：标注框左上、右下坐标，左上(154, 383), 右下(386, 473)
- 86&473_177&454_154&383_363&402：标注框四个角点坐标，顺序为右下、左下、左上、右上
- 0_0_22_27_27_33_16：车牌号码映射关系如下: 第一个0为省份 对应省份字典provinces中的’皖’,；第二个0是该车所在地的地市一级代码，对应地市一级代码字典alphabets的’A’；后5位为字母和文字, 查看车牌号ads字典，如22为Y，27为3，33为9，16为S，最终车牌号码为皖AY339S
（3）车牌数据集CCPD可视化效果（Python）
通过解析图片的python脚本，调用parser_annotations(image_file)函数，即可返回标注信息，并可视化车牌标注的结果
代码需要用到pybaseutils工具，请使用pip安装即可：pip install pybaseutils
# -*-coding: utf-8 -*-
import os
import cv2
import numpy as np
from tqdm import tqdm
from pybaseutils import file_utils, image_utils
def get_plate_licenses(plate):
provinces = ["皖", "沪", "津", "渝", "冀", "晋", "蒙", "辽", "吉", "黑", "苏", "浙", "京", "闽", "赣", "鲁", "豫", "鄂", "湘", "粤",
"桂", "琼", "川", "贵", "云", "藏", "陕", "甘", "青", "宁", "新", "警", "学", "O"]
alphabets = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V',
'W', 'X', 'Y', 'Z', 'O']
ads = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X',
'Y', 'Z', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'O']
result = [provinces[int(plate[0])], alphabets[int(plate[1])]]
result += [ads[int(p)] for p in plate[2:]]
result = "".join(result)
# 新能源车牌的要求，如果不是新能源车牌可以删掉这个if
# if result[2] != 'D' and result[2] != 'F' \
# and result[-1] != 'D' and result[-1] != 'F':
# print(plate)
# print("Error label, Please check!")
print(plate, result)
return result
def parser_annotations(image_file):
"""
:param image_file: 图片路径
:return: 返回标注信息info
"""
filename = os.path.basename(image_file)
try:
annotations = filename.split("-")
rate = annotations[0] # 车牌区域占整个画面的比例；
angle = annotations[1].split("_") # 车牌水平和垂直角度, 水平95°, 竖直113°
box = annotations[2].replace("&", "_").split("_") # 标注框左上、右下坐标，左上(154, 383), 右下(386, 473)
point = annotations[3].replace("&", "_").split("_") # 标注框四个角点坐标，顺序为右下、左下、左上、右上
plate = annotations[4].split("_") # licenses 标注框四个角点坐标，顺序为右下、左下、左上、右上
plate = get_plate_licenses(plate)
box = [int(b) for b in box]
point = [int(b) for b in point]
point = np.asarray(point).reshape(-1, 2)
bboxes = [box]
angles = [angle]
points = [point]
plates = [plate]
labels = ["plate"] * len(bboxes)
except Exception as e:
bboxes = []
points = []
labels = []
plates = []
angles = []
info = {"filename": filename, "bboxes": bboxes, "points": points,
"labels": labels, "plates": plates, "angles": angles}
return info
def save_plate_licenses(image, bboxes, plates, out_dir, name=""):
crops = image_utils.get_bboxes_crop(image, bboxes)
for i in range(len(crops)):
label = plates[i]
# image_id = file_utils.get_time(format="p")
file = os.path.join(out_dir, "{}_{}_{:0=3d}.jpg".format(label, name, i))
file_utils.create_file_path(file)
cv2.imwrite(file, crops[i])
def converter_CCPD2voc(image_dir, vis=True):
"""
将CCPD数据集转换为VOC数据格式(xmin,ymin,xmax,ymax)
:param image_dir: BITVehicle数据集图片(*.jpg)根目录
:param annot_file: BITVehicle数据集标注文件VehicleInfo.mat
:param out_voc: 输出VOC格式数据集目录
:param vis: 是否可视化效果
"""
print("image_dir :{}".format(image_dir))
class_set = []
image_list = file_utils.get_images_list(image_dir)
for i, image_file in enumerate(tqdm(image_list)):
info = parser_annotations(image_file)
labels = info["labels"]
bboxes = info["bboxes"]
points = info["points"]
plates = info["plates"]
angles = info["angles"]
image_name = info["filename"]
print("i={},plates:{},angles(水平,垂直角度):{}".format(os.path.basename(image_file), plates, angles))
if len(labels) == 0:
continue
image_name = os.path.basename(image_name)
img_postfix = image_name.split(".")[-1]
image_id = image_name[:-len(img_postfix) - 1]
class_set = labels + class_set
class_set = list(set(class_set))
if not os.path.exists(image_file):
print("not exist:{}".format(image_file))
continue
image = cv2.imread(image_file)
if vis:
image = image_utils.draw_image_bboxes_text(image, bboxes, plates, color=(255, 0, 0), thickness=3,
fontScale=1.2, drawType="chinese")
# image = image_utils.draw_image_points_lines(image, points=points[0], line_color=(0, 0, 255))
image_utils.cv_show_image("det", image, use_rgb=False, delay=0)
print("class_set:{}".format(class_set))
if __name__ == "__main__":
image_dir = "./dataset/CCPD2020/ccpd_green/train"
converter_CCPD2voc(image_dir, vis=True)
文章参考 ：
https://aistudio.baidu.com/aistudio/projectdetail/4542547
https://blog.csdn.net/guyuealian/article/details/128704181
