基于边缘检测的图像旋转校正模型：

该模型首先使用边缘检测算法对图像进行边缘检测，然后找到边缘上的直线，并计算直线的角度。最后通过旋转图像来校正图像的角度。

import cv2
import numpy as np

# 加载图像
img = cv2.imread('skewed_image.jpg')

# 转换为灰度图像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 使用Canny算子查找边缘
edges = cv2.Canny(gray, 50, 150, apertureSize=3)

# 查找直线并计算旋转角度
lines = cv2.HoughLines(edges, 1, np.pi/180, 100)
angle = np.mean(lines[:, 0, 1]) * 180 / np.pi - 90

# 旋转图像进行校正
(rows, cols) = img.shape[:2]
center = (cols / 2, rows / 2)
M = cv2.getRotationMatrix2D(center, angle, 1.0)
result = cv2.warpAffine(img, M, (cols, rows), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)

# 显示图像
cv2.imshow('Original', img)
cv2.imshow('Corrected', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

基于Hough变换的图像旋转校正模型：

该模型基于Hough变换算法来检测图像中的直线，并计算直线角度，然后使用旋转矩阵将图像旋转到正确的角度。

import cv2
import numpy as np

# 加载图像
img = cv2.imread('skewed_image.jpg')

# 转换为灰度图像
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 使用Canny算子查找边缘
edges = cv2.Canny(gray, 50, 150, apertureSize=3)

# 进行Hough变换，查找直线
lines = cv2.HoughLines(edges, 1, np.pi/180, 200)

# 找到最长的线
max_len = 0
for line in lines:
    rho, theta = line[0]
    a = np.cos(theta)
    b = np.sin(theta)
    x0 = a * rho
    y0 = b * rho
    x1 = int(x0 + 1000 * (-b))
    y1 = int(y0 + 1000 * (a))
    x2 = int(x0 - 1000 * (-b))
    y2 = int(y0 - 1000 * (a))
    length = np.sqrt((x1 - x2)**2 + (y1 - y2)**2)
    if length > max_len:
        max_len = length
        longest_line = [x1, y1, x2, y2]

# 计算旋转角度
dx = longest_line[2] - longest_line[0]
dy = longest_line[3] - longest_line[1]
angle = np.degrees(np.arctan2(dy, dx))

# 进行旋转校正
rows, cols = img.shape[:2]
rotation_matrix = cv2.getRotationMatrix2D((cols/2, rows/2), angle, 1)
result = cv2.warpAffine(img, rotation_matrix, (cols, rows), flags=cv2.INTER_CUBIC)

# 显示图像
cv2.imshow('Original Image', img)
cv2.imshow('Rotated Image', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

基于模板匹配的图像旋转校正模型：

该模型使用图像的局部特征来找到最优旋转角度，其主要思想是通过旋转图像来将其与预定义的模板进行匹配，并找到最小的匹配差异度，从而确定最优旋转角度。

import cv2
import numpy as np

# 加载图像和模板
img = cv2.imread('skewed_image.jpg')
template = cv2.imread('template.jpg', 0)

# 计算模板的旋转矩阵
(h, w) = template.shape[:2]
center = (w // 2, h // 2)
M = cv2.getRotationMatrix2D(center, 45, 1.0)

# 旋转模板并计算SIFT特征点
template = cv2.warpAffine(template, M, (w, h))
sift = cv2.SIFT_create()
(kps, descs) = sift.detectAndCompute(template, None)

# 计算图像的SIFT特征点并进行匹配
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
(kps2, descs2) = sift.detectAndCompute(gray, None)
bf = cv2.BFMatcher()
matches = bf.match(descs, descs2)

# 找到最优旋转矩阵
matches = sorted(matches, key=lambda x:x.distance)
src_pts = np.float32([kps[m.queryIdx].pt for m in matches])
dst_pts = np.float32([kps2[m.trainIdx].pt for m in matches])
M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
theta = -np.degrees(np.arctan2(M[0, 1], M[0, 0]))

# 旋转图像进行校正
(rows, cols) = img.shape[:2]
center = (cols / 2, rows / 2)
M = cv2.getRotationMatrix2D(center, theta, 1.0)
result = cv2.warpAffine(img, M, (cols, rows), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)

# 显示图像
cv2.imshow('Original', img)
cv2.imshow('Corrected', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

基于特征点匹配的图像旋转校正模型：

该模型首先使用特征点检测算法来检测图像中的关键点，并计算其描述子。然后，通过计算两个图像的特征点之间的距离和实现旋转角度的估计和校正。

import cv2
import numpy as np

# 加载图像
img = cv2.imread('skewed_image.jpg')

# 使用SIFT特征点检测算法检测图像的关键点
sift = cv2.SIFT_create()
kp1, des1 = sift.detectAndCompute(img,None)

# 旋转图像并使用同样的方法检测关键点
[h, w] = img.shape[:2]
M = cv2.getRotationMatrix2D((w/2,h/2),45,1.0)
img_rot = cv2.warpAffine(img,M,(w,h))
kp2, des2 = sift.detectAndCompute(img_rot,None)

# 匹配关键点并计算旋转角度
bf = cv2.BFMatcher()
matches = bf.knnMatch(des1, des2, k=2)
good = []
for m, n in matches:
    if m.distance < 0.5 * n.distance:
        good.append(m)
src_pts = np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2)
dst_pts = np.float32([kp2[m.trainIdx.pt for m in good]).reshape(-1, 1, 2)
M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
theta = -np.degrees(np.arctan2(M[0, 1], M[0, 0]))

#旋转图像进行校正
(rows, cols) = img.shape[:2]
center = (cols / 2, rows / 2)
M = cv2.getRotationMatrix2D(center, theta, 1.0)
result = cv2.warpAffine(img, M, (cols, rows), flags=cv2.INTER_CUBIC, borderMode=cv2.BORDER_REPLICATE)

#显示图像
cv2.imshow('Original', img)
cv2.imshow('Corrected', result)
cv2.waitKey(0)
cv2.destroyAllWindows()

以上两种方法的实现示例，使用OpenCV中的函数和库实现。其中基于模板匹配的方法旋转图像到与模板最佳匹配的角度，而基于特征点匹配的方法检测图像和旋转后的图像之间的关键点差异，并估计出最佳的旋转角度进行校正。这两个方法都可以在一定程度上对图像进行旋转校正，但需要注意的是，如果图像中的旋转角度过大或存在严重的非线性扭曲，则可能会降低这两种方法的效果。因此，在选择适当的图像旋转校正方法时，应考虑到具体应用场景，以及旋转程度和所需校正的精度等因素。
上述四种模型都可以用于图像旋转校正，但它们的优点和缺点各不相同，需要根据具体应用场景选择合适的模型。

https://www.python.org/downloads/windows/

ddddocr作者的旋转验证码识别模型Rotate-Captcha-Crack

Rotate-Captcha-Crack

https://github.com/Starry-OvO/rotate-captcha-crack

中文 | English

CNN预测图片旋转角度，可用于破解百度旋转验证码

测试效果：

本仓库实现了三类模型：

名称	Backbone	损失函数	跨域测试误差（越小越好）	大小（MB）
RotNet	ResNet50	交叉熵	1.1548°	92.7
RotNetR	RegNetY 3.2GFLOPs	交叉熵	1.2825°	69.8
RCCNet_v0_5	RegNetY 3.2GFLOPs	MSE+余弦修正	42.7774°	68.7

RotNet为d4nst/RotNet的PyTorch实现。RotNetR仅在RotNet的基础上替换了backbone，并将分类数减少至180。其在谷歌街景数据集上训练64个epoch（耗时2小时）得到的平均预测误差为1.2825°。目前RCCNet_v0_5效果较差，推荐使用RotNetR

跨域测试使用谷歌街景/Landscape-Dataset作为训练集，百度验证码作为测试集（特别鸣谢@xiangbei1997）

演示用到的百度验证码图片来自RotateCaptchaBreak

体验已有模型

准备环境

• 支持CUDA10+的GPU（如需训练则显存还需要不少于4G）

• 确保你的Python版本>=3.8 <3.11

• 确保你的PyTorch版本>=1.11

• 拉取代码并安装依赖库

git clone --depth=1 https://github.com/Starry-OvO/rotate-captcha-crack.git
cd ./rotate-captcha-crack
pip install .

注意不要漏了install后面那个.

• 或者，使用虚拟环境

git clone --depth=1 https://github.com/Starry-OvO/rotate-captcha-crack.git
python -m venv ./rotate-captcha-crack --system-site-packages
cd ./rotate-captcha-crack
# 根据你的Shell类型挑选一个合适的脚本激活虚拟环境 例如./Script/Active.ps1
python -m pip install -U pip
pip install .

下载预训练模型

下载Release中的压缩包并解压到./models文件夹下

文件目录结构类似./models/RCCNet_v0_5/230228_20_07_25_000/best.pth

本项目仍处于beta阶段，模型名称会频繁发生变更，因此出现任何FileNotFoundError请先尝试用git回退到对应的tag

输入一个验证码图像并查看旋转效果

如果你的系统没有GUI，尝试把debug方法从显示图像改成保存图像

python test_captcha.py

使用http服务端

• 安装额外依赖

pip install aiohttp httpx[cli]

• 运行服务端

python server.py

• 另开一命令行窗口发送图像

 httpx -m POST http://127.0.0.1:4396 -f img ./test.jpg

训练新模型

准备数据集

• 我这里直接扒的谷歌街景和Landscape-Dataset，你也可以自己收集一些风景照并放到一个文件夹里，图像没有尺寸要求

• 在train.py里配置dataset_root变量指向装有图片的文件夹

• 不需要手动标注，dataset会在读取图片的同时自动完成矩形裁剪、缩放旋转等工作

训练

python train_RotNetR.py

在测试集上验证模型

python test_RotNetR.py

相关文章

吾爱破解 - 简单聊聊旋转验证码攻防