自动驾驶算法———车道检测（一）

news2024/9/22 5:28:36

“ 

在本章中，我将指导您构建一个简单但有效的车道检测管道，并将其应用于Carla 模拟器中捕获的图像。管道将图像作为输入，并产生车道边界的数学模型作为输出。图像由行车记录仪（固定在车辆挡风玻璃后面的摄像头）捕获。车道边界模型是一个多项式

图片

在这里，x𝑥和𝑦y以米为单位。它们在道路上定义了一个坐标系，如图1所示。

管道由两个步骤组成

  • 使用神经网络，检测图像中车道边界的像素

  • 将车道边界像素与道路上的点关联起来，

    图片

        然后拟合多项式。

该方法的灵感来自参考文献[ GBN+19 ]中描述的“基线”方法，其性能接近最先进的车道检测方法。

”

图 1道路坐标系。该视角称为鸟瞰图。

01

—

图像基础

为了表示图像，我们使用形状为 (H,W,3) 的三维数组。我们称该数组有 H 行、W 列和 3 个颜色通道（红色、绿色和蓝色）。让我们用 Python 加载图像并查看一下！

import numpy as npimport matplotlib.pyplot as pltfrom pathlib import Pathimport cv2img_fn = str(Path("images/carla_scene.png"))img = cv2.imread(img_fn)# opencv (cv2) stores colors in the order blue, green, red, but we want red, green, blueimg = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)plt.imshow(img)plt.xlabel("$u$") # horizontal pixel coordinateplt.ylabel("$v$") # vertical pixel coordinate
print("(H,W,3)=",img.shape)
(H,W,3)= (512, 1024, 3)

让我们检查一下第 100 行和第 750 列的像素：

u,v = 750, 100img[v,u]
array([28, 59, 28], dtype=uint8)

这意味着 处的像素具有红色强度 28、绿色强度 59 和蓝色强度 28。因此，它是绿色的。如果我们看一下图像，这是有道理的，因为 处有一棵树。此外，上面的输出“ ”告诉我们红色、绿色和蓝色强度存储为 8 位无符号整数，即。因此，它们是 0 到 255 之间的整数。u,v = 750, 100u,v = 750, 100dtype=uint8uint8

下面的示意图总结了我们迄今为止学到的关于存储数字光栅图像的知识：

如果您的数字图像是由相机拍摄的，那么数字图像中的像素与相机图像传感器中的“传感器像素”之间存在直接对应关系。

图像传感器由二维光电传感器阵列组成。每个光电传感器通过光电效应将入射光转换为电能，然后通过模数转换器将其转换为数字信号。为了获得颜色信息，一个“传感器像素”被分成 2×2 的光电传感器网格，并在这 4 个光电传感器前面放置不同的颜色滤镜。一个光电传感器仅通过蓝色滤镜接收光，一个仅通过红色滤镜接收光，两个通过绿色滤镜接收光。将这 4 个测量值结合起来可得到一个颜色三重奏：。这就是所谓的拜耳滤镜。(red_intensity, green_intensity, blue_intensity)

针孔相机模型

想象一下将图像传感器放在物体前面。

图片

您将无法捕捉到如此清晰的图像，因为图像传感器上的某个点会受到整个环境光线的照射。现在想象一下将图像传感器放在一个带有非常小的针孔（也称为光圈）的盒子里。

图片

现在大部分光线都被挡住了，我们在图像传感器上得到了正确的图像。图像被上下翻转了，但这不应该困扰我们。在理想针孔的情况下，图像传感器上的每个点都只会被来自外部的一束光线击中。

理想针孔：一个很好的近似值

在现实世界中，孔的尺寸不能太小，因为进入盒子的光线不够。此外，我们还会遭受衍射的影响。孔也不能太大，因为来自不同角度的光线会照射到图像传感器上的同一点，图像会变得模糊。为了防止模糊，真实的相机中会安装镜头。我们将在本节讨论的针孔相机模型不包括镜头的影响。然而，事实证明，它非常接近带镜头的相机，也是相机的事实模型。因此，在下文中，我们可以继续将针孔视为理想的针孔。

下面的草图介绍了图像平面：

图片

图片

图片

图片

图片

图片

图片

图片

图片

图片

图片

图片

图片

图片

练习：将车道边界投影到图像

现在你应该开始做你的第一个练习了。对于这个练习，我为你准备了一些

数据。我使用安装在车辆上的相机传感器在 Carla 模拟器中捕捉到了一张

图片：

图片

图片

参考

  • HZ03

  • Richard Hartley 和 Andrew Zisserman。计算机视觉中的多

    视图几何。剑桥大学出版社，2003 年。

02

—

车道边界分割

对于车道检测流程，我们想要训练一个神经网络，该神经网络会获取一张图像，并估计每个像素属于左车道边界的概率、属于右车道边界的概率以及不属于任何车道边界的概率。这个问题称为语义分割。

先决

对于本节，我假设以下内容

  1. 你知道什么是神经网络，并且之前自己训练过一个

  2. 你知道语义分割的概念

如果你不满足先决条件 1，我建议你查看以下免费资源之一

  • CS231n：用于视觉识别的卷积神经网络

  • 对于这门优秀的斯坦福课程，你可以在网上找到所有的学习材料。课程笔记还没有完成，但确实存在的笔记非常好！请注意，当你点击详细课程大纲时，你可以看到所有讲座的幻灯片。你可能想使用2017 年的版本，因为其中包含讲座视频。但是，对于练习，你应该使用2020版本（与 2017 年非常相似），因为你可以在Google Colab中进行编程。Google Colab 让你可以在 Google 服务器上免费使用 GPU（深度学习所需的昂贵硬件）。即使你不想使用 Colab，2020 年的课程也有更好的本地工作说明（包括 anaconda）。对于你可以在 tensorflow 和 pytorch 之间选择的练习，我建议你使用 pytorch。如果你真的渴望尽快回到这门课程，你可以在了解语义分割后停止 CS231n。

  • 为程序员提供实用的深度学习

  • 如果您的背景更多的是编码而不是数学/科学，那么我推荐这门课程。您可以在这里找到视频讲座，在这里找到用 jupyter 笔记本编写的书（如果您喜欢，还有一个印刷版本）。我建议使用 Google Colab 进行练习。fastai 课程使用 fastai 库进行讲授，该库可帮助您使用很少的代码行来训练 pytorch 模型。即使您选择不研究 fastai 课程，我也建议您查看fastai 库，因为它使训练模型变得非常容易。也许先从阅读计算机视觉教程开始）。

关于先决条件 2 ，我推荐Jeremy Jordan 撰写的这篇关于语义分割的非常好的博客文章（主要基于 CS231n）。

最后，你需要有 GPU 才能进行练习。但拥有GPU 并不是先决条件。你可以使用Google Colab，它允许你在 Google 服务器上运行 Python 代码。要在 Colab 上访问 GPU，你应该点击“运行时”，然后点击“更改运行时类型”，最后选择“GPU”作为“硬件加速器”。有关如何使用 Colab 的更多详细信息，请参阅附录。

练习：训练神经网络进行车道边界

车道分割模型应将形状为 (512,1024,3) 的图像作为输入。这里，512 是图像高度，1024 是图像宽度，3 代表红、绿、蓝三个颜色通道。我们使用形状为 (512,1024) 的输入图像和相应的标签来训练模型，其中label[v,u]可以取值为 0、1 或 2，表示像素(𝑢,𝑣)是“无边界”、“左边界”还是“右边界”。

模型的输出应是output形状为 (512,1024,3) 的张量。

  • 这个数字output[v,u,0]给出了像素(𝑢,𝑣)不属于任何车道边界的一部分。

  • 这个数字output[v,u,1]给出了像素(𝑢,𝑣)是左车道边界的一部分。

  • 这个数字output[v,u,2]给出了像素(𝑢,𝑣)是右侧车道边界的一部分。

  • 收集训练

    我们可以使用 Carla 模拟器收集训练数据。我写了一个collect_data.py脚本

    请注意，从四个数据项（图像、车道边界、交通矩阵、标签图像）中，只有图像和标签图像对于训练我们的深度学习模型是必要的。

    所有数据均在“Town04”Carla 地图上收集，因为这是唯一一张有可用高速公路的地图（“Town06”的高速公路要么完全笔直，要么有 90 度转弯）。为简单起见，我们只为高速公路构建一个系统。因此，我们只使用地图中道路曲率较低的部分，不包括城市道路。

    地图的一部分被任意选为“验证区”。在此区域中创建的所有数据的文件名都添加了字符串“validation_set”。

    现在您需要将一些训练数据导入到您的机器上！我建议您下载我使用脚本为您创建的一些训练数据collect_data.py。但如果您真的想要，您也可以自己收集数据。

    推荐：下载数据

    只需继续打开中的启动代码code/exercises/lane_detection/lane_segmentation.ipynb即可。它将有一个 Python 实用函数，可为您下载数据。

    替代方案：自己生成数据

    • 存储来自相机传感器的图像

    • 存储从 Carla 高清地图获得的车道边界的世界坐标

    • 存储变换矩阵𝑇𝑐𝑤将世界坐标映射到相机参考系中的坐标

    • 存储标签图像，该图像是根据车道边界坐标和变换矩阵创建的，如上一节练习中所示

    • 在 Carla 地图上创建一辆车

    • 将 RGB 摄像头传感器安装到车辆上

    • 将车辆移动到不同的位置并

  • 模型

    为了创建和训练模型，您可以选择任何您喜欢的深度学习框架。

    如果你需要一些指导，我建议使用 fastai。你可以使用fastai 文档中的语义分割示例，根据手头的数据集稍微修改一下，它就可以正常工作了！如果你愿意，你可以得到一些提示：

    没有提示

    好的，没有提示。如果您遇到困难，请尝试查看“有限提示”或“详细提示”。

    基本提示高级提示

    存储你的模型

    您将需要训练好的模型来进行接下来的练习。因此，请将训练好的模型保存到磁盘。在 pytorch 中，您可以通过 执行此操作torch.save。对于 fastai，您可以执行torch.save(learn.model, './fastai_model.pth')

    可选：参与 kaggle 活动

    我为你准备的训练数据也可以在kaggle上找到。如果你愿意，你可以用 kaggle 笔记本在线创建你的模型。他们还提供免费的 GPU 访问。一旦你对你的解决方案感到满意，可以考虑在 kaggle 上发布你的笔记本。我很想看到它😃。

具体指引详见《https://thomasfermi.github.io/Algorithms-for-Automated-Driving/LaneDetection/Segmentation.html》

03

—

从像素转换米

图片

图片

图片

图片

图片

图片

import numpy as npimport matplotlib.pyplot as plt

从车道边界分割中，我们知道我们的语义分割模型将以摄像头图像作为输入，并返回output形状为 (H,W,3) 的张量。具体来说，像素prob_left = output[v,u,1](𝑢,𝑣)是左车道边界的一部分。我将output[v,u,1]神经网络为一些示例图像计算的张量保存在 npy 文件中。让我们来看看。

prob_left = np.load("../../data/prob_left.npy")plt.imshow(prob_left, cmap="gray")plt.xlabel("$u$");plt.ylabel("$v$");

图片

上图显示prob_left[v,u]了每个(u,v)。现在想象一下，(u,v,prob_left[v,u])我们不是使用三元组，而是使用三元组(x,y,prob_left(x,y))，其中(𝑥,𝑦)是道路上的坐标，如图19所示。如果我们有这些三元组，我们可以过滤所有较大的(x,y,prob_left[x,y])点prob_left[x,y]。我们将获得一个点列表(𝑥𝑖,𝑦𝑖)它们是左车道边界的一部分，我们可以使用这些点来拟合多项式𝑦𝑙(𝑥)！但从 到(u,v,prob_left[v,u])实际上(x,y,prob_left[x,y])并不难，因为你uv_to_roadXYZ_roadframe_iso8855在上一个练习中实现了该函数。此函数将(𝑢,𝑣)进入(𝑥,𝑦,𝑧)（注意𝑧=0对于道路像素）

这意味着我们可以开始编写一些代码来收集三元组(x,y,prob_left[x,y])

import syssys.path.append('../../code')from solutions.lane_detection.camera_geometry import CameraGeometrycg = CameraGeometry()
xyp = []for v in range(cg.image_height):    for u in range(cg.image_width):        X,Y,Z= cg.uv_to_roadXYZ_roadframe_iso8855(u,v)        xyp.append(np.array([X,Y,prob_left[v,u]]))xyp = np.array(xyp)

图片

x_arr, y_arr, p_arr = xyp[:,0], xyp[:,1], xyp[:,2]mask = p_arr > 0.3coeffs = np.polyfit(x_arr[mask], y_arr[mask], deg=3, w=p_arr[mask])polynomial = np.poly1d(coeffs)

让我们绘制多项式：​​​​​​​

x = np.arange(0,60,0.1)y = polynomial(x)plt.plot(x,y)plt.xlabel("x (m)"); plt.ylabel("y (m)"); plt.axis("equal");

图片

管道封装成一个

您现在已经了解了车道检测流程的两个步骤：车道边界分割和多项式拟合。为了便于将来使用，将整个流程封装到一个类中会很方便。在下面的练习中，您将实现这样一个LaneDetector类。现在，让我们看一下LaneDetector实际操作的示例解决方案。首先，我们加载一个图像​​​​​​​

import cv2img_fn = "images/carla_scene.png"img = cv2.imread(img_fn)img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)plt.imshow(img);

图片

现在我们导入该类LaneDetector并创建它的一个实例。为此，我们指定使用 pytorch 函数存储的模型的路径save。​​​​​​​

from solutions.lane_detection.lane_detector import LaneDetectormodel_path ="../../code/solutions/lane_detection/fastai_model.pth"ld = LaneDetector(model_path=model_path)

从现在开始，我们可以通过将任何图像（与训练集没有太大差别）传递给实例来获取车道边界多项式ld。

poly_left, poly_right = ld(img)

图片

Reference

https://thomasfermi.github.io/Algorithms-for-Automated-Driving/LaneDetection/InversePerspectiveMapping.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1911231.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

前端JS特效第26波：jQuery日期时间选择器插件

前端JS特效第26波：jQuery日期时间选择器插件

jQuery日期时间选择器插件&#xff0c;先来看看效果&#xff1a; 部分核心的代码如下&#xff1a; <!DOCTYPE html> <html> <head lang"zh-CN"> <meta charset"UTF-8"> <title>jQuery日期时间选择器插件 - PHP中文网</t…
阅读更多...
学生管理系统 | python

学生管理系统 | python

1. 题目描述 ****************************** 欢迎使用学生管理系统 ****************************** 1. 添加学生 2. 查看学生列表 3. 查看学生信息 4. 删除学生 5. 退出系统 1 请输入学生姓名: zhangsan 请输入学生学号: 10010 请输入学生班级: 3 请输入学生成…
阅读更多...
PolarisMesh源码系列——服务如何注册

PolarisMesh源码系列——服务如何注册

前话 PolarisMesh&#xff08;北极星&#xff09;是腾讯开源的服务治理平台&#xff0c;致力于解决分布式和微服务架构中的服务管理、流量管理、配置管理、故障容错和可观测性问题&#xff0c;针对不同的技术栈和环境提供服务治理的标准方案和最佳实践。 PolarisMesh 官网&am…
阅读更多...
前端面试题34（在移动应用中，通用的实时传输协议）

前端面试题34（在移动应用中，通用的实时传输协议）

在移动应用中&#xff0c;选择实时传输协议时通常会考虑几个关键因素&#xff1a;网络效率、功耗、实时性、跨平台兼容性以及数据类型&#xff08;如文本、图像、视频&#xff09;。以下是几种常用的实时传输协议及其在移动应用中的适用性&#xff1a; 1. WebSocket WebSocke…
阅读更多...
WIN32核心编程 - 动态链接库

WIN32核心编程 - 动态链接库

公开视频 -> 链接点击跳转公开课程博客首页 -> 链接点击跳转博客主页 目录 动态链接库 创建动态链接库 相关函数 遍历模块 导出未文档化 动态链接库 动态链接库&#xff08;DLL&#xff09; 动态链接库&#xff08;Dynamic-Link Library&#xff0c;简称DLL&#x…
阅读更多...
SpringBoot：SpringBoot中如何实现对Http接口进行监控

SpringBoot：SpringBoot中如何实现对Http接口进行监控

一、前言 Spring Boot Actuator是Spring Boot提供的一个模块&#xff0c;用于监控和管理Spring Boot应用程序的运行时信息。它提供了一组监控端点&#xff08;endpoints&#xff09;&#xff0c;用于获取应用程序的健康状态、性能指标、配置信息等&#xff0c;并支持通过 HTTP …
阅读更多...
JWT（Json Web Token）在.NET Core中的使用

JWT（Json Web Token）在.NET Core中的使用

登录成功时生成JWT字符串目录 JWT是什么&#xff1f; JWT的优点&#xff1a; JWT在.NET Core 中的使用 JWT是什么&#xff1f; JWT把登录信息&#xff08;也称作令牌&#xff09;保存在客户端为了防止客户端的数据造假&#xff0c;保存在客户端的令牌经过了签名处理&#xf…
阅读更多...
python3 ftplib乱码怎么解决

python3 ftplib乱码怎么解决

其实很简单。ftplib.FTP里面有个参数叫encoding。 如上图最后一行。所以在使用FTP时&#xff0c;主动指定编码格式即可。 ftp ftplib.FTP() ftp.encoding "utf-8" 再使用就可以了。
阅读更多...
gif压缩大小但不改变画质的最佳方法，7个gif压缩免费工具别错过！

gif压缩大小但不改变画质的最佳方法，7个gif压缩免费工具别错过！

你会不会也碰到过当你需要在自媒体平台上上传gif文件时&#xff0c;你会发现网页端最大限制为15MB&#xff0c;而手机端最大限制为5MB。那么如何在不不改变画质的同时压缩gif大小呢&#xff1f;如今&#xff0c;由于其特殊的动画以及快速传输的特点&#xff0c;gif文件已经成为…
阅读更多...
Kamailio-命令行指令kamctl与kamcmd

Kamailio-命令行指令kamctl与kamcmd

前文也有提到几种指令的用处&#xff0c;与web页面相比&#xff0c;它就是更原始、面向运维的&#xff0c;正常如果有管理页面也需要使用到&#xff1a; kamailio - SIP 服务器脚本kamdbctl - 创建和管理数据库的脚本&#xff0c;比如你使用MySQL作为其存储时就需要使用到这个…
阅读更多...
看完这些内幕 你还会夹娃娃吗？

看完这些内幕 你还会夹娃娃吗？

文&#xff5c;琥珀食酒社 作者 | 朱珀 听我一句劝 别再去抓娃娃了 因为你能抓多少 早已经被设计好了 只有娃娃机老板 才能爆赚80% 今天的这篇文章 来自粉丝阿凯的投稿 他不仅能让你创业避坑 还会告诉你 整个娃娃机行业的内幕 如此敢自揭行业内幕的老板 不是对这…
阅读更多...
短视频矩阵搭建，用云微客获客更方便

短视频矩阵搭建，用云微客获客更方便

你的同行都爆单了&#xff0c;你还在问什么是矩阵&#xff1f;让我来告诉你。短视频矩阵是短视频获客的一种全新玩法&#xff0c;是以品牌宣传、产品推广为核心的一个高端布局手段&#xff0c;也是非常省钱的一种方式。 1.0时代&#xff0c;一部手机一个账号&#xff1b;2.0时代…
阅读更多...
Flutter Inno Setup 打包 Windows 程序

Flutter Inno Setup 打包 Windows 程序

转载自&#xff1a;flutter桌面应用从开发配置到打包分发 - 掘金 (juejin.cn) 五.打包 1.创建 release 版本的应用 flutter build release 执行完成后&#xff0c; release包位置在项目的build->windows->runer文件夹中 2.应用程序分发 Windows 为 Windows 平台构建…
阅读更多...
卷积神经网络之ResNet50迁移学习

卷积神经网络之ResNet50迁移学习

数据准备 下载狗与狼分类数据集&#xff0c;数据来自ImageNet&#xff0c;每个分类有大约120张训练图像与30张验证图像。使用download接口下载数据集&#xff0c;并自动解压到当前目录。 全是小狗的图片 另一边全是狼的图片 加载数据集 狼狗数据集提取自ImageNet分类数据集&a…
阅读更多...
迈巴赫S480升级原厂车载冰箱夏天是不是很有作用

迈巴赫S480升级原厂车载冰箱夏天是不是很有作用

迈巴赫 S480 升级原厂车载冰箱主要有以下作用&#xff1a; 1. 保鲜功能&#xff1a;可以在行车途中保持食物和饮料的新鲜度&#xff0c;特别是在长途旅行或炎热天气下&#xff0c;能让您随时享用清凉的饮品和新鲜的食物。 2. 提升舒适性&#xff1a;随时能够提供冷饮或冷藏的…
阅读更多...
校园在校跑腿小程序源码系统 前后完全分离 带源代码包以及搭建教程

校园在校跑腿小程序源码系统 前后完全分离 带源代码包以及搭建教程

系统概述 随着移动互联网的飞速发展&#xff0c;校园生活也迎来了前所未有的便捷与高效。在校园内&#xff0c;学生们对于便捷服务的需求日益增长&#xff0c;从取快递、送餐到代买日常用品&#xff0c;各类跑腿服务逐渐成为校园生活的常态。为了满足这一市场需求&#xff0c;…
阅读更多...
下载Windows版本的pycharm

下载Windows版本的pycharm

Python环境搭建 第一步下载安装python 等待安装完成 验证python是否安装成功 Python开发工具安装部署 JetBrains: Essential tools for software developers and teams PyCharm: the Python IDE for data science and web development 下载社区版本的PyCharm 双击打开下载好的…
阅读更多...
靶场练习 手把手教你通关DC系列 DC1

靶场练习 手把手教你通关DC系列 DC1

DC1靶场通关教程 文章目录 DC1靶场通关教程前言一、信息收集1.主机存活2.端口收集3.网页信息收集4.目录收集4.1 Nikto4.2 Dirb 信息收集总结 二、漏洞发现与利用1. 发现2. 利用 三、FlagFlag1Flag2Flag3Flag4Flag5(提权) 前言 本次使用的kali机的IP地址为192.168.243.131 DC1的…
阅读更多...
25.无源蜂鸣器驱动设计

25.无源蜂鸣器驱动设计

相对于有源蜂鸣器&#xff0c;无源蜂鸣器的成本更低&#xff0c;声音频率可控。而有源蜂鸣器因其内部 自带振荡源&#xff0c;只要加上适当的直流电源即可发声&#xff0c;程序控制较为方便。 &#xff08;1&#xff09;设计定义&#xff1a;设计一个无源蜂鸣器的驱动程序&…
阅读更多...
电脑管理软件是什么？电脑管理软件能做什么？

电脑管理软件是什么？电脑管理软件能做什么？

电脑管理软件是一种专门设计用于管理和优化计算机系统的软件工具。它涵盖了多个方面&#xff0c;从系统维护、资源分配到安全防护&#xff0c;都有着广泛的应用。以下是对电脑管理软件及其功能的详细解析&#xff1a; 一、电脑管理软件的定义 电脑管理软件是一种管理类型的软…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023