Carla与Ros联合仿真教学与踩坑经历

前言

本人需要用到carla进行仿真，做实验，研究了这个平台几个月。
需要注意的是，本人没有保留所有的ros包，而是选择一些进行使用，其他大家可以进行扩展。

carla0.9.5版本和carla0.9.11版本对比

carla-0.9.5的优点：

（1）内存小，显卡要求不高，友好运行。

（2）代码框架友好，足以进行传统规划算法的学习使用。

（3）适合入门。

carla-0.9.5的缺点：

（1）传感器不齐全。

（2）ros-bridge不可以在carla绘制Marker。

（3）ros-bridge不能订阅traffic light等道路信息

（4）ros-bridge只支持ROS1

carla-0.9.11的优点：

（1）ros-bridge可扩展到多智能体，carla_ad_agent（在目前的开发中此包被本人删除）

（2）ros-bridge可以订阅traffic light等道路信息

（3）ros-bridge可以在carla绘制Marker

（4）ros-bridge可以扩展到ROS2

（5）传感器更加齐全

carla-0.9.11的缺点：

（1）较长时间运行，leaderboard 会崩溃，暂未找到原因… 随机发生

4.26.2-0+++UE4+Release-4.26 522 0
Disabling core dumps.
Signal 11 caught.
Malloc Size=65538 LargeMemoryPoolOffset=65554 
CommonUnixCrashHandler: Signal=11
Malloc Size=131160 LargeMemoryPoolOffset=196744 
Malloc Size=131160 LargeMemoryPoolOffset=327928 
Engine crash handling finished; re-raising signal 11 for the default handler. Good bye.
Segmentation fault (core dumped)

（2）内存大于0.9.5版本，显卡要求更高。

（3）bug更多，比如自己写的放置车的位置的代码在0.9.5版本可以，在0.9.11版本会有偏移。

（4）ros联合关闭rviz时，CarlaUE4容易挂掉。

学习建议

（1）如果只学习使用路径规划和控制算法，而且电脑配置较差的，建议大家使用carla-0.9.5版本，此版本bug少。

（2）如果想学习感知融合，定位融合等其他内容，建议使用carla-0.9.11及以上的版本，因为传感器齐全，但此版本bug较多。

（3）不要用carla的0.9.6，0.9.7，0.9.8，0.9.9版本，有TF的bug。

carla联合ros开发-0.9.5版本

carla-0.9.5源码：

https://github.com/carla-simulator/carla/tree/0.9.5

下载完解压，给整个文件夹赋权限

sudo chmod -R 777 文件夹

单独carla的代码测试

安装环境

pip install pygame numpy future networkx scikit-learn
pip install networkx
sudo apt-get install -y libomp5
sudo apt-get install jstest-gtk

本人使用的是python3.8

配置环境与测试

首先在~/.bashrc添加：

export PYTHONPATH=$PYTHONPATH:/opt/carla-0.9.5/PythonAPI/carla/dist/carla-0.9.5-py3.5-linux-x86_64.egg

export PYTHONPATH=$PYTHONPATH:/opt/carla-0.9.5/PythonAPI/egg/carla-0.9.5-py3.5-linux-x86_64.egg:/opt/carla-0.9.5/PythonAPI/agents

然后：

source ~/.bashrc

测试一下：
python -c 'import carla; print("Success")'

运行carla：

./CarlaUE4.sh # 电脑配置可以
./CarlaUE4.sh -prefernvidia -quality-level=Low -benchmark -fps=15  # 电脑配置可以

-prefernvidia：使用NVIDIA显卡启动

-quality-level=Low：调低渲染水平

-benchmark -fps=15：引擎以1/15秒的固定时间逐步运行

配置选项可用：

carla-rpc-port=N：侦听端口 N 处的客户端连接。默认情况下，流式端口 Streaming port 设置为 N+1；
carla-streaming-port=N：指定用于传感器数据流的端口。 使用 0 获取随机未使用的端口。 第二个端口将自动设置为 N + 1；
quality-level={Low,Epic}：更改图形质量级别；
-carla-server：让 carla以服务的方式运行；
-benchmark -fps=15：引擎以1/15秒的固定时间逐步运行；
-windowed -ResX=800 -ResY=600：屏幕窗口大小；

测试py脚本：

python PythonAPI/examples/spawn_npc.py -n 30
python PythonAPI/examples/manual_control.py  
python PythonAPI/examples/automatic_control.py
python PythonAPI/examples/dynamic_weather.py -s 5   

-s 5意思是把天气变化加速了5倍。

注意，使用vscode打开文件夹的时候，有些py文件运行会出现找不到目录的问题，可以通过以下指令，来修改import目录：

import sys
import os
sys.path.append(os.path.join(os.path.dirname(__file__), '../'))

ros-bridge(0.9.5.1版本)

源码下载：https://github.com/carla-simulator/ros-bridge/tree/0.9.5.1

下载完解压。

安装依赖环境

sudo apt-get install python-protobuf
sudo apt install ros-noetic-ackermann-msgs
sudo apt install ros-noetic-derived-object-msgs
sudo apt install ros-noetic-vision-msgs

(base) pip install pyyaml
(base) pip install simple_pid
(base) pip3 install pycryptodomex

编译

py不用编译:

1.catkin build carla_msgs t4ac_msgs
2.catkin build

运行

窗口运行carla：

./CarlaUE4.sh -windowed -ResX=640 -ResY=480 -quality-level=Low -fps=15

再加些车辆

python PythonAPI/examples/spawn_npc.py -n 30

测试

source ./devel/setup.bash
roslaunch carla_ros_bridge carla_ros_bridge_with_example_ego_vehicle.launch
（注意：此launch文件在本人开发的工程中被本人修改）

运行指令后，再加载rviz，可以看到自主车的Marker，还有其他车辆的Marker，还有图像等等。还可以通过rostopic list查看发布和订阅的话题。

具体参考：https://github.com/carla-simulator/ros-bridge/tree/0.9.5.1

本人针对carla-0.9.5实现的ros联合仿真过程

注意：carla版本和ros版本要对应，不然运行不了

1.将ros-bridge的python2内容修改为python3

这个简单，一开始python3运行报错的地方，有两个，修改方案为：

（1）has_key函数改为in

（2） items()替换iteritems()

2.修改源代码

本人对源代码进行修改，除了一些小Bug，主要有以几点：

（1）只保留以下几个ros包和协议，本人将carla_msgs移动到自己的msgs文件夹。本人在0.9.5版本将carla_waypoint_publisher整合到了carla_ego_vehicle.py。而0.9.11版本则保留carla_waypoint_publisher，具体见0.9.11版本的介绍。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uqX0mXrF-1688824666285)(/home/cg/.config/Typora/typora-user-images/image-20230122094733881.png)]

（2）新建文件夹my_py，主要是写了三个脚本

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U6pMZm1w-1688824666286)(/home/cg/.config/Typora/typora-user-images/image-20230122094831393.png)]

作用分别是：更改地图，销毁actor，放置静态车辆作为静态障碍物。

（3）修改ros-bridge/carla_ego_vehicle/src/carla_ego_vehicle/carla_ego_vehicle.py的源代码，主要修改以下内容：

a.修改起点发布的话题，"/carla/{}/initialpose".format(self.role_name)修改为"/initialpose"
b.增加监视器spectator
c.增加终点订阅，还有全局规划导航点的获取和显示

（4）修改launch文件，修改了ros-bridge/carla_ros_bridge/launch/carla_ros_bridge_with_ego_vehicle.launch的里面的launch文件，删除了ros-bridge工程中多余的测试launch文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NfbTpuGO-1688824666287)(/home/cg/.config/Typora/typora-user-images/image-20230122095909798.png)]

3.创建带有各种传感器的ego

在ros-bridge/carla_ego_vehicle/config/sensors.json里面添加需要的传感器及其放置位置：

{
    "sensors": [
        {
            "type": "sensor.camera.rgb",
            "id": "front",
            "x": 2.0, "y": 0.0, "z": 2.0, "roll": 0.0, "pitch": 0.0, "yaw": 0.0,
            "width": 800,
            "height": 600,
            "fov": 100
        },
        {
            "type": "sensor.camera.rgb",
            "id": "view",
            "x": -4.5, "y": 0.0, "z": 2.8, "roll": 0.0, "pitch": -20.0, "yaw": 0.0,
            "width": 800,
            "height": 600,
            "fov": 100
        },
        {
            "type": "sensor.camera.depth",
            "id": "view",
            "x": -4.5, "y": 0.0, "z": 2.8, "roll": 0.0, "pitch": -20.0, "yaw": 0.0,
            "width": 800,
            "height": 600,
            "fov": 100
        },
        {
            "type": "sensor.camera.semantic_segmentation",
            "id": "view",
            "x": -4.5, "y": 0.0, "z": 2.8, "roll": 0.0, "pitch": -20.0, "yaw": 0.0,
            "width": 800,
            "height": 600,
            "fov": 100
        },
        {
            "type": "sensor.lidar.ray_cast",
            "id": "lidar1",
            "x": 0.0, "y": 0.0, "z": 2.4, "roll": 0.0, "pitch": 0.0, "yaw": 0.0,
            "range": 5000,
            "channels": 32,
            "points_per_second": 320000,
            "upper_fov": 2.0,
            "lower_fov": -26.8,
            "rotation_frequency": 20
        },
        {
            "type": "sensor.other.gnss",
            "id": "gnss1",
            "x": 1.0, "y": 0.0, "z": 2.0
        },
        {
            "type": "sensor.other.collision",
            "id": "collision1",
            "x": 0.0, "y": 0.0, "z": 0.0
        },
        {
            "type": "sensor.other.lane_invasion",
            "id": "laneinvasion1",
            "x": 0.0, "y": 0.0, "z": 0.0
        }
    ]
}

运行

python PythonAPI/examples/spawn_npc.py -n 30 # 先添加一些车，可选
roslaunch carla_ros_bridge carla_ros_bridge_with_ego_vehicle.launch

carla_ros_bridge_with_ego_vehicle.launch会加载carla_ego_vehicle.py，创建带有配置传感器的自主车。

可以测试ros发布控制车的命令：

rostopic pub /carla/ego_vehicle/vehicle_control_cmd carla_msgs/CarlaEgoVehicleControl "{throttle: 0.3, steer: 0.0}" -r 10 # ego_vehicle改成自己的role_name

本人将不使用carla_manual_control的launch，因为本人电脑太卡。然后修改carla_ego_vehicle.py内容，这样直接运行carla_ros_bridge_with_ego_vehicle.launch就可以加载出rviz和俯视界面，实现很好的联合仿真。

注意：

1. 本人因为强迫症，把没有用的工程包和文件都删除，只保留别人开源的license，尊重别人的代码
2. 一开始加载rviz后，需要重新定义车的起点
3. 车已经到达终点后需要重新定义起点和终点
4. 车达到终点之前不能再定义起点和终点

4.添加opendrive地图显示

  <!-- 加载carla的opendrive地图 -->
  <include file="$(find t4ac_map_monitor_ros)/launch/mapping.launch">
 	 <arg name="map_name" value="$(arg map_name)"/>
  </include>

具体参考开源：https://github.com/AlejandroDiazD/opendrive-mapping-planning

5.跟局部规划算法进行结合

要实现跟我们在ros仿真里面写好的算法框架进行联合，主要更改以下几点：

（1）更改获取导航点的方式

原来我们的地图路径点是手动设置的，要改为订阅carla发布的导航点，carla主要使用以下函数进行导航点的获取：

def calculate_route(self, goal):
        """
        Calculate a route from the current location to 'goal'
        """
        dao = GlobalRoutePlannerDAO(self.world.get_map())
        grp = GlobalRoutePlanner(dao)
        grp.setup()
        route = grp.trace_route(self.player.get_location(),
                                carla.Location(goal.location.x,
                                               goal.location.y,
                                               goal.location.z))
        return route

导航点的获取代码写在carla_ego_vehicle.py，只要定义起点和终点，就可以返回导航点。

（2）更改获取里程计的方式

这个只需要更改订阅的消息类型就可以

由“odom”改为"/carla/" + role_name + "/odometry "。

（3）关闭ros单独仿真时特定的消息类型

比如原来的地图路线显示，应该选择关闭。

（4）更改障碍物的订阅内容

因为carla的障碍物发布的消息类型跟之前不一样，所以我们必须根据carla发布的障碍物消息类型进行订阅函数的修改，以获取相应的障碍物信息。

（5）增加一些订阅内容（等carla升级后再考虑）

如果carla升级，规划算法可以进一步考虑交通灯，斑马线等道路规则，通过订阅这些信息，来完善规划

（6）更改控制的发布方式

控制的发布话题和消息类型跟之前不同，更改即可。

6.carla-ros-bridge-0.9.5版本的坑

（1）控制指令的坑

我也不清楚，我使用"/carla/" + role_name + “/vehicle_control_cmd “进行控制，车跑着跑着会偏离，而且坐标系是反过来了，也就是说我们原本方向盘向左边打为正，右边为负，变成右边打为正，左边为负，于是，我改成了”/carla/” + role_name + "/ackermann_cmd"进行控制，车就不会偏离。这两个话题的差别在于：

/carla/" + role_name + "/vehicle_control_cmd：发送的是油门（不等同于速度）和转角，左手坐标系

/carla/" + role_name + "/ackermann_cmd：发送速度，和转角弧度，右手坐标系，同时可以发送控制加速度的指令，对目标使用PID进行跟踪。

（2）弯道的坑

目标无法开90度弯道，轨迹规划没有问题，单纯的ros仿真也没有问题，具体原因应该是出在控制方法和参数配置，目前还没有解决。

（3）自主车的role_name只能选择hero和ego_vehicle，但是两者在ros仿真下的自主车跟踪效果不一样。

7.编译运行与使用方法

请参考视频内容。

常见报错

1.trying to create rpc server for traffic manager； but the system failed to cr

netstat -tnlp | grep :8000
kill -9 pid

2.INTEL-MESA: warning: Performance support disabled, consider sysctl dev.i915.perf_stream_paranoid=0

sudo sysctl dev.i915.perf_stream_paranoid=0

3.报错：

X Error of failed request: BadDrawable (invalid Pixmap or Window parameter)
Major opcode of failed request: 149 ()
Minor opcode of failed request: 4
Resource id in failed request: 0x4600041
Serial number of failed request: 388
Current serial number in output stream: 399
terminating with uncaught exception of type std::__1::system_error: mutex lock failed: Invalid argument
Signal 6 caught.
Segmentation fault (core dumped)

./CarlaUE4.sh -prefernvidia

效果

需要代码的可以私信