一、背景
基于强化学习的机械臂应用日趋广泛，摆脱了基于模型到达固定点的束缚。基于强化学习算法，机械臂可以完成拧魔方、推抓任务（Andy Zeng的经典论文），暂且想一下如果用传统方法完成此类复杂任务是何等困难。
强化学习作为一种试错的方式，在真实机械臂上进行训练不仅耗时，且会对环境或机器造成损坏，而在仿真环境中进行训练是一种可行的方式。MuJoCo作为当前主流的强化学习化境配置较为繁琐，这里简要记录下我的配置和使用过程。
二、MuJoCo安装
1.ubuntu18.04配置强化学习环境流程
（1）安装anaconda
官网下载anaconda脚本，进入脚本保存的目录，终端bash Anaconda3-2021.05-Linux-x86_64.sh
创建名为drl（自定义）的python3.6环境，并激活环境conda create -n drl python=3.6 anaconda
conda activate drl
启动anaconda命令：anaconda-navigator
（2）安装mujoco
官网下载mujoco200_linux.zip，在主目录下新建.mujoco文件夹，将mujoco200_linux.zip文件复制并解压到.mujoco文件夹，
解压后的文件不要使用mujoco200_linux这个名字，改为mujoco200
接着把下载好的密钥mjkey.txt分别复制到.mujoco和mujoco200/bin里
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mujoco200/bin
添加环境变量，这里我添加的条数比其他教程上的要多，是我经过反复试验比较才确定的这种添加最后才不会报错。
打开bashrc文本： gedit ~/.bashrc
在.bashrc文本里添加：
export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/dlut/.mujoco/mujoco200/bin
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
下面三条看情况添加，一般不用加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia
export PATH="$LD_LIBRARY_PATH:$PATH"
export LD_PRELOAD=/usr/lib/x86_64-linux-gnu/libGLEW.so
保存文件ctrl+s并退出文本，接着激活一下：source ~/.bashrc
测试mujoco200是否安装成功:
cd ~/.mujoco/mujoco2000/bin
./simulate ../model/humanoid.xml
提示：解压命令unzip mujoco200.zip
（3）安装mujoco-py
先用anaconda激活虚拟环境 conda activate spinningup
运行下面代码:
sudo apt update
sudo apt-get install patchelf
sudo apt-get install python3-dev build-essential libssl-dev libffi-dev libxml2-dev
sudo apt-get install libxslt1-dev zlib1g-dev libglew1.5 libglew-dev python3-pip
下载mujoco-py安装包，这里我们直接用git克隆过来
sudo apt install git
cd ~/.mujoco
git clone https://github.com/openai/mujoco-py
cd mujoco-py
pip install -r requirements.txt
pip install -r requirements.dev.txt
python setup.py install
重启电脑 reboot
进入环境并输入如下命令:
conda activate spinningup
sudo apt install libosmesa6-dev libgl1-mesa-glx libglfw3
在spinningup环境下 安装
pip install mujoco_py==2.0.2.8
###备选方案
pip3 install -U 'mujoco-py<2.1,>=2.0'
测试：
cd ~/.mujoco/mujoco-py/examples
python3 setting_state.py
至此，mujoco200和mujoco-py安装成功
（4）安装gym
0.进入anacondy虚拟环境 conda activate spinningup
1.git clone https://github.com/openai/gym.git
2.cd gym
3.sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
4.pip install -e .[all]
参考：https://zhuanlan.zhihu.com/p/472290066
三、在MuJoCo搭建自己的机械臂模型
在MuJoCo搭建自己的机械臂模型，其实就是将我们所常见的URDF文件转为xml文件，然后添加一些地板或其他环境信息，最后放入到.mujoco的model文件夹下即可。
1、xacro转urdf
因为ros的更新换代，许多机械臂的功能包不再提供urdf文件，而给的是xacro文件，因此第一步是将xacro转为urdf。
xacro转urdf时，xacro文件robot标签下添加
<mujoco>
<compiler
meshdir="../meshes_mujoco/" 其中../meshes_mujoco改为自己的mesh绝对文件夹路径，mesh文件夹需要和要转的xacro在同一个文件夹下
balanceinertia="true"
discardvisual="false" />
</mujoco>
运行命令：
rosrun xacro xacro --inorder m1n6s300_standalone.xacro > m1n6s300_standalone.urdf
注意：ubuntu18.04下--inorder可以省略，起到强转化作用。
报错：
resource not found: kinova_description
ROS path [0]=/opt/ros/melodic/share/ros
ROS path [1]=/opt/ros/melodic/share
解决方法：
网友：sudo cp -r ~/catkin_ws/src/mbot_description /opt/ros/melodic/share
将~/catkin_ws/src/mbot_description 修改为自己的路径 即：
sudo cp -r /home/qiucc/dual_ws/src/kinova_ros_melodic_devel/kinova_description /opt/ros/melodic/share
成功解决！
检查urdf文件：check_urdf model.urdf
在RViz中可视化：
roslaunch urdf_tutorial display.launch model:=path/to/your/urdf/file
2、urdf转xml
在确认URDF模型没有问题后，进入MuJoCo的可执行文件夹内执行命令进行转换（如默认的~/.mujoco/mujoco200/bin）：
执行命令：./compile /path/to/model.urdf /path/to/model.xml
即：
./compile /home/qiucc/dual_ws/src/kinova_ros_melodic_devel/kinova_description/urdf/m1n6s300_standalone.urdf /home/qiucc/dual_ws/src/kinova_ros_melodic_devel/kinova_description/urdf/m1n6s300_standalone.xml
若urdf转xml失败，报错为：
Error: Unknown mesh file type: base.dae
Object name = base, id = 0
解决方法：将urdf中的mesh标签中的后缀dae全部修改为stl，重新执行上述./compile命令
若报错：
Error: could not open STL file '/home/qiucc/dual_ws/src/kinova_ros_melodic_devel/kinova_description/urdf/base.stl'
Object name = base, id = 0
是因为没有在urdf加入mujoco的标签：
<mujoco>
<compiler
meshdir="../meshes_mujoco/" 其中../meshes_mujoco改为自己的mesh绝对文件夹路径，mesh文件夹需要和要转的xacro在同一个文件夹下
balanceinertia="true"
discardvisual="false" />
</mujoco>
转换成功后，将得到的model.xml复制到.mujoco/mujoco200/model文件夹下 （提示：若主文件夹下没有.mujoco，是因为.文件为隐藏文件，快捷键ctrl+h即可显示
3、使用mujoco物理引擎打开.xml文件步骤
进入~/.mujoco/mujoco200/bin
运行命令： ./simulate …/model/model.xml 提示：…是进入上一个文件夹，model.xml为需要打开的xml文件
或者 ./simulate 绝对路径/model.xml
4、注意事项
注意：在使用mujoco建模时，xml文件添加物体时，size的大小是实际大小的一半
例如，添加一个长0.6m，宽0.6m，高1.0m的箱子，则为：
<body name="desk" pos="0 0.6 -0.71" mocap="true">
<geom type="box" size="0.3 0.3 0.5" rgba="0 .9 0 .5" contype="2"/>
</body>
展示一下我的双臂模型
四、在MuJoCo修改机械臂的颜色
有时我们导入的机械臂模型是白色的，和真实机械臂外观差别很大，如下图所示，这里介绍修改机械臂颜色的方法。
修改的地方如下，参考Intelligent-kinova—panda—models—assets—robot—panda—kinova_all_joints.xml
