云计算任务调度的研究大多数以来仿真研究，现梳理一些做过的代码研究

结果无数次的排错，终于finish with code 0 了
这个代码以来的是比较老的TensorFlow版本，我们都知道TensorFlow1.x和TensorFlow2.x之间有很大差别，但其实，不同的1.x之间也有许多差异，可能就是版本的不同导致代码跑不了。
比如这个

AttributeError: module 'tensorflow.tools.api.generator.api.train' has no attribute 'Checkpoint'

是因为我用了TensorFlow1.8，而这个方法1.8里还没有，需要将TensorFlow升级到1.12版本。
再比如这个

AttributeError: module 'tensorflow._api.v1.random' has no attribute 'categorical'

这个是1和2的大版本差异导致，tensorflow._api.v1.random，这种代码的出现，一般就是为了在2值应用1的代码，但往往会有许多问题，如果我们的TensorFlow版本就是1的，那直接tf.categorical就行了。

所以，最好的还是去看看requirement的需求来安装TensorFlow版本，TensorFlow的版本安装切换也不复杂。不懂的可参考我之前写的文章TensorFlow与pytorch特定版本虚拟环境的安装

当然还有许多地方需要修改，如多线程带来的问题，完成一些基础的修改后就可以对深度强化学习的代码进行改进了。注意，这里的方法是基于policy gradient实现的，如果想用value-based方法，还要自行实现