前言
进化策略 (Evolution Strategy) 后面都简称 ES，其本质就是：种群通过交叉产生后代，我们只保留较好的父代和子代，一直这样迭代下去，
我们的保留方式是：
父代产生后代，然后将后代DNA和原来的父母DNA合并，然后根据适应度排序，
然后选取前POP_SIZE的个体，重新组成一个种群
相关文章：
微生物进化算法（MGA）
遗传算法
前两个文章都是以长度大于1的列表当作DNA序列，
本次我们用实数来代替，即DNA就是一个实数，长度为1
遗传算法（GA）和进化策略（ES）的区别：
- 选好父母进行繁殖 (GA); 先繁殖, 选好的孩子 (ES)
- 通常用二进制编码 DNA (GA); 通常 DNA 就是实数, 比如 1.221 (ES)
- 通过随机让 1 变成 0 这样变异 DNA (GA); 通过
正态分布(Normal distribution)变异 DNA (ES)
传统的 GA 的 DNA 形式是这样:
DNA=11010010
而传统的 ES DNA 形式分两种, 它有两条 DNA. 一个 DNA 是控制数值的, 第二个 DNA 是控制这个数值的变异强度. 比如一个问题有4个变量. 那一个 DNA 中就有4个位置存放这4个变量的值 第二个 DNA 中就存放4个变量的变动幅度值.
DNA1=1.23, -0.13, 2.35, 112.5 可以理解为4个正态分布的4个平均值.
DNA2=0.1, 2.44, 5.112, 2.144 可以理解为4个正态分布的4个标准差.
所以这两条 DNA 都需要被 crossover（交叉） 和 mutate（变异）.
示例
本次以寻找曲线最大值为例
首先我们需要通过种群产生后代
首先的 make_kid 功能. 我们随机找到一对父母, 然后将父母的 DNA 和 mut_strength 基因都 crossover 给 kid. 然后再根据 mut_strength mutate 一下 kid 的 DNA. 也就是用正态分布抽一个 DNA sample. 而且 mut_strength 也能变异. 将变异强度变异以后, 他就能在快收敛的时候很自觉的逐渐减小变异强度, 方便收敛.
def make_kid(pop, n_kid):
"""
生成孩子
:param pop:
:param n_kid:
:return:
"""
# DNA
kids = {'DNA': np.empty((n_kid, DNA_SIZE))}
# 变异强度
kids['mut_strength'] = np.empty_like(kids['DNA'])
for kv, ks in zip(kids['DNA'], kids['mut_strength']):
# 随机从种群选取两个个体，一个父亲DNA，一个母亲DNA
p1, p2 = np.random.choice(np.arange(POP_SIZE), size=2, replace=False)
# 生成要变异的结点
cp = np.random.randint(0, 2, DNA_SIZE, dtype=np.bool_) # crossover points
# 将父DNA和母DNA交叉生成子DNA
kv[cp] = pop['DNA'][p1, cp]
kv[~cp] = pop['DNA'][p2, ~cp]
# 将父变异强度序列和母变异强度序列交叉生成子变异强度序列
ks[cp] = pop['mut_strength'][p1, cp]
ks[~cp] = pop['mut_strength'][p2, ~cp]
# 将变异强度也产生一定的变异
ks[:] = np.maximum(ks + (np.random.rand(*ks.shape)-0.5), 0.) # 实现将变异强度限制在非负数范围内
# 根据正态分布变异 mutate (change DNA based on normal distribution)
kv += ks * np.random.randn(*kv.shape) # 用于生成符合标准正态分布（均值为0，方差为1）的随机数,形状和kv的一样
# 将数组中的元素限制在一个指定的范围内 它将数组中小于指定最小值的元素替换为最小值，将大于指定最大值的元素替换为最大值
kv[:] = np.clip(kv, *DNA_BOUND) # clip the mutated value
return kids
之后我们将产生的后代和原来的种群合并，然后筛选重新组成一个种群
def kill_bad(pop, kids):
"""
将孩子DNA和原来的父母DNA合并，然后根据适应度排序，
然后选取前POP_SIZE的个体，重新组成一个种群
:param pop:
:param kids:
:return:
"""
# put pop and kids together
#将孩子DNA和原来的父母DNA合并
for key in ['DNA', 'mut_strength']:
pop[key] = np.vstack((pop[key], kids[key]))
# 获取适应度
fitness = get_fitness(F(pop['DNA'])) # calculate global fitness
# 然后根据适应度排序，然后选取前POP_SIZE的个体，重新组成一个种群
idx = np.arange(pop['DNA'].shape[0])
good_idx = idx[fitness.argsort()][-POP_SIZE:] # selected by fitness ranking (not value)
for key in ['DNA', 'mut_strength']:
pop[key] = pop[key][good_idx]
return pop
完整代码如下：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt
DNA_SIZE = 1 # DNA (real number) DNA大小
DNA_BOUND = [0, 5] # solution upper and lower bounds
N_GENERATIONS = 200
POP_SIZE = 100 # population size
N_KID = 50 # n kids per generation
def F(x): return np.sin(10*x)*x + np.cos(2*x)*x # to find the maximum of this function
def get_fitness(pred):
"""
返回适应度
:param pred:
:return:
"""
return pred.flatten() #将多维数组压平为一维数组。
def make_kid(pop, n_kid):
"""
生成孩子
:param pop:
:param n_kid:
:return:
"""
# DNA
kids = {'DNA': np.empty((n_kid, DNA_SIZE))}
# 变异强度
kids['mut_strength'] = np.empty_like(kids['DNA'])
for kv, ks in zip(kids['DNA'], kids['mut_strength']):
# 随机从种群选取两个个体，一个父亲DNA，一个母亲DNA
p1, p2 = np.random.choice(np.arange(POP_SIZE), size=2, replace=False)
# 生成要变异的结点
cp = np.random.randint(0, 2, DNA_SIZE, dtype=np.bool_) # crossover points
# 将父DNA和母DNA交叉生成子DNA
kv[cp] = pop['DNA'][p1, cp]
kv[~cp] = pop['DNA'][p2, ~cp]
# 将父变异强度序列和母变异强度序列交叉生成子变异强度序列
ks[cp] = pop['mut_strength'][p1, cp]
ks[~cp] = pop['mut_strength'][p2, ~cp]
# 将变异强度也产生一定的变异
ks[:] = np.maximum(ks + (np.random.rand(*ks.shape)-0.5), 0.) # 实现将变异强度限制在非负数范围内
# 根据正态分布变异 mutate (change DNA based on normal distribution)
kv += ks * np.random.randn(*kv.shape) # 用于生成符合标准正态分布（均值为0，方差为1）的随机数,形状和kv的一样
# 将数组中的元素限制在一个指定的范围内 它将数组中小于指定最小值的元素替换为最小值，将大于指定最大值的元素替换为最大值
kv[:] = np.clip(kv, *DNA_BOUND) # clip the mutated value
return kids
def kill_bad(pop, kids):
"""
将孩子DNA和原来的父母DNA合并，然后根据适应度排序，
然后选取前POP_SIZE的个体，重新组成一个种群
:param pop:
:param kids:
:return:
"""
# put pop and kids together
#将孩子DNA和原来的父母DNA合并
for key in ['DNA', 'mut_strength']:
pop[key] = np.vstack((pop[key], kids[key]))
# 获取适应度
fitness = get_fitness(F(pop['DNA'])) # calculate global fitness
# 然后根据适应度排序，然后选取前POP_SIZE的个体，重新组成一个种群
idx = np.arange(pop['DNA'].shape[0])
good_idx = idx[fitness.argsort()][-POP_SIZE:] # selected by fitness ranking (not value)
for key in ['DNA', 'mut_strength']:
pop[key] = pop[key][good_idx]
return pop
if __name__ == '__main__':
# 随机生成种群
# 这里直接用0-5的数字表示DNA，DNA长度为1
pop = dict(DNA=5 * np.random.rand(1, DNA_SIZE).repeat(POP_SIZE, axis=0), # initialize the pop DNA values
mut_strength=np.random.rand(POP_SIZE, DNA_SIZE)) # initialize the pop mutation strength values
plt.ion() # something about plotting
x = np.linspace(*DNA_BOUND, 200)
plt.plot(x, F(x))
for _ in range(N_GENERATIONS):
# something about plotting
if 'sca' in globals(): sca.remove()
sca = plt.scatter(pop['DNA'], F(pop['DNA']), s=200, lw=0, c='red', alpha=0.5);
plt.pause(0.05)
# 进化策略开始
kids = make_kid(pop, N_KID)
pop = kill_bad(pop, kids) # keep some good parent for elitism
plt.ioff()
plt.show()
参考：
莫烦Python
