历史上之所以会出现多核学习（MKL）这个词，是因为在深度学习流行起来以前，kernel是处理非线性的默认方法，那个年代优化一个非线性函数不容易，每加一层复杂性可能就需要多设计一个优化算法，MKL就是在这种历史背景下诞生的，人们需要一个能够处理更复杂非线性，同时可靠可优化的方法，那就是用多个核，再把它们结合起来，结合的方法有很多，可以用传统的优化方法解，用一些heuristics来search参数，有的甚至不需要用参数，就是单纯地把多个kernel的结果加和起来[1]。因为这类方法在当年看来极其复杂，因此大家给了它一个特别的名字，叫做多核学习。现在回过头来，大多数MKL所定义的objectives都可以放到深度学习的框架下，一个反向传播解决了多少MKL以前想都不敢优化的问题，随着网络数越来越深，可以嵌入的核矩阵也可以做的越来越复杂，是不是还需要给他们起一个新的名字呢？不了，现在我们都叫深度学习。大家慢慢也就很少再提及MKL，以及和它一并出现过的优化算法。
参考：https://www.cnblogs.com/XBWer/p/4492476.html
