引入

机器学习是继专家系统后人工智能的又一重要研究领域！机器学习是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，是人工智能的核心，主要使用归纳、综合而不是演绎。学习过程与推理过程是紧密相连的，按照学习中使用推理的多少，机器学习的策略分为4种——机械学习、通过传授学习、类比学习、通过示例学习。推理过程越多，学习系统越复杂。

一、分类

1、基于学习策略的分类

①机械学习：直接通过事先编好、构造的程序来学习，学习者不做任何工作，或者是直接接收既定事实和数据进行学习，不做任何推理。如塞缪尔的跳棋程序、西蒙的LT系统。

②示教学习：模拟学校教学，学生可以接收教导和建议并有效地存储和应用学到的知识，不少专家系统在建立知识库时使用这种方法去实现知识获取。如FOO程序。

③演绎学习：推理形式为演绎推理，从公理出发经过逻辑变换推导出结论，包含宏操作学习、知识编辑和组块技术。演绎推理的逆过程是归纳推理。

④类比学习：可以使一个已有的计算机应用系统转变为适应于新的领域，来完成原先没有设计的相类似的功能，即从“源概念”（知识源）转换到“目标概念”（新的状况）。比上述3种用到更多的推理。

⑤基于解释的学习（EBL）：学生根据教师提供的目标概念、该概念的一个例子、领域理论及可操作准则，首先构造一个解释来说明为什么该例子满足目标概念，然后将解释推广为目标概念的一个满足可操作准则的充分条件。广泛应用于知识库求精和改善系统的性能。

⑥归纳学习：由教师或环境提供某概念的一些实例或反例，让学习者通过归纳推理得出该概念的一般描述。是一种最基本发展也较为成熟的学习方法，在人工智能领域得到了广泛的研究和应用。

2、基于所获取知识的表示形式分类

①代数表达式参数：学习的目标是调节一个固定函数形式的代数表达式参数或系数来达到一个理想的性能。

②决策树：用决策树来划分物体的类属，树中每一内部节点对应一个物体的属性，每一边对应于这些属性的可选值，树的叶节点对应物体的每个基本分类。

③形式文法：在识别一个特定语言的学习中，通过对该语言的一系列表达式进行归纳，形成该语言的形式文法。

④产生式规则：产生是规则表示为条件-动作对，应用极为广泛。行为主要是：生成、泛化、特化或合成产生式规则。

⑤形式逻辑表达式：基本成分是命题、谓词、变量、约束变量范围的语句，及嵌入的逻辑表达式。

⑥图和网络：有的系统采用图匹配和图转换方案来有效地比较和索引知识。

⑦框架和模式：每个框架包含一组槽，用于描述事物（概念和个体）的各个方面。

⑧计算机程序和其他编码过程：获取这种形式的知识，目的在于取得一种能实现特定过程的能力，而不是为了推断该过程的内部结构。

⑨神经网络：主要用在连接学习中，学习所获取得知识，最后归纳为一个神经网络。

其中决策树、形式文法、产生式规则、形式逻辑表达式、框架和模式等属于符号表示类，泛化程度高（粗粒度）；代数表达式参数、图和网络、神经网络属于亚符号表示类，泛化程度低（精粒度）。这些表示形式也可以相互组合使用。

3、按应用领域分类

主要得研究领域有专家系统、认知模拟、规划和问题求解、数据挖掘、网络信息服务、图像识别、故障诊断、自然语言理解、机器人和博弈等领域。从机器学习得执行部分所反映得任务类型上看，大部分得应用研究领域集中于两个范畴：分类和问题求解。

①分类任务：要求系统依据已知的分类任务对输入的未知模式（该模式的描述）做分析，以确定输入模式的类属。相应的学习目标就是学习用于分类的准则（如分类规则）。

②问题求解任务：要求系统对于给定的目标状态，寻找一个将当前状态转换为目标状态的动作序列；这一领域的研究工作主要集中在通过学习来获取能提高问题求解效率的知识（如搜索控制知识、启发式知识）。

4、综合分类

综合分类即根据学习方法的知识表示、推理策略、结果评估的相似性、研究人员交流的相对集中性以及应用领域诸多因素分为6类：

①经验性归纳学习：采用一些数据密集的经验方法(如版本空间法、1D3法、定律发现法)对例子进行归纳学习。其例子和学习结果一般都采用属性、谓词、关系等符号表示。它相当于基于学习策略分类中的归纳学习,但扣除连接学习、遗传算法、加强学习的部分。

②分析学习：分析学习方法是从一个或少数几个实例出发,运用领域知识进行分析,目标是改善系统的性能,而不是新的概念描述。其主要特征：推理策略主要是演绎,而非归纳；使用过去的问题求解经验(实例)指导新的问题求解,或产生能更有效地运用领域知识的搜索控制规则。

③类比学习：相当于基于学习策略分类中的类比学习。比较引人注目的研究是通过与过去经历的具体事例做类比来学习,称为基于范例的学习,或简称范例学习。

④遗传学习：模拟生物繁殖的突变、交换和达尔文的自然选择(适者生存)。把问题可能的解编码为一个向量,称为个体,向量的每一个元素称为基因,并利用目标函数(相应于自然选择标准)对群体(个体的集合)中的每一个个体进行评价,根据评价值(适应度)对个体进行选择、交换、变异等遗传操作,从而得到新的群体。遗传算法适用于非常复杂和困难的环境,比如,带有大量噪声和无关数据、事物不断更新、问题目标不能明显和精确地定义,以及通过很长的执行过程才能确定当前行为的价值等。与神经经网络一样,遗传算法的研究已经发展为人工智能的一个独立分支。

⑤连接学习：典型的连接模型实现为人工神经网络,其由称为神经元的一些简单计算单元以及单
元间的加权连接组成。

⑥加强学习：特点是通过与环境的试探性交互来确定和优化动作的选择,以实现所谓的序列决策任务。在这种任务中,学习机制通过选择并执行动作,导致系统状态的变化,并有可能得到某种强化信号(立即回报),从而实现与环境的交互。强化信号就是对系统行为的一种标量化的奖惩。系统学习的目标是寻找一个合适的动作选择策略,即在任一给定的状态下选择哪种动作的方法,使产生的动作序列可获得某种最优的结果(如累计立即回报最大)。

其中经验归纳学习、遗传算法、连接学习和加强学习均属于归纳学习（经验归纳学习采用符号表示方式,而遗传算法、连接学习和加强学习则采用亚符号表示方式）；分析学习属于演绎学习。