《机器学习by周志华》学习笔记-神经网络-02感知机与多层网络

news2024/9/25 20:27:47

1、感知机

1.1、概念

感知机(Perceptron)由2层神经元模型组织，如下图所示：

「输入层神经元」接收外界输入信号后，传递给「输出层神经元」

「输出层神经元」是「M-P神经元」，亦称「阈值逻辑单元（threshold logic unit）」

1.2、作用

「感知机」能够容易的实现逻辑「与」、「或」、「非」的运算。

案例：

由上文可知，激活函数表示为： $y=f(\sum_{i}^{}\omega _{i}x_{i}-\theta )$ ，其具有2个「输入神经元」，可表示为下图：

其f(x)为跃阶函数：

$f(x)=\left\{\begin{matrix} 1, & x\geq 0 \\ 0, & x< 0 \end{matrix}\right.$

（1）「与」问题

是指对于2个输入神经元x1、x2，只有同时为1的时候输出1，否则输出0。即：

当x1=1且x2=1时，y=1，否则y=0；

激活函数变形如下：

$y=f(\sum_{i}^{}\omega _{i}x_{i}-\theta )=f(\omega _{1}x_{1}+\omega _{2}x_{2}-\theta )$

那么如何定义权重 $\omega$ 和 $\theta$ ？

我们可以将问题转化为二维坐标，我们将x1作为横坐标、x2作纵坐标。则感知器就是一条直线，用下面函数表示：

$\omega _{1}x_{1}+\omega _{2}x_{2}-\theta =0$

根据不同的权重和阈值，我们可以画出很多条线性感知器，假设 $\omega _{1}=\omega _{2}=1$ ， $\theta =1.5$ ，此时直线函数则表示为：