目录

一、深度学习与机器学习的关系

二、神经网络构造

三、推导

四、感知器与多层感知器

1.感知器

2.多层感知器

3.偏置

五、如何确定输入层和输出层个数

---

一、深度学习与机器学习的关系

        深度学习是一种机器学习的子领域，利用多层神经网络来学习数据的复杂特征和模式。它在图像识别、自然语言处理和其他领域表现出色。

 

二、神经网络构造

• 这是生物上的神经元

• 这是计算机上的神经元

• 这是计算机上的神经网络

• 神经网络是由大量的节点（或称“神经元”）和之间相互的联接构成。
• 每个节点代表一种特定的输出函数，称为激励函数、激活函数（activation function）。
• 每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

 

三、推导

• 以下是推导过程：
  • 传入特征，按照不同的权重传入神经元进行求和
  • 然后将结果放入sigmod函数进行非线性映射
  • 最后得出分类结果

 

四、感知器与多层感知器

1.感知器

• 由两层神经元组成的神经网络--“感知器”（Perceptron）,感知器只能线性划分数据。
• 因为只能通过一个线性函数（即加权和）将输入数据映射到输出类别
• 感知器图示
• 右下角是计算规则

 

2.多层感知器

• 多层感知器（MLP）是深度学习中一种重要的神经网络结构，由多个层次的神经元组成，通常包括以下部分：

  • 输入层：接收数据特征。
  • 隐藏层：一个或多个，进行复杂的非线性变换。每层的神经元通过激活函数（如ReLU、Sigmoid）处理输入。
  • 输出层：生成最终的预测结果或分类标签。

 

3.偏置

• 在神经网络中需要默认增加偏置神经元（节点），这些节点是默认存在的
• 它本质上是一个只含有存储功能，且存储值永远为1的单元
• 在神经网络的每个层次中，除了输出层以外，都会含有这样一个偏置单元
• 偏置节点没有输入（前一层中没有箭头指向它）
• 一般情况下，我们都不会明确画出偏置节点

• 调整决策边界：偏置项允许决策边界在特征空间中进行平移，而不仅仅是通过原点。

• 提高模型灵活性：使得神经网络能够捕捉到更多的数据模式和复杂性，即使在没有输入特征的情况下也能进行调整。

 

五、如何确定输入层和输出层个数

• 输入层的节点数：与特征的维度匹配
• 输出层的节点数：与目标的维度匹配。
• 中间层的节点数：目前业界没有完善的理论来指导这个决策。一般是根据经验来设置。较好的方法就是预先设定几个可选值，通过切换这几个值来看整个模型的预测效果，选择效果最好的值作为最终选择。