神经网络基础--什么是神经网络?? 常用激活函数是什么???

news2024/11/7 7:59:55

前言

  • 本专栏更新神经网络的一些基础知识;
  • 案例代码基于pytorch;
  • 欢迎收藏 + 关注, 本人将会持续更新。

神经网络

1、什么是神经网络

人工神经网络( Artificial Neural Network, 简写为ANN)也简称为神经网络(NN),是一种模仿生物神经网络结构和功能的 计算模型。

高中学生物的时候,我们可以发现在生物的神经网络中,由一个个神经元连接而成,在每个神经元中传递各种复杂的信号,在树突中输入信号,然后对信号进行处理,在轴突中输出信号这一过程。生物神经网络如图:

在这里插入图片描述

从生物的神经网络中可以看出,神经网络由神经元、树突、轴突所构成,当细胞核电量收集到一定程度的时候,会向数突发送电信号,电信号经过各种处理,最终会在轴突中输出。

2、人工神经网络

人工神经网络(ANN)实际上就是模拟生物神经网络的过程,神经网络可以看作由很多神经元所构成的,一个神经元中树突接收信号,然后进行处理,在轴突中输出信号,换算成人工神经网络中即有三部分构成:输入层、隐藏层、输出层所构成,一个简单的模拟神经元如图:

在这里插入图片描述

从上图可以看出,当接收到输入信号的时候,对信号要进行加权计算,最后输出的过程。其中w叫做权重,b叫做偏置,和之前学的斜率和截距相比有着更加专业的名称。

由多个神经元所构成自然就成为了神经网络,如图:

在这里插入图片描述

在神经网络中信号只是单方向移动,大概过程就是:

  1. 输入层:接收信号,可以看作的输入X
  2. 隐藏层:处理信号,对输入的数据进行各种线性和非线性变换,去拟合
  3. 输出层,输出信号,可以看作是Y

神经网络的作用:可以看作是一个万能的函数拟合器,拟合各种分布规律的点。

3、总结

神经网络是从生物神经网络中产生的,由很多神经元所有构成,每个神经元又包含输入层、隐藏层、输出层,从而发现数据的规律。

激活函数

1、非线性因素

线性:可以用一个线性方差来表示,如一元线性方程、多元线性方程……

非线性:在高中数学中,我们可以发现,实际应用很少数据规律是符合线性的,因为生活中的数据总是收到多个因素的影响,包括很多不确定因素的影响,数据分布可能符合:指数、对数、指对结合、三角结合…………

神经网络:从上面的神经网络图中可以发现,线性拟合可以经过不同神经元之间的权重和偏置进行拟合,而非线性因素需要引入激活函数,引入了激活函数后,神经网络就可以拟合各种曲线,逼近各种函数了,那什么是激活函数呢?请看下面讲解。

2、常见的激活函数

sigmoid

简介

表达式

f ( x ) = 1 1 + e − x \mathrm{f(x)=\frac1{1+e^{-x}}} f(x)=1+ex1

图像以及其导函数的图像

在这里插入图片描述

分析可以得出

  • sigmoid函数值域为:(0, 1),即:可以将任何函数值都可以映射到(0, 1) 范围内
  • 函数值效果分析
    • (-6, 6)区间内,效果可以,输出值有区别,尤其是在(-3, 3)区间中,效果最好,输出值有明显区别
    • 当x在大于6,或者小于-6的时候,效果不佳,输出值没有说明区别
  • 导数图像分析:
    • 值域:(0, 0.25)
    • 当x在大于6,或者小于-6的时候,导数值接近为0,收敛平缓

使用场景

  • 用作激活函数不多,主要运用在二分类中,如逻辑回归,并且神经网络层数不能多,否则很容易到后面求出导数值为0
pytorch代码举例
import torch
import matplotlib.pyplot as plt 
import torch.nn.functional as F 

from pylab import mpl
mpl.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = False

def test():
    # 创建画板
    fig, axes = plt.subplots(1, 2)
    
    # 创建sigmoid
    x = torch.linspace(-20, 20, 1000)
    y = F.sigmoid(x)
    axes[0].plot(x, y)
    axes[0].grid()
    axes[0].set_title('Sigmoid 函数值')
    
    # 导函数
    x = torch.linspace(-20, 20, 1000, requires_grad=True)  # 最后一个参数,全程跟踪求导,并且将求导值存入 grad中
    # 求导
    torch.sigmoid(x).sum().backward()  # .backward() 以及任何被x直接或间接影响的、需要梯度的参数,将其值全部存储在 .grad 中
    # 绘图
    axes[1].plot(x.detach(), x.grad)   # .detach() 分离出x没有求导的值,x.grad存储求导的值
    axes[1].grid()
    axes[1].set_title('Sigmoid 导数值')
    
    
    
if __name__ == '__main__':
    test()

输出图像如上图sigmoid所示。

tanh

简介

表达式

f ( x ) = 1 − e − 2 x 1 + e − 2 x \mathrm{f(x)=\frac{1-e^{-2x}}{1+e^{-2x}}} f(x)=1+e2x1e2x

图像及其导函数图像

在这里插入图片描述

分析

  • tanh的值域为:[-1, 1],即:任何函数值通过tanh函数都可以映射到:[-1, 1]区间
  • 关于源点0对称
  • 函数效果值分析
    • 在x属于[-3, 3]这个区域内,函数值映射效果区分度较大
    • 当x>3或者x<-3的时候,分别映射成 -1 与 1
  • 导数值分析
    • 值域:(0, 1)
    • 当x>3或者x<-3的时候,导数值为0
  • 与sigmoid函数区别
    • tanh函数收敛速度较快,运用范围较广
    • 查阅资料:可以搭配使用,隐藏层用tanh,输出层用sigmoid,用于二分类问题
pytorch代码举例
import torch 
import matplotlib.pyplot as plt 
import torch.nn.functional as F 

from pylab import mpl
mpl.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = False

def test():
    # 创建画板
    fig, axes = plt.subplots(1, 2)
    
    # tanh图像
    x = torch.linspace(-20, 20, 1000)
    y = F.tanh(x)
    axes[0].plot(x, y)
    axes[0].grid()
    axes[0].set_title('tanh 函数')
    
    # 导函数图像
    x = torch.linspace(-20, 20, 1000, requires_grad=True)
    torch.tanh(x).sum().backward()
    axes[1].plot(x.detach(), x.grad)
    axes[1].grid()
    axes[1].set_title('tanh 导数')
    
    plt.show()
    
if __name__ == '__main__':
    test()

ReLu(最常用的)

简介

表达式

f ( x ) = m a x   ( 0 , x ) \mathrm{f(x)=max~(0,x)} f(x)=max (0,x)

图像

在这里插入图片描述

分析

  • 当 x 值小于0的时候,映射成0,当 x 值大于 0 的时候,映射成它本身
  • 运算简单,效率高,容易通过线性变换非线性变换拟合任何函数,最常用

导函数图像

在这里插入图片描述

分析

  • 函数值小于0,则导函数为 0 ,函数值大于0,导数值为 1
  • ReLU 能够在x>0时保持梯度不衰减,从而缓解梯度消失问题。

缺点

  • 如果我们网络的参数采用随机初始化时,很多参数可能为负数,这就使得输入的正值会被舍去,而输入的负值则会保留,这可能在大部分的情况下并不是我们想要的结果
  • 随着训练的推进,部分输入会落入小于0区域,导致对应权重无法更新。这种现象被称为“神经元死亡”

SoftMax

用于多分类题目

简介

表达式

s o f t m a x ( z i ) = e z i ∑ j e z j softmax(z_{i})=\frac{e^{z_{i}}}{\sum_{j}e^{z_{j}}} softmax(zi)=jezjezi

在这里插入图片描述

Softmax 直白来说就是将网络输出的 logits 通过 softmax函数,就映射成为(0,1)的值,而这些值的累和为1(满足概率的性质),那么我们将它理解成概率,选取概率最大(也就是值对应最大的)节点,作为我们的预测目标类别

pytorch代码
import torch 

scores = torch.tensor([0.2, 0.02, 0.15, 0.15, 1.3, 0.5, 0.06, 1.1, 0.05, 3.75])
probabilities = torch.softmax(scores, dim=0)
print(probabilities)

3、总结

如何选取激活函数?

对于隐藏层:

  1. 优先选择RELU激活函数
  2. 如果ReLu效果不好,那么尝试其他激活,如Leaky ReLu等。
  3. 如果你使用了Relu, 需要注意一下Dead Relu问题, 避免出现大的梯度从而导致过多的神经元死亡。
  4. 不要使用sigmoid激活函数,可以尝试使用tanh激活函数

对于输出层:

  1. 二分类问题选择sigmoid激活函数
  2. 多分类问题选择softmax激活函数
  3. 回归问题选择identity激活函数

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2234879.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

030集——分组法——C# CAD二次开发

重叠的图行进行分组&#xff0c;效果如下&#xff1a; 纵向投影重叠&#xff08;横向移动冲突&#xff09;可以分组: 纵向冲突也可以分组&#xff1a; 也可根据颜色不同分组&#xff1a; 部分代码如下&#xff0c;完整代码见文章下方名片 public class Class1{[CommandMethod(…

Edge 浏览器插件开发:图片切割插件

Edge 浏览器插件开发&#xff1a;图片切割插件 在图片处理领域&#xff0c;按比例切割图片是一个常见需求。本文将带你开发一个 Edge 浏览器插件&#xff0c;用于将用户上传的图片分割成 4 个部分并自动下载到本地。同时&#xff0c;本文介绍如何使用 cursor 辅助工具来更高效…

关于圆周率

关于圆周率 大约20年前的2005年&#xff0c;我在上大学的时候&#xff0c;网上流传这样一段程序&#xff0c;被称之为“外星人计算圆周率程序”。程序如下&#xff1a; long a 10000, b, c 2800, d, e, f[2801], g; main() {for (; b - c;) f[b] a / 5; for (; d 0, g …

【docker】6. 镜像仓库/镜像概念

Docker Registry&#xff08;镜像仓库&#xff09; 什么是 Docker Registry 镜像仓库 (Docker Registry) 负责存储、管理和分发镜像&#xff0c;并且提供了登录认证能力&#xff0c;建立了仓库的索引。 镜像仓库管理多个 Repository&#xff0c; Repository 通过命名来区分。…

debian系统安装qt的时候 显示xcb相关文件缺失

如果是安装之后的问题 我们可以选择使用ldd的命令查看当前依赖的so那些文件确实 ldd /home/yinsir/Qt/5.15.2/gcc_64/plugins/platforms/libqxcb.so 本人在进行打包的时候 出现则会个报错 ERROR: ldd outputLine: “libxcb-util.so.1 > not found” ERROR: for binary: “/…

怎么查看navicat的数据库密码

步骤1:打开navicat连接数据库工具&#xff0c;顶部的文件栏-导出结果-勾选导出密码-导出 步骤2&#xff1a;导出结果使用NotePad或文本打开&#xff0c;找到&#xff0c;数据库对应的的Password"995E66F64A15F6776“”的值复制下来 <Connection ConnectionName"…

清华大学提出Mini-Omni2:开源多模态模型,功能与GPT-4o媲美!

&#x1f310; 在人工智能领域&#xff0c;多模态模型的发展正如火如荼。今天&#xff0c;我们要介绍的是由清华大学提出的Mini-Omni2&#xff0c;这是一个开源的多模态语言模型&#xff0c;它在功能上与GPT-4o相媲美&#xff0c;能够理解和生成视觉、听觉和文本内容&#xff0…

webrtc前端播放器完整案例

https://download.csdn.net/download/jinhuding/89961792

网管平台(进阶篇):如何正确的管理网络设备?

网络设备作为构建计算机网络的重要基石&#xff0c;扮演着数据传输、连接和管理的关键角色。从交换机、路由器到防火墙、网关&#xff0c;各类网络设备共同协作&#xff0c;形成了高效、稳定的网络系统。本文将详细介绍网络设备的种类&#xff0c;并探讨如何正确管理这些设备&a…

深入理解 Spring AOP:面向切面编程的原理与应用

一、概述 AOP&#xff08;Aspect Orient Programming&#xff09;是一种设计思想&#xff0c;是软件设计领域中的面向切面编程&#xff0c;它是面向对象编程(OOP)的一种补充和完善。它以通过预编译方式和运行期动态代理方式&#xff0c;实现在不修改源代码的情况下给程序动态统…

ML 系列:机器学习和深度学习的深层次总结( 19)— PMF、PDF、平均值、方差、标准差

一、说明 在概率和统计学中&#xff0c;了解结果是如何量化的至关重要。概率质量函数 &#xff08;PMF&#xff09; 和概率密度函数 &#xff08;PDF&#xff09; 是实现此目的的基本工具&#xff0c;每个函数都提供不同类型的数据&#xff1a;离散和连续数据。 二、PMF 的定义…

基于STM32的八位数码管显示Proteus仿真设计

基于STM32的八位数码管显示Proteus仿真设计 1.主要功能2.仿真设计3. 程序设计4. 设计报告5. 资料清单&下载链接 基于STM32的八位数码管显示Proteus仿真设计(仿真程序设计报告讲解视频&#xff09; 仿真图proteus 8.9 程序编译器&#xff1a;keil 5 编程语言&#xff1a;…

Linux grep命令详解(多图、多示例)

文章目录 grep基本说明grep参数简单示例列举参数-v(反选)-r -l -H -i(目录子目录、只打印匹配文件、输出文件名、忽略大小写)-c -n -o(匹配次数、输出行号、只打印匹配)-A -B -C(前后行) 正则表达式基本正则表达式与扩展正则表达式 grep示例附录:正则表达式基本字符特殊字符Per…

力扣:225 用队列实现栈

栈、队列 栈&#xff1a; 弹夹&#xff0c;后进先出 队列&#xff1a; 排队&#xff0c;先进先出 描述&#xff1a; var MyStack function () {// 定义两个数组&#xff0c;模拟队列this.queue []this._queue [] };/** * param {number} x* return {void}*/ MyStack.protot…

【MFC编程(一)】MFC概述

文章目录 MFC概述MFC组成MFC对比Windows APIMFC类库基类CObject命令发送类CCmdTarget应用程序结构类应用程序线程支持类CWinThread/CWinApp文档类CDocument文档模板类CDocTemplate 窗口类窗口基类CWnd边框窗口类CFrameWnd视图类CView MFC概述 MFC&#xff08;Microsoft Founda…

【客观理性深入讨论国产中间件及数据库-科创基础软件】

随着国产化的进程&#xff0c;越来越多的国企央企开始要求软件产品匹配过程化的要求&#xff0c; 最近有一家银行保险的科技公司对行为验证码产品就要求匹配国产中间件&#xff0c; 于是开始了解国产中间件都有哪些厂家 一&#xff1a;国产中间件主要产品及厂商 1 东方通&…

基于Python的校园爱心帮扶管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…

pycharm小游戏贪吃蛇及pygame模块学习()

由于代码量大&#xff0c;会逐渐发布 一.pycharm学习 在PyCharm中使用Pygame插入音乐和图片时&#xff0c;有以下这些注意事项&#xff1a; 插入音乐&#xff1a; - 文件格式支持&#xff1a;Pygame常用的音乐格式如MP3、OGG等&#xff0c;但MP3可能需额外安装库&#xf…

A018基于Spring Boot的民宿租赁系统

&#x1f64a;作者简介&#xff1a;在校研究生&#xff0c;拥有计算机专业的研究生开发团队&#xff0c;分享技术代码帮助学生学习&#xff0c;独立完成自己的网站项目。 代码可以查看文章末尾⬇️联系方式获取&#xff0c;记得注明来意哦~&#x1f339; 赠送计算机毕业设计600…

​基于学习的地铁客流动态预测智能调度方法

1 文章信息 文章题为“A Learning Based Intelligent Train RegulationMethod With Dynamic Prediction forthe Metro Passenger Flow”&#xff0c;该文于2023年发表至“IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS”。文章的核心观点是提出了一种基于学习的智…