激活函数解析:神经网络背后的“驱动力”

news2024/11/22 17:34:48

神经网络中的激活函数(Activation Function)是其运作的核心组件之一,它们决定了神经元如何根据输入信号进行“激活”,进而影响整个模型的表现。理解激活函数的工作原理对于设计和优化神经网络至关重要。本篇博客将深入浅出地介绍各种常见激活函数,帮助大家掌握这一基础概念。


目录

什么是激活函数?

激活函数的作用:

常见的激活函数

1. Sigmoid 函数(S型函数)

​编辑2. Tanh 函数(双曲正切函数)

​编辑

3. ReLU(Rectified Linear Unit)函数

4. Leaky ReLU 函数

5. Softmax 函数

总结


什么是激活函数?

在神经网络中,每个神经元都会接收来自前一层神经元的输入信号,这些输入信号经过加权和求和后,需要通过激活函数进行处理。激活函数的作用是决定神经元是否应该被激活,从而影响输出值。简单来说,激活函数决定了一个神经元对其输入信号的反应程度。

激活函数的作用:

  1. 非线性化:神经网络中的激活函数通常是非线性的,这使得网络能够学习和表示复杂的关系。没有非线性的激活函数,无论网络有多少层,其等价于一个简单的线性模型。
  2. 引入阈值:激活函数决定了神经元的输出值是否激活,类似于生物神经元的工作方式。
  3. 限制输出范围:激活函数可以对输出进行一定的限制,使得模型更加稳定。

常见的激活函数

接下来,我们将介绍几种常见的激活函数,并分析它们的优缺点。

1. Sigmoid 函数(S型函数)

Sigmoid 函数是最经典的激活函数之一,其数学表达式为:

\sigma (x) = \frac{1}{1+e^{-x}}

特点:

  • 输出范围:0 到 1,适用于二分类问题,输出可以被看作概率。
  • 平滑和连续:Sigmoid 函数是平滑的,且具有单调性。

缺点:

  • 梯度消失:当输入值过大或过小时,梯度几乎为 0,导致训练时梯度消失,难以进行有效学习。
  • 输出不对称:Sigmoid 的输出范围是 [0, 1],导致其在正负输入时表现不对称,可能影响模型表现。

图片示例如下:

2. Tanh 函数(双曲正切函数)

Tanh 函数是 Sigmoid 函数的改进版,其数学表达式为:

Tanh(x) = \frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}

特点:

  • 输出范围:-1 到 1,具有更强的对称性。
  • 平滑和连续:Tanh 函数与 Sigmoid 函数类似,具有平滑的曲线。

优点:

  • 对称性:Tanh 函数的输出范围是对称的,负数输出可以更好地表示负向激活。

缺点:

  • 梯度消失:和 Sigmoid 类似,当输入值过大或过小时,梯度接近于零,训练时容易出现梯度消失问题。

3. ReLU(Rectified Linear Unit)函数

ReLU 是目前最常用的激活函数之一,其数学表达式为:

ReLU(x)=max(0,x)

特点:

  • 输出范围:当输入大于 0 时,输出等于输入;否则输出为 0。
  • 计算简单:ReLU 函数计算非常简单,仅需要比较输入值和 0,极大提高了训练效率。

优点:

  • 避免梯度消失:由于其线性特性,当输入为正时,ReLU 的梯度为常数,避免了梯度消失问题。
  • 收敛速度快:ReLU 可以加速神经网络的收敛速度,是深度学习中最常用的激活函数。

缺点:

  • 死亡神经元问题:如果输入总是负数,神经元将“死亡”,导致其输出始终为 0,无法参与学习。

4. Leaky ReLU 函数

Leaky ReLU 是对标准 ReLU 的改进版本。其数学表达式为:

LeakyReLU(x) = \begin{cases} x & \text{ if } x>0 \\ \alpha x & \text{ if } x\leq 0 \end{cases}

其中,\alpha 是一个小的常数,通常为 0.01。

特点:

  • 输出范围:负输入不会被完全抑制,而是乘以一个小的系数 α\alphaα。
  • 避免神经元死亡:即使输入值为负,Leaky ReLU 也能提供一个很小的梯度,避免神经元“死亡”。

优点:

  • 避免死亡神经元问题:通过给负数输入提供一个小的斜率,Leaky ReLU 避免了 ReLU 中的死亡神经元问题。
  • 收敛速度快:类似于 ReLU,Leaky ReLU 也能加速训练过程。

5. Softmax 函数

Softmax 函数常用于多分类问题,其数学表达式为:


Softmax(x_i)=\frac{e^{x_i}}{\sum_j^k e^{x_j}}

特点:

  • 输出范围:Softmax 函数将输出转换为概率分布,每个输出值的范围是 (0, 1),且所有输出值之和为 1。
  • 多分类应用:常用于多分类任务的最后一层,将原始输出值转换为类别概率。

优点:

  • 概率输出:Softmax 输出的每个值可以解释为某个类别的概率,非常适合多分类问题。


总结

激活函数是神经网络中不可或缺的组成部分,它们让网络能够学习复杂的非线性关系。不同的激活函数具有不同的特点,适用于不同的任务和数据集。在实际应用中,ReLU 和其变种(如 Leaky ReLU)因其简单高效而成为深度学习中最常用的激活函数。而在多分类问题中,Softmax 函数是经典的选择。

在选择激活函数时,需要根据问题的特性以及网络结构来进行选择。希望通过本篇博客,大家能对激活函数有更清晰的认识,并在实际应用中作出更合适的选择。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2239741.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于表格滚动截屏(表格全部展开,没有滚动条)

import html2canvasPro from html2canvas // 截图,平辅表格 async function resetAgSize() {const allColumns gridApi.value.getColumns()let totalColumnWidth 0let totalColumnHeight 0// 遍历每一个行节点gridApi.value.forEachNode((rowNode) > {totalCo…

vs2015QT项目添加多语言翻译总结

一、简介 当软件有国际化的需求时,就需要多语言翻译功能,最常见的语言就是支持中文和英语,本文介绍在vs2015QT环境下,进行国际化翻译的具体流程。 二、多语言翻译实现流程 1.底层实现原理介绍 QT写的客户端软件,能…

wireshark演进之路——从GTK到Qt

Wireshark 自 1998 年诞生至今,已有超过26年的历史了。它最早由 Gerald Combs 创建,最初名为 Ethereal。2006 年,Ethereal 更名为 Wireshark,并继续发展成了全球领先且人尽皆知的网络协议分析工具,其GUI演变就是其中非…

哈希表的实现--C++

文章目录 一、哈希概念1.1、直接定址法1.2、哈希冲突1.3、负载因子1.4、将关键字转为整数1.5、哈希函数1.5.1、除法散列法/除留余数法1.5.2、乘法散列法1.5.3、全域散列法1.5.4、其他方法 二、处理哈希冲突2.1、开放定址法2.1.1、线性探测2.1.2、二次探测2.1.3、双重散列2.1.4、…

Python学习从0到1 day26 第三阶段 Spark ② 数据计算Ⅰ

人总是会执着于失去的,而又不珍惜现在所拥有的 —— 24.11.9 一、map方法 PySpark的数据计算,都是基于RDD对象来进行的,采用依赖进行,RDD对象内置丰富的成员方法(算子) map算子 功能:map算子…

D67【python 接口自动化学习】- python基础之数据库

day67 Python操作MySQL基础使用 学习日期:20241113 学习目标:MySQL数据库-- 136 Python操作MySQL基础使用 学习笔记: pymysql 创建MySQL的数据库链接 执行sql语句 总结 Python中使用第三方库:pymysql来操作MySQL,…

Linux驱动开发基础——Hello驱动程序(一)

目录 一、Hello驱动 一、Hello驱动 我们选用的内核都是 4.x 版本,操作都是类似的: 1.1、APP 打开的文件在内核中如何表示 open函数原型: int open(const char *pathname, int flags, mode_t mode); 仔细看函数的参数,再对比看 内…

2.初始sui move

vscode安装move插件 查看sui 客户端版本号 sui client --version 创建新项目 sui move new <项目名> sui move new hello_world 项目目录结构&#xff1a; hello_world ├── Move.toml ├── sources │ └── hello_world.move └── tests└── hello_world…

学习日志009--面向对象的编程

一、面向对象 面向对象编程&#xff08;Object-Oriented Programming&#xff0c;简称OOP&#xff09;是一种编程范式&#xff0c;它使用“对象”来设计应用程序和计算机程序。它利用了抽象、封装、继承和多态这些概念。 一、面向对象编程的核心概念 封装&#xff08;Encaps…

Redis8:商户查询缓存2

欢迎来到“雪碧聊技术”CSDN博客&#xff01; 在这里&#xff0c;您将踏入一个专注于Java开发技术的知识殿堂。无论您是Java编程的初学者&#xff0c;还是具有一定经验的开发者&#xff0c;相信我的博客都能为您提供宝贵的学习资源和实用技巧。作为您的技术向导&#xff0c;我将…

在 WPF 中,如何实现数据的双向绑定?

在 WPF 中&#xff0c;数据绑定是一个非常重要的特性&#xff0c;它允许 UI 与数据源之间自动同步。双向绑定是一种常见的绑定方式&#xff0c;当数据源更新时&#xff0c;UI 会自动更新&#xff1b;同样&#xff0c;当 UI 中的元素&#xff08;如文本框&#xff09;发生改变时…

DAY6 线程

作业1&#xff1a; 多线程实现文件拷贝&#xff0c;线程1拷贝一半&#xff0c;线程2拷贝另一半&#xff0c;主线程回收子线程资源。 代码&#xff1a; #include <myhead.h> sem_t sem1; void *copy1()//子线程1函数 拷贝前一半内容 {int fd1open("./1.txt",O…

# filezilla连接 虚拟机ubuntu系统出错“尝试连接 ECONNREFUSED - 连接被服务器拒绝, 失败,无法连接服务器”解决方案

filezilla连接 虚拟机ubuntu系统出错“尝试连接 ECONNREFUSED - 连接被服务器拒绝&#xff0c; 失败&#xff0c;无法连接服务器”解决方案 一、问题描述&#xff1a; 当我们用filezilla客户端 连接 虚拟机ubuntu系统时&#xff0c;报错“尝试连接 ECONNREFUSED - 连接被服务…

网安数学基础-同余关系

文章目录 参考等价关系实例 同余同余和等价同余的运算 乘法逆元一次同余方程消去律 剩余类中国剩余定理欧拉函数欧拉定理 费马小定理 参考 【一口气学完】密码学的数学基础2&#xff0c;《同余关系》&#xff0c;一小时学完 等价关系 三角形里的全等关系 等价关系定义 下面这…

高校数字校园建设的数字身份管理难题

近年来&#xff0c;我国高等院校在《中国教育现代化2035》战略的要求下&#xff0c;在《高等学校数字校园建设规范&#xff08;试行&#xff09;》的指引下&#xff0c;掀起了数字校园建设高潮。借助教学、科研、管理、服务等种类的业务应用&#xff0c;高校提升了业务的数字化…

HDLC和PPP原理与配置

HDLC:高级数据链路控制 PPP:点到点协议 PPP:包括LCP链路控制协议,用于各种链路协议层参数的协商内容包括最大接收单元MRU,认证方式,魔术字等选项. NCP:网络控制协议,用于各网络层参数的协商,更好地支持了网络层协议. PAP:口令认证. CHAP:质询握手认证协议 PPP有两种验证方式…

Oracle数据库 查看SQL执行计划的几种方法

前言 在日常的运维工作中&#xff0c;SQL优化是DBA的进阶技能&#xff0c;SQL优化的前提是要看SQL的执行计划是否正确&#xff0c;下面分享几种查看执行计划的方法&#xff0c;每一种方法都各有各的好处&#xff0c;可以根据特定场景选择某种方法。 一.使用AUTOTRACE查看执行…

Hbase Shell

一、启动运行HBase 首先登陆SSH&#xff0c;由于之前在Hadoop的安装和使用中已经设置了无密码登录&#xff0c;因此这里不需要密码。然后&#xff0c;切换至/usr/local/hadoop&#xff0c;启动Hadoop&#xff0c;让HDFS进入运行状态&#xff0c;从而可以为HBase存储数据&#…

31-2 智能驾驶系统

智能驾驶功能分类 安全类功能 纵向 FCW/AEB FCTA/FCTB/RCTA/RCTB RVW/RVB 横向 ESA LSS LKA/LDW/ELK 盲区安全辅助 BSD LCA DOW CVW 舒适功能类 纵向 ACC CSA TSR ISA 横向 LCC ILC ALC 横纵向 TJA/HWA NOP 泊车功能 RAP 蓝牙通信&#xff0c;环视超车波 HPA 记忆泊车…

ubuntu20.04_从零LOD-3DGS的复现

环境要求 dependencies:- cudatoolkit11.6- plyfile0.8.1- python3.7.13- pip22.3.1- pytorch1.12.1- torchaudio0.12.1- torchvision0.13.1- tqdm1. 安装conda创建环境 conda create -n lod-3dgs python3.7.132. 安装CUDA11.6和相应cuDNN。 2.1 CUDA CUDA安装参考CUDA10.1…