机器学习—选择激活函数

news2024/11/14 1:08:06

可以为神经网络中的不同神经元选择激活函数,我们将从如何为输出层选择它的一些指导开始,事实证明,取决于目标标签或地面真相标签y是什么,对于输出层的激活函数,将有一个相当自然的选择,然后看看激活函数的选择,也适用于神经网络的隐藏层。

可以为神经网络中的不同神经元选择不同的激活函数,在考虑输出层的激活函数时,往往是一个相对自然的选择,取决于地面真相标签Y的具体目标是什么,如果正在处理一个分类问题,其中y为0或1,所以一个二进制分类问题,那么Z状结肠激活功能几乎总是最自然的选择,因为神经网络学习预测y=1的概率,就像逻辑回归。如果你在研究二进制分类问题,在输出层使用Z状结肠,如果解决一个回归问题,可以选择不同的激活函数,例如,如果试图预测明天的股票价格将如何变化,与今天的股价相比,它可以上升也可以下降,所以在这种情况下,y是一个数字,可以是正的,也可以是负的,在这种情况下,建议使用线性激活函数,G或Z可以具有正值或负值,使用线性激活函数,最后如果y只能取非负值,比如,你预测的房价永远不会是负值,那么最自然的选择就是Relu激活功能,因为此激活函数只接受非负值,即零值或正值,因此,当选择用于输出层的激活函数时,通常取决于标签Y是什么,你想预测,会有一个很自然的选择,对于神经网络的输出层也是如此。

对于神经网络的隐藏层,Relu激活函数是迄今为止许多人训练神经网络的最常见的选择,尽管最初用Z状结肠激活函数描述了神经网络,事实上,在神经网络发展的早期历史中,人们在许多地方使用z状结肠激活功能,这个领域已经发展到更经常地使用relu,而Z状结肠几乎从来没有,除了一个例外,确实在输出层中使用了Z状结肠激活函数。

如果比较一下Relu和Z状结肠激活函数,Relu的计算速度更快一点,因为它只需要计算(0,z)的最大值,而Z状结肠需要取一个指数,然后取一个逆,以此类推,所以效率有点低,更重要的是,Relu函数只在图的一部分变得平坦,左边这里完全是平的,Z状结肠激活功能,在两个地方变平,在图的左边,它平移到图的右边,如果用梯度下降来训练神经网络,当你有一个函数在很多地方都是平坦的,梯度下降会很慢,梯度下降优化了WB的成本函数J,而不是优化激活功能,但是激活函数是计算中的一部分,这导致在wb的成本函数j中有更多的位置,也是平的,坡度小,学习速度慢,研究人员发现,使用relu激活函数可以使你的神经网络学习得更快一点,如果你想决定隐藏层使用什么激活功能,Relu激活功能已经成为迄今为止最常见的选择。

总结一下,对于输出层,使用Z状结肠,如果有二进制分类问题,线性,如果y是一个可以具有正值或负值的数,或者使用relu,如果y只能取正值或零正值或非负值,对于隐藏的图层,只使用relu作为默认激活函数,在张量流中,与其说激活等于Z状结肠,对于隐藏的图层,要求TensorFlow使用relu激活函数,然后对于输出层,它使用Z状结肠激活功能,但是如果使用线性激活函数,该函数显示了它的语法。

有了这组更丰富的激活函数,将会很好的建立比上一次更强大的神经网络,仅使用Z状结肠激活功能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2238344.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【学习记录】使用CARLA录制双目摄像头SLAM数据

一、数据录制 数据录制的部分参考了网上的部分代码,代码本身并不复杂,基本都是简单的CARLA语法,关键的一点在于,CARLA内部本身并没有预设的双目摄像头,需要我们添加两个朝向相同的摄像头来组成双目系统,这…

[论文粗读][REALM: Retrieval-Augmented Language Model Pre-Training

引言 今天带来一篇检索增强语言模型预训练论文笔记——REALM: Retrieval-Augmented Language Model Pre-Training。这篇论文是在RAG论文出现之前发表的。 为了简单,下文中以翻译的口吻记录,比如替换"作者"为"我们"。 语言模型预训练…

【人工智能】ChatGPT多模型感知态识别

目录 ChatGPT辅助细化知识增强!一、研究背景二、模型结构和代码任务流程一:启发式生成 三、数据集介绍三、性能展示实现过程运行过程训练过程 ChatGPT辅助细化知识增强! 多模态命名实体识别(MNER)最近引起了广泛关注。…

【黑马点评debug日记】

q1:登录无session跳转主页 p30,页面登录后返回,然后点击我的,需要重新设置,拦截器都没有问题。 参考: redis 黑马点评p30 login没有正常跳转,修改前端代码后还是一直跳转主界面_黑马点评登录后跳转到主页…

地面远阴影对光伏电站的影响

影响因素 1、太阳高度角和方位角 太阳高度角是指太阳光的入射方向和地平面之间的夹角。太阳高度角随时间、季节和地理位置的变化而变化。 方位角是指太阳光线在水平面上的投影与正南方向的夹角。方位角也随时间和地理位置的变化而变化。 可以通过天文公式或者专业的太阳位置…

消息队列高级

目录 消息可靠性 生产者消息确认 第一步:修改application.yml配置文件信息 第二步:定义发送者确认confirm回调方法 第三步:创建消息发送者回执return回调方法(确保消息从交换机到消息队列) 总结: 消息持…

宏观经济学笔记

【拯救者】宏观经济学速成 国民生产总值GNP: GNP 衡量一国(地区)成员在一定时期内运用生产要素所生产的全部最终产品和服务的市场价值。凡是本国国民所 创造的收入,不管生产要素是否在国内,都计入本国GNP中。 GDP本国居民在本国创造的价值外国居民在本国…

ONLYOFFICE 8.2测评:功能增强与体验优化,打造高效办公新体验

引言 随着数字化办公需求的不断增长,在线办公软件市场竞争愈加激烈。在众多办公软件中,ONLYOFFICE 无疑是一个颇具特色的选择。它不仅支持文档、表格和演示文稿的在线编辑,还通过开放的接口与强大的协作功能,吸引了众多企业和个人…

独显装完ubuntu后启动黑屏显示/dev/sda:clean files blocks的解决方案

解决方案如下: 选中Ubuntu按E键 在编辑界面倒数第2行的linux那行(后面有quiet splash选项)的最后添加nomodeset 然后按F10保存重启 然后管理员权限打开/etc/modprobe.d/blacklist.conf,在文件末尾添加: blacklist…

[Docker#2] 发展历史 | Namespace环境隔离 | Cgroup资源控制

目录 1.发展历史 Jail 时代 云时代 云原生时代 技术标准的确立 虚拟机 vs Docker 2. 容器化技术 2.1 Namespace 命令详解 1. dd 命令 2. mkfs 命令 3. df 命令 4. mount 命令 5. unshare 命令 实战 进程隔离 文件隔离 2.2 CGroup 相关命令 2.1 pidstat 2.…

AI生活之我用AI处理Excel表格

AI生活之我用AI处理Excel表格 场景再现AI提问词AI代码运行调试结果心得感受 场景再现 因学习需要,整理了某个题库,方便自己刷题使用。 已将每套题打上了制定标签,得到一个Excel表格。截图如下: 需求是:一共35套题&…

Stable Diffusion Web UI - ControlNet 姿势控制 openpose

openpose 是 ControlNet 中常用的控制模式之一。 通过 openpose 可以锁定人物姿势,把姿势信息传递给 Stable Diffusion 扩散模型,让其在扩散生成图片的时候遵照特定的任务姿势。 通过 openpose 能够得到类似如下效果: 同样的姿势&#xff0…

第三百一十九节 Java线程教程 - Java线程中断

Java线程教程 - Java线程中断 我们可以通过使用interrupt()方法中断一个活动的线程。 这个方法调用在线程只是一个指示。它是由线程如何响应中断。 例子 下面的代码显示了中断主线程并打印线程中断状态的代码。 public class Main {public static void main(String[] args)…

人工智能(AI)和机器学习(ML)技术学习流程

目录 人工智能(AI)和机器学习(ML)技术 自然语言处理(NLP): Word2Vec: Seq2Seq(Sequence-to-Sequence): Transformer: 范式、架构和自注意力: 多头注意力: 预训练、微调、提示工程和模型压缩: 上下文学习、思维链、全量微调、量化、剪枝: 思维树、思维…

Cynet:全方位一体化安全防护工具

前言 1999年,布鲁斯施奈尔曾说过:“复杂性是安全最大的敌人。”彼时还是19年前,而现在,网络安全已然变得更加繁杂。 近日我在网上冲浪过程中发现了这么一个平台性质的软件,看似具有相当强的防护能力。 根据Cynet的描…

可变类型参数

将形参设为可变类型参数,首先自己的函数要先有一个确定的形参,然后剩余的参数为 ... 用到三个宏,va_list, va_start, va_arg . va_list: 当作一个类型,底层是一个char* 被 typedef va_strat: 先定义一个va_list 类型的变量&#x…

AlphaFold3 开源啦!喜大普奔!

2024年5月8日,AlphaFold3 正式发布!时隔半年,今天,AlphaFold3 终于开源啦!🎉 不过别太激动哈哈哈哈哈,权重还是要额外申请的! 半年前,AlphaFold3 的发布激起了学术界的广…

什么是多因素身份验证(MFA)的安全性?

多因素身份验证(MFA)简介 什么是MFA 多因素身份验证(MFA)是一种安全过程,要求用户在授予对系统、应用程序或账户的访问权限之前提供两种或多种形式的验证。仅使用单个因素(通常是用户名和密码)保护资源会使它们容易受到泄露,添加…

Autosar CP Can State Mangement规范导读

CanSM的主要功能 CAN网络通信模式控制 管理CAN网络的启动、停止和不同通信模式(如全通信、静默通信、无通信)之间的切换。通过状态机实现对CAN网络状态的精确控制,确保网络在不同条件下稳定运行。错误处理与状态报告 根据AUTOSAR基础软件的错误分类方案处理错误,包括开发错…

【Python爬虫实战】全面解析 DrissionPage:简化 Python 浏览器自动化的三种模式

🌈个人主页:易辰君-CSDN博客 🔥 系列专栏:https://blog.csdn.net/2401_86688088/category_12797772.html ​ 目录 前言 一、DrissionPage简介 (一)ChromiumPage (二)WebPage &a…