【机器学习300问】70、向量化技术来计算神经网络时维度如何确保正确?

news2024/9/19 9:42:58

一、向量化技术在进行神经网络计算时的优势

        向量化是一种优化技术,通过使用数组操作代替for循环,可以大大提高代码的性能和效率。在深度学习中尤其明显,可以提高计算效率、简化代码、优化内存使用。

二、如何确保计算时维度是正确的?

(1)先回顾一下神经网络的计算

        用简单的逻辑回归来举例,用圆圈表示神经网络的计算单元,逻辑回归的计算有两个步骤:

  1. 首先你按步骤计算出z = w^Tx+b
  2. 然后通过激活函数g计算出a

一个神经网络只是这样子重复做了好多次计算。

以一个两层的神经网络为例: 

它的第一层计算公式如下:

(2)权重矩阵的维度

对于权重矩阵W^{[l]}的维度而言:

  • 行维度是神经网络第^{[l]}层节点的个数n^{[l]}
  • 列维度是前一层^{[l-1]}节点的个数n^{[l-1]}
  • W^{[l]}:(n^{[l]},n^{[l-1]})

举例说明:对于第一层权重矩阵来说,它的前一层是输出层,所以输出层节点的个数是特征的数量。如下图

 (3)输入矩阵的维度

如果输入的是一个样本,那么还不能叫做输入矩阵,还只是输入列向量a^{[0]}:(n^{[0]},1)

如果输入的是训练集(m个样本),此时就能称为输入矩阵。

对于输入矩阵X也写作A^{[0]}而言:

  • 行维度是特征的数量;
  • 列维度是样本的数量;
  • A^{[0]}=X:(n^{[0]}, m)

 (4)各层输出矩阵的维度

如果只有一个样本,那么各层的输出也只是一个列向量a^{[l]}:(n^{[l]},1)

如果有m个样本参与训练,那么此时就能成为输出矩阵A

  • 行的维度是第^{[l]}层节点的个数n^{[l]}
  • 列的维度是训练样本的个数m
  • A^{[l]}:(n^{[l]},m)

(5)偏置列向量的维度

偏置是一个列向量,它在参与计算的时候会通过python的广播机制,变成一个矩阵。

对于第^{[l]}层偏置列向量b^{[l]}而言,它的维度是b^{[l]}:(n^{[l]},1)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1597603.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【讲解下常见的Web前端框架】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者,CSDN实力新星,CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共…

1260. 二维网格迁移

1260. 二维网格迁移 原题链接:完成情况:解题思路:参考代码:错误经验吸取 原题链接: 1260. 二维网格迁移 https://leetcode.cn/problems/shift-2d-grid/description/ 完成情况: 解题思路: 这…

【Bugku】sqli-0x1

1.打开靶场,进入实验场景 2.按F12查看源代码,发现有一个/?pls_help路径,在url后加上查看。 3.得到的php源码 首先,代码通过 error_reporting(0) 和 error_log(0) 关闭了错误报告,这可以防止攻击者从错误信息中获取敏…

Rust面试宝典第2题:逆序输出整数

题目 写一个方法,将一个整数逆序打印输出到控制台。注意:当输入的数字含有结尾的0时,输出不应带有前导的0。比如:123的逆序输出为321,8600的逆序输出为68,-609的逆序输出为-906。 解析 这道题本身并没有什么…

【python】python天气气候数据抓取分析可视化(源码+数据+可视化+报告)【独一无二】

👉博__主👈:米码收割机 👉技__能👈:C/Python语言 👉公众号👈:测试开发自动化【获取源码商业合作】 👉荣__誉👈:阿里云博客专家博主、5…

记录flume运行时报NullPointerException异常

【背景说明】 我要起一个将kafka上的topic_log主题中的数据上传到hdfs上的flume进程。 这是我的flume配置文件脚本: #定义组件 a1.sourcesr1 a1.channelsc1 a1.sinksk1#配置source1 a1.sources.r1.type org.apache.flume.source.kafka.KafkaSource a1.sources.r…

频率域滤波基础(离散傅里叶变换使用填充的缺陷)

本来是个很简单的问题,作者硬是写的这么复杂,翻译还搞错了。重点是我发现作者真正有用的东西没讲到,比如相位和谱如何影响图像。连个转换公式都没有,我只能说作者是在混字数。 首先看关于中心对称是什么意思?我木太明白…

从51到ARM裸机开发实验(009)LPC2138 中断实验

一、场景设计 中断的概念在《从51到ARM裸机开发实验(007) AT89C51 中断实验》中已经介绍过,LPC2138的Keil工程创建在《从51到ARM裸机开发实验(005)LPC2138 GPIO实验》中已经介绍过。本次使用LPC2138来实现一个这样的场景:四个LED依次亮灭,时间…

c++总结笔记(一)

计算机可以将程序转化为二进制指令(即机器码),并由CPU执行,CPU会按照指令的顺序依次执行每个指令。 C语言特点: 简洁高效可移植模块化标准化 C语言的标准 C89(C90)标准C99标准C11标准 导入 使用include导入包含…

postgresql 备份恢复相关知识点整理归纳 —— 筑梦之路

概述 PG一般有两种备份方式:逻辑备份和物理备份 逻辑备份对于数据量大的场景下耗时较长,恢复也会耗时较长 物理备份拷贝文件的方式相对来说耗时较短,跟磁盘读写性能和网络传输性能有关 逻辑备份 pg_dump pg_dump 将表结构及数据以SQL语句…

Angular学习第四天--问题记录及父子组件问题

问题一、 拉取完项目,使用npm install命令的时候遇到的。 解决办法: 在查找网上五花八门的解决方案之后,发现都不能解决。 我的解决办法是: 1. 把package-lock.json给删掉; 2. 把package.json中公司自己库的包给删除掉…

【论文阅读】TransGNN

一、摘要 本文主要是在推荐系统中对GNN的改进。在协同过滤中,主要是对用户-项目交互图进行建模。但是基于GNN的方法遇到了有限的接受域和嘈杂的“兴趣无关”连接的挑战。相比之下,基于Transformer的方法擅长于自适应地和全局地聚合信息但是在大规模交互…

网站如果在日益变化的网络攻击中寻到一线生机

一、引言 在数字化浪潮席卷全球的今天,网络空间早已成为国家安全、经济发展和社会稳定的战略高地。然而,这片看似平静的虚拟世界,实则暗流涌动,网络攻击层出不穷,手段日益翻新,给网站的安全运营带来了前所…

Linux UDP通信系统

目录 一、socket编程接口 1、socket 常见API socket():创建套接字 bind():将用户设置的ip和port在内核中和我们的当前进程关联 listen() accept() 2、sockaddr结构 3、inet系列函数 二、UDP网络程序—发送消息 1、服务器udp_server.hpp initS…

物联网的核心价值是什么?——青创智通

工业物联网解决方案-工业IOT-青创智通 物联网,这个词汇在当今的科技领域已经变得耳熟能详。但当我们深入探索物联网的核心价值时,我们会发现它远不止是一个简单的技术概念,而是一种能够彻底改变我们生活方式和工作方式的革命性力量。 物联网…

OpenCV基本图像处理操作(五)——图像数据操作

数据读取 cv2.IMREAD_COLOR:彩色图像cv2.IMREAD_GRAYSCALE:灰度图像 import cv2 #opencv读取的格式是BGR import matplotlib.pyplot as plt import numpy as np %matplotlib inline imgcv2.imread(cat.jpg)数据显示 #图像的显示,也可以创建多个窗口 c…

P2P通信基本原理

在数字世界的脉络中,点对点(P2P)技术如同一条悄无声息的河流,流经信息的每个角落,连接着世界各地的计算机和设备。这种去中心化的网络模型,不仅打破了传统的客户端-服务器架构的界限,还赋予了数…

✌粤嵌—2024/3/11—跳跃游戏

代码实现&#xff1a; 方法一&#xff1a;递归记忆化 int path; int used[10000];bool dfs(int *nums, int numsSize) {if (path numsSize - 1) {return true;}for (int i 1; i < nums[path]; i) {if (used[path i]) {continue;}path i;used[path] 1;if (dfs(nums, num…

C++|运算符重载(1)|为什么要进行运算符重载

写在前面 本篇里面的日期类型加法&#xff0c;先不考虑闰年&#xff0c;平年的天数&#xff0c;每月的天数统一按30天算&#xff0c;那么每一年也就是360天 目录 写在前面 定义 基本数据类型 自定义数据类型 成员函数解决相加问题 Date类&#xff0b;整形 下一篇----运…

6、JVM-JVM调优工具与实战

前置启动程序 事先启动一个web应用程序&#xff0c;用jps查看其进程id&#xff0c;接着用各种jdk自带命令优化应用 Jmap 此命令可以用来查看内存信息&#xff0c;实例个数以及占用内存大小 jmap -histo 14660 #查看历史生成的实例 jmap -histo:live 14660 #查看当前存活的实…