神经网络知识点整理

news2025/3/31 16:31:46

目录

​一、深度学习基础与流程

二、神经网络基础组件

三、卷积神经网络(CNN)​编辑

四、循环神经网络(RNN)与LSTM

五、优化技巧与调参

六、应用场景与前沿​编辑

七、总结与展望​编辑


一、深度学习基础与流程
  1. 机器学习流程

    • 数据获取:收集结构化或非结构化数据(如CIFAR-10数据集,含5万张32x32训练图像、10类标签)。

    • 特征工程

      • 文本数据:分词、词袋模型(BOW)、N-Gram。

      • 图像数据:标准化(均值/方差)、边缘检测(传统方法如Sobel算子)。

    • 模型构建:选择算法(如线性回归、K近邻、神经网络),定义损失函数与优化目标。

    • 评估与应用:划分训练集、验证集、测试集,使用交叉验证调参,部署模型至实际场景。

  2. 特征工程核心作用

    • 数据特征决定模型上限:例如图像分类中,边缘特征(传统方法)或深度特征(卷积网络)的提取。

    • 预处理技术

      • 标准化:$X_{norm} = \frac{X-\mu}{\sigma}$

      • 缺失值处理:删除或填充(均值/中位数)。

    • 特征表示

      • 文本:TF-IDF向量、词嵌入(Word2Vec)。

      • 图像:像素矩阵、颜色通道分离(RGB)。


二、神经网络基础组件
  1. 线性函数与得分计算

    • 公式

      $f(x,W)=Wx+b \quad $(输入x \in \mathbb{R}^d,权重 W \in \mathbb{R}^{k \times d}
    • 示例:CIFAR-10分类任务中,输入为3072维(32x32x3),输出10类得分,权重矩阵大小为 10×307210×3072。

  2. 损失函数(Loss Function)

    • 多类SVM损失(Hinge Loss)

      $L_i = \sum_{j \neq y_i} \max(0, s_j - s_{y_i} + 1)$
    • 计算示例:若真实类别得分$s_{y_i} = 3.2$,其他类别得分 $s_j = 5.1, -1.7$,则损失为$\max(0, 5.1 - 3.2 + 1) + \max(0, -1.7 - 3.2 + 1) = 2.9$
    • 交叉熵损失(Softmax)

      $Li=-\log\left(\frac{e^{s_{y_i}}}{\sum_j e^{s_j}}\right)$
    • 输出概率化:Softmax将得分转换为概率分布(归一化指数函数)。
  3. 梯度下降与反向传播

    • 梯度下降类型

      类型公式特点
      批量梯度下降$\theta_j := \theta_j - \alpha\frac{1}{m}\sum_{i=1}^m(h_0(x^{(i)}) - y^{(i)}x_j^{(i)})$全局最优但计算量大
      随机梯度下降$\theta_j := \theta_j + \alpha(y^{(i)} - h_\theta(x^{(i)}))x_j^{(i)}$高效但噪声大
      小批量梯度下降$\theta_j := \theta_j - \alpha\frac{1}{B}\sum_{k=1}^B(h_\theta(x^{(k)}) - y^{(k)}x_j^{(k)})$平衡效率与稳定性(B=32/64)
    • 反向传播

      • 链式法则:逐层计算梯度,例如Sigmoid激活函数的导数为 $\frac{\partial z}{\partial x} = \sigma(x)(1-\sigma(x))$

      • 计算图分解:将复杂运算拆分为加法门、乘法门、MAX门等基本单元,分别计算局部梯度。


三、卷积神经网络(CNN)
  1. 核心操作与组件

    • 卷积层

      • 功能:提取局部特征,参数共享减少计算量。

      • 输出尺寸计算

        $H_{out} = \frac{H_{in} - F + 2P}{S} + 1$(F: 卷积核尺寸, P: 填充, S: 步长)
      • 示例:输入32x32x3,使用10个5x5x3卷积核(步长1,填充2),输出32x32x10。

    • 池化层

      • 最大池化:取窗口内最大值,减少特征图尺寸(如2x2池化,步长2,尺寸减半)。

      • 平均池化:取窗口内平均值,保留整体信息。

    • 激活函数

      类型公式特点
      ReLU$f(x) = max(0,x)$缓解梯度消失,计算高效
      Sigmoid$f(x) = \frac{1}{1+e^{-x}}$输出概率(0~1),易饱和
  2. 经典网络架构

    • AlexNet

      • 结构:5卷积层 + 3全连接层。

      • 创新点:首次使用ReLU、Dropout、GPU加速训练。

      • 参数示例:第一层卷积核11x11,步长4,输出55x55x96。

    • VGGNet

      • 核心思想:堆叠3x3小卷积核(参数量更少,非线性更强)。

      • 感受野计算:3层3x3卷积等效于1层7x7卷积,参数量减少33%。

    • ResNet

      • 残差块:解决深层网络退化问题,公式 $H(x) = F(x) + x$

      • 优势:允许训练数百层网络,ImageNet Top-5错误率降至3.57%。

  3. CNN优势

    • 参数共享:同一卷积核在整张图像滑动,显著降低参数量。

    • 平移不变性:特征检测不受位置影响。

    • 层次化特征

      • 浅层:边缘、纹理(如Gabor滤波器效应)。

      • 深层:语义信息(如物体部件、类别)。


四、循环神经网络(RNN)与LSTM
  1. RNN基础

    • 结构:隐藏状态 ℎ𝑡ht​ 传递时序信息。

      $h_t = \sigma(W_hh_{t-1} + W_xx_t + b)$
    • 应用场景:文本生成、时间序列预测、机器翻译。

    • 缺陷:梯度消失/爆炸,难以捕捉长期依赖。

  2. 长短期记忆网络(LSTM)

    • 核心门控机制

      门类型公式功能
      遗忘门$f_t = \sigma(W_f[h_{t-1},x_t] + b_f)$决定丢弃哪些历史信息
      输入门$i_t = \sigma(W_i[h_{t-1},x_t] + b_i)$更新细胞状态的新信息
      输出门$o_{t}=\sigma\left(W_{o}\left[h_{t-1}, x_{t}\right]+b_{o}\right)$控制当前隐藏状态的输出
    • 细胞状态更新

      $C_{t}=f_{t} \odot C_{t-1}+i_{t} \odot \tanh \left(W_{C}\left[h_{t-1}, x_{t}\right]+b_{C}\right)$
    • 优势:通过细胞状态长期记忆关键信息,缓解梯度消失。


五、优化技巧与调参
  1. 数据预处理

    • 标准化:零均值化(X -= np.mean(X, axis=0))和归一化(X /= np.std(X, axis=0))。

    • 数据增强

      • 图像:旋转、裁剪、加噪声。

      • 文本:同义词替换、随机删除。

  2. 参数初始化

    • Xavier初始化:适应激活函数,保持输入输出方差一致。

      $W\sim\mathcal{N}\left(0,\sqrt{\frac{2}{n_{in}+n_{out}}}\right)$
    • He初始化:专为ReLU设计,方差为$\frac{2}{n_{in}}$

  3. 正则化技术

    • Dropout:训练时随机丢弃神经元(如丢弃率0.5),减少过拟合。

    • L2正则化:惩罚大权重,损失函数添加 $\lambda\sum W_{ij}^{2}$

    • 早停法:监控验证集损失,连续多次未改善则终止训练。

  4. 超参数选择

    • 学习率:初始值常设为0.001,配合学习率衰减(如每10轮减半)。

    • 批量大小:权衡内存与梯度稳定性(常用32/64/128)。


六、应用场景与前沿
  1. 计算机视觉

    • 图像分类:ResNet在ImageNet上Top-5错误率低于5%。

    • 目标检测:Faster R-CNN(两阶段)、YOLO(单阶段实时检测)。

    • 图像生成:GAN生成逼真图像,StyleGAN实现可控生成。

  2. 自然语言处理

    • 机器翻译:Transformer模型(如BERT、GPT-3)取代RNN。

    • 情感分析:LSTM捕捉上下文依赖,BERT微调实现高精度。

  3. 跨领域应用

    • 医疗影像:CNN辅助诊断肺结节、视网膜病变。

    • 自动驾驶:CNN处理实时路况,LSTM预测车辆轨迹。


七、总结与展望
  1. 当前挑战

    • 计算资源需求:大模型训练依赖高性能GPU/TPU集群。

    • 可解释性:黑箱模型决策过程难以解释(如医疗领域)。

  2. 未来方向

    • 轻量化模型:MobileNet、EfficientNet提升移动端部署效率。

    • 自监督学习:利用无标注数据预训练(对比学习、掩码语言模型)。

    • 多模态融合:联合处理图像、文本、语音(如CLIP、DALL-E)。

通过持续优化模型架构与训练策略,神经网络将继续推动人工智能在复杂任务中的突破,赋能工业、医疗、交通等领域的智能化升级。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2323498.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

远程办公新体验:用触屏手机流畅操作电脑桌面

在数字化浪潮的推动下,远程办公已从“应急选项”转变为职场常态。无论是居家隔离、差旅途中,还是咖啡厅临时办公,高效连接公司电脑的需求从未如此迫切。然而,传统的远程控制软件常因操作复杂、画面卡顿或功能限制而影响效率。如今…

【面试八股】:常见的锁策略

常见的锁策略 synchronized (标准库的锁不够你用了)锁策略和 Java 不强相关,其他语言涉及到锁,也有这样的锁策略。 1. 悲观锁,乐观锁(描述的加锁时遇到的场景) 悲观锁:预测接下来…

【python】OpenCV—Hand Detection

文章目录 1、功能描述2、代码实现3、效果展示4、完整代码5、参考6、其它手部检测和手势识别的方案 更多有趣的代码示例,可参考【Programming】 1、功能描述 基于 opencv-python 和 mediapipe 进行手部检测 2、代码实现 导入必要的库函数 import cv2 import media…

Flink中聚合算子介绍

前言 在flink api中,聚合算子是非常常用的。所谓的聚合就是在分组的基础上做比较计算的操作。下面通过几个简单案例来说明聚合算子的用法和注意事项。 聚合算子案例 因为flink的api操作流程比较固定,从获取执行环境》获取数据源》执行数据转换操作》输…

【基础】Windows 中通过 VSCode 使用 GCC 编译调试 C++

准备 安装 VSCode 及 C 插件。通过 MSYS2 安装 MinGW-w64 工具链,为您提供必要的工具来编译代码、调试代码并配置它以使用IntelliSense。参考:Windows 中的 Linux 开发工具链 验证安装: gcc --version g --version gdb --version三个核心配…

知识就是力量——物联网应用技术

基础知识篇 一、常用电子元器件1——USB Type C 接口引脚详解特点接口定义作用主从设备关于6P引脚的简介 2——常用通信芯片CH343P概述特点引脚定义 CH340概述特点封装 3——蜂鸣器概述类型驱动电路原文链接 二、常用封装介绍贴片电阻电容封装介绍封装尺寸与功率关系&#xff1…

(windows)conda虚拟环境下open-webui安装与启动

一、创建conda环境 重点强调下,如果用python pip安装,一定要选择python3.11系列版本,我选的3.11.9。 如果你的版本不是这个系列,将会出现一些未知的问题。 conda create -n open-webui python3.11 -y如下就创建好了 二、安装o…

资本运营:基于Python实现的资本运作模拟

基于Python实现的一个简单的资本运营框架; ​企业生命周期演示:观察初创→成长→上市→并购全流程 ​行业对比分析:不同行业的财务特征和估值差异 ​资本运作策略:体验IPO定价、投资决策、并购整合等操作 ​市场动态观察&#xff…

当EFISH-SBC-RK3576遇上区块链:物联网安全与可信数据网络‌

在工业物联网场景中,设备身份伪造与数据篡改是核心安全隐患。‌EFISH-SBC-RK3576‌ 通过 ‌硬件安全模块 区块链链上验证‌,实现设备身份可信锚定与数据全生命周期加密,安全性能提升10倍以上。 1. 安全架构:从芯片到链的端到端防…

分布式系统面试总结:3、分布式锁(和本地锁的区别、特点、常见实现方案)

仅供自学回顾使用,请支持javaGuide原版书籍。 本篇文章涉及到的分布式锁,在本人其他文章中也有涉及。 《JUC:三、两阶段终止模式、死锁的jconsole检测、乐观锁(版本号机制CAS实现)悲观锁》:https://blog.…

【VSCode的安装与配置】

目录: 一:下载 VSCode二:安装 VSCode三:配置 VSCode 一:下载 VSCode 下载地址:https://code.visualstudio.com/download 下载完成之后,在对应的下载目录中可以看到安装程序。 二:安装…

脱围机制-react18废除forwardRef->react19直接使用ref的理解

采用ref&#xff0c;可以在父组件调用到子组件的功能 第一步&#xff1a;在父组件声明ref并传递ref interface SideOptsHandle {refreshData: () > Promise<void> }const sideOptsRef useRef<SideOptsHandle>(null) // 创建 ref<SideOpts ref{sideOptsRef…

Windows中安装git工具

下载好git安装包 点击next 选择安装目录 根据需要去勾选 点击next 点击next PATH环境选择第二个【Git...software】即可&#xff0c;再点击【Next】。 第一种配置是“仅从Git Bash使用Git”。这是最安全的选择&#xff0c;因为您的PATH根本不会被修改。您只能使用 Git Bash 的…

【CSS】CSS 使用全教程

CSS 使用全教程 介绍 CSS&#xff08;层叠样式表&#xff0c;Cascading Style Sheets&#xff09;是一种样式表语言&#xff0c;用于描述 HTML 或 XML 文档的布局和外观&#xff0c;它允许开发者将文档的内容结构与样式表现分离&#xff0c;通过定义一系列的样式规则来控制网页…

全分辨率免ROOT懒人精灵-自动化编程思维-设计思路-实战训练

全分辨率免ROOT懒人精灵-自动化编程思维-设计思路-实战训练 1.2025新版懒人精灵-实战红果搜索关键词刷视频&#xff1a;https://www.bilibili.com/video/BV1eK9kY7EWV 2.懒人精灵-全分辨率节点识别&#xff08;红果看广告领金币小实战&#xff09;&#xff1a;https://www.bili…

如何在IDEA中借助深度思考模型 QwQ 提高编码效率?

通义灵码上新模型选择功能&#xff0c;不仅引入了 DeepSeek 满血版 V3 和 R1 这两大 “新星”&#xff0c;Qwen2.5-Max 和 QWQ 也强势登场&#xff0c;正式加入通义灵码的 “豪华阵容”。开发者只需在通义灵码智能问答窗口的输入框中&#xff0c;单击模型选择的下拉菜单&#x…

LVS的 NAT 模式实验

文章目录 目录 文章目录 概要 IP规划与题目分析 实验步骤 一、nginx配置&#xff08;rs1、rs2、rs3&#xff09; 二、LVS配置 三、客户端配置 四、防火墙和selinux配置 实验结果 痛点解答 概要 LVS/NAT lvs/nat网络地址转换模式&#xff0c;进站/出站的数据流量经过分发器(IP负…

【MacOS】2025年硬核方法清理MacOS中的可清除空间(Purgeable space)

背景 MacOS使用一段时间之后&#xff0c;硬盘空间会越来越少&#xff0c;但自己的文件没有存储那么多&#xff0c;在储存空间中可以发现可用空间明明还剩很多&#xff0c;但磁盘工具却显示已满&#xff0c;见下图。 尝试解决 df -h 命令却发现磁盘已经被快被占满。使用du命…

ue材质学习感想总结笔记

2025 - 3 - 27 1.1 加法 对TexCoord上的每一个像素加上一个值&#xff0c;如果加上0.1&#xff0c;0.1&#xff0c; 那么左上角原来0,0的位置变成了0.1,0.1 右上角就变成了1.1,1.1&#xff0c;那么原来0,0的位置就去到了左上角左上边&#xff0c;所以图像往左上偏移。 总而言…

信而泰PFC/ECN流量测试方案:打造智能无损网络的关键利器

导语&#xff1a; AI算力爆发的背后&#xff0c;如何保障网络“零丢包”&#xff1f; 在当今数据中心网络中&#xff0c;随着AI、高性能计算&#xff08;HPC&#xff09;和分布式存储等应用的飞速发展&#xff0c;网络的无损传输能力变得至关重要。PFC&#xff08;基于优先级的…