串联起深度学习的整体,以及其他领域

news2024/12/27 10:38:14

1、从模型拟合(收敛)数据关系出发:y=f(x)\Rightarrow y=net(x)

2、f从简单的一层和两层连接开始,发展;f被表示成net

3、如何判断收敛:\sum_{i=1}^{N} (y-\widehat{y})^{2}\rightarrow 0,即目标函数

4、如何界定任务:x\rightarrow yx表示什么?y表示什么?,例如y表示房价、经济增长率、工资收入、地心引力大小、引力波的幅度等等

5、如何定义模型f,也就是如何定义网络net,比如CNN、RNN、Transformer等等

6、如何收集数据:\left \{ \left ( x_{1},y_{1}\right ),(x_{2},y_{2}) ,...\right \},样本数据,例如:人的需求指向

7、如何训练:

      a、计算预测\widehat{y}=net(x)

      b、计算损失loss=\sum_{i=1}^{N} (y-\widehat{y})^{2}

      c、计算梯度\partial_{ (\mathbf{w},b)}\frac{1}{N}\sum_{i=1}^{N}loss(x^{(i)},y^{(i)},w,b)

      d、更新参数(\mathbf{w},b)\rightarrow (\mathbf{w},b)-\eta\cdot \mathbf{g}

8、梯度是什么?不同层的梯度?怎么计算梯度?

      计算梯度:1)链式法则;2)自动微分

9、优化算法是什么?即\eta的设定方式,固定的,还是变化的,怎么变化。有哪些?

10、小批量数据训练,批量指N大小: 

loss=\sum_{i=1}^{N} (y-\widehat{y})^{2}\rightarrow \sum_{i=1}^{N} (y-net(x))^{2} \rightarrow \mathbf{g} \rightarrow \mathbf{w}

11、前向传播:计算net(x)

12、后向传播,计算梯度,更新参数

13、net包括什么?1)、网络架构 2)、参数

14、参数初始化?方法

15、如何添加层?扩大net的规模?ResNet

16、更新参数w的方式:\mathbf{g} \rightarrow \mathbf{w},梯度

17、模型有哪些?怎么发展的?如何设计

18、生成式人工智能?

19、概率

20、过拟合指什么?loss_{train}>loss_{validation}

21、什么是泛化?y=net(x),实际中(或者条件发生变化的时候) y的结果好使不?

22、怎么判断泛化能力?取决于验证的数据集,看loss_{validation}的大小

23、参数与模型之间的关系?模型 = 网络架构 + 参数

24、什么叫大模型?参数规模超过10,0000,0000,10亿或更大

25、大模型的挑战?收敛并有效,好用

26、现实中训练模型所面临的挑战?梯度消失、梯度爆炸、过拟合、欠拟合、数据分布\left \{ \left ( x,y \right ) \right \}发生变化、计算量大(计算性能不够)

27、数据预处理raw data:x{}'\rightarrow x

28、结果:想要的,y

29、串联其他领域的知识,例如:信息论领域的,对目标函数或代价函数的设定,数据生成的概率,特定的模式等等,

串联的方式有:y=net(x);挑选net的方式,依据loss=\sum_{i=1}^{N} (y-\widehat{y})^{2},设定预期方向(符合大多数人的预期方式)

30、串联数学,y=f(x)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1072244.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

解决ubuntu中没有网络连接的图标

现象:Ubuntu连接网络 在设置中没有显示网络图标 解决方案: 命令为 sudo nmcli networking off sudo nmcli networking on sudo service network-manager restart 重启ubuntu,网络连接完成

[MongoDB]-权限验证管理

[MongoDB]-权限验证管理 senge | 2023年9月 背景说明:现有两套MongoDB副本集群给开发人员使用时未开启认证。 产生影响:用户若输入账号以及密码则会进行校验,但用户可以在不输入用户名和密码的情况下也可直接登录。 倘若黑客借此进行攻击勒索…

nSoftware IPWorks IoT 2022 Java 22.0.8 Crack

物联网库,使用这个轻量级组件库,可以在任何平台上的应用程序中轻松实现物联网 (IoT) 通信协议。 nSoftware IPWorks IoT 最新的 IPWorks IoT 现已推出!最新版本的 IPWorks IoT 具有现代化和简化的体验,包括 .NET 中的异步和跨平台…

LeetCode竞赛---第 366 场周赛

Problem: 100103. 分类求和并作差 📚 题目:给你两个正整数 n 和 m 。 现定义两个整数 num1 和 num2 ,如下所示: num1:范围 [1, n] 内所有 无法被 m 整除 的整数之和。num1:范围 [1, n] 内所有 无法被 m 整…

OPPO realme 真我 一加 刷机工具下载 ColorOS Upgrade Tool

Download Realme Upgrade Tool for Windows Download ColorOS Upgrade Tool for Windows Realme升级工具是由Realme开发的Windows应用程序,可帮助用户升级其Realme设备上的固件。此工具支持在Realme Ul 3.0或更高版本上运行的Realme 设备。OPPO realme 真我 一加 …

下载安装JRebel插件

settings -> plugis -> JRebel 下载 然后重启idea 激活 现在呢,2023年啦~所以网址得是最先哒~ http://127.0.0.1:8888/{GUID} GUID从下面的网址生成,邮箱随意~ Create GUID online (guidgen.com) LS client not configured. 删除用户文件夹…

C++ | 仿函数

仿函数的用法 在C语言时期,如果想要实现回调函数或者是函数参数需要传入函数,通常是用的函数指针。而在C中,我们一般用仿函数来平替。 仿函数,又叫函数对象。虽然名字叫仿函数,但本质上就是一个重载了 operator() 的类…

金融信创黄金三年:小程序生态+跨端技术框架构建

小程序应用场景生态的发展,受益于开源技术的发展,以及响应快速开发的实际业务需求,一些跨端框架如:Electron、wxPython、FinClip、Tauri、Flutter等发展也非常迅速,小程序生态跨端技术框架,不仅能满足自有超…

Python3操作文件系列(三):OpenPyXl模块三大对象操作Excel文件

Python3操作文件系列(一):判断文件|目录是否存在三种方式 Python3操作文件系列(二):文件数据读写|二进制数据读写 Python3数据文件读取与写入 Python3操作文件系列(三):excel文件读写数据 Python操作Excel的三大对象认知升维: Excel对象模型:excel脚本编程的主要…

Idea热部署插件(JRebel for IntelliJ)激活(适用于内网、外网激活)

一.下载激活需要的Jar包 网盘地址: 链接:https://pan.baidu.com/s/1BYS9rE_3EA_isFfz8ORRDg 提取码:1i0c二.进入到第一步下载的jar目录下,运行cmd并且通过java-jar运行jar包 三.运行jar后,将激活地址复制到idea上&a…

docker基本用法

docker 基础常用命令 导入镜像 方式1 docker import kylin_sp2.tar.xz kylin-build:build-hs-220824方式2 [rootccc64 caojingjing]# cat kylin_sp2.tar.xz | docker import - kylin-build:build-hs-220824 sha256:c02cba7686b88e633eff58cddba3189712cbe7f449f2fd37b2033158a…

【JUC系列-10】深入理解ArrayBlockingQueue的底层原理

JUC系列整体栏目 内容链接地址【一】深入理解JMM内存模型的底层实现原理https://zhenghuisheng.blog.csdn.net/article/details/132400429【二】深入理解CAS底层原理和基本使用https://blog.csdn.net/zhenghuishengq/article/details/132478786【三】熟练掌握Atomic原子系列基本…

什么是研发效能DevOps?研发效能方程式又是什么?

研发效能DevOps是一种理念一个方法,旨在通过优化软件开发、运营和维护的流程,实现高效、高质量、快速的价值交付。 研发效能需要解决的是:如何平衡价值、效率、成本这三者的关系,同时寻求可持续发展。研发效能的目标是持续低成本…

多因素共同作用,行业格局或将发生变化

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 1、政经环境改善,数控机床有望走出寒冬 近年来,国家不断提高对于高端数控机床的扶持力度与关注。长…

高效解决 TypeError : ‘ numpy._DTypeMeta‘ object is not subscriptable 问题

文章目录 问题描述解决问题 问题描述 解决问题 参考博文 打开报错位置 AppData\Roaming\Python\Python39\site-packages\cv2\typing\ 添加single-quotes,即单引号 博主说The trick is to use single-quotes to avoid the infamous TypeError: ‘numpy._DTypeMeta’…

ChatGPT可以用于写留学文书嘛?对留学生有什么影响?

自从4月份ChatGPT4.0发布以后,越来越多的AI工具被应用于我们的日常生活当中,而对于学生来说,尤其是在读的留学生朋友,或多或少都使用过,无论是写文章综述还是项目总结,都有十分出色的效果。 01.ChatGPT 可…

算法题:买卖股票的最佳时机含手续费(动态规划解法贪心解法-详解)

这道题有两种解法:动态规划 or 贪心算法。 贪心算法的提交结果要比动态规划好一些,总体上动态规划的解法更容易想到。(完整题目附在了最后) 1、动态规划解法 设置两个数,dp[0]表示遍历到股票prices[i]时手里没有股…

SSM整合RabbitMQ,Spring4.x整合RabbitMQ

SSM整合RabbitMQ目录 前言版本实现目录参考pom.xml依赖rabbitmq.properties配置文件spring-rabbitmq.xmlspring-mvc.xml或applicationContext.xmlrabbitmq目录下MessageConsumer.javaMessageConsumer2.javaMessageProducer.javaMessageConstant.java 测试调用 扩展消息重发 前言…

飞桨大模型套件:一站式体验,性能极致,生态兼容

在Wave Summit 2023深度学习开发者大会上,来自百度的资深研发工程师贺思俊和王冠中带来的分享主题是:飞桨大模型套件,一站式体验,性能极致,生态兼容。 大语言模型套件PaddleNLP 众所周知PaddleNLP并不是一个全新的模型…

Google-CTF-2016-Stego.pcap数据包解析

Google-CTF-2016(a-cute-stegosaurus-100) 前言:别人发的题目 随便看看 记录一下解题过程! 知识点: 在报文段中有 6Bit 的状态控制码, 分别如下tcp URG:紧急比特(urgent)&#x…