人工智能AIGC培训讲师叶梓介绍及AI强化学习培训提纲

news2024/11/17 18:27:51

叶梓,上海交通大学计算机专业博士毕业,高级工程师。主研方向:数据挖掘、机器学习、人工智能。历任国内知名上市IT企业的AI技术总监、资深技术专家,市级行业大数据平台技术负责人。个人主页:大数据人工智能AI培训讲师叶梓_新浪博客 (sina.com.cn)

长期负责城市信息化智能平台的建设工作,开展行业数据的智能化应用研发工作,牵头多个省级、市级行业智能化信息系统的建设,主持设计并搭建多个省级、市级行业大数据平台。参与国家级人工智能课题,牵头上海市级人工智能示范应用课题研究。

带领团队在相关行业领域研发多款人工智能创新产品,成功落地多项大数据、人工智能前沿项目,其中信息化智能平台项目曾荣获:“上海市信息技术优秀应用成果奖”。带领团队在参加国际NLP算法大赛,获得Top1%的成绩。参与国家级、省级大数据技术标准的制定,曾获省部级以上的科技创新一等奖。

项目经历:

  1. 上海市城市信息化人工智能项目 项目负责人
  • 研发智能服务系统,包括:元宇宙与虚拟数字人、基于人工智能的内容生成(AIGC)、基于NLP技术的对话系统、基于深度学习的图像识别系统、基于智能推理的行业推荐系统。

相关工作:

作为项目总负责,负责项目管理、产品研发、系统分析、技术指导、算法指导等。

  1. 上海市城市智能信息化工程 总工程师
  • 采用大数据技术,建设市级信息平台,完成试点单位接入并采集居民相关信息,实现市级平台档案等服务,并实现所有单位的全面接入。
  • 为解决超量数据的存储与计算的问题,搭建了存储全市数据的云计算平台,并在其上进行了基于大数据的分析和挖掘工作。

相关工作:

作为总工程师,负责技术管理、系统分析、云平台数据存储设计、数据分析与挖掘指导、开发指导。

  1. 上海市城市信息化领域智能联网工程 技术经理
  • 建设内容包括:接入单位的联网;智能卡的实现;城市信息化智能平台的升级;科研平台的扩展与升级;建立决策支持系统;评估体系的展示设计;短信平台的实现;违规操作的提醒;协同智能服务平台的实现等。

相关工作:

作为技术经理负责总体架构设计、接口设计、大数据平台设计、AI技术指导等。

3. 主攻方向

具有扎实的数据挖掘、机器学习、深度学习等人工智能理论基础;了解AIGC等技术前沿动态。

精通机器学习、深度学习的理论、模型、算法、调优等;精通算法设计;

熟悉深度学习在自然语言处理、计算机视觉两大核心领域的实用技巧;

15年以上的程序开发经验,熟悉常用程序开发架构,独立完成多个产品级软件的设计与开发。

4.授课风采

  • 日立电梯 (中国) 有限公司

  • 中国管理科学研究院合作单位系列课程

  • 中国电信云公司上海研发中心

 

  • SONY

         

强化学习与深度强化学习

前言:

强化学习是当前最热门的研究方向之一,广泛应用于机器人学、电子竞技等领域。本课程系统性的介绍了强化学习(深度强化学习)的基本理论和关键算法,包括:马尔科夫决策过程、动态规划法、蒙特卡罗法、时间差分法、值函数逼近法,策略梯度法等;以及该领域的最新前沿发展,包括:DQN及其变种、信赖域系方法、Actor-Critic类方法、多Agent深度强化学习等;同时也介绍大量的实际案例,包括深度强化学习中最著名的工程应用:Alpha Go。

第一天 强化学习

第一课 强化学习综述

1.强化学习要解决的问题

2.强化学习方法的分类

3.强化学习方法的发展趋势

4.环境搭建实验(Gym,TensorFlow等)

5.Gym环境的基本使用方法

第二课 马尔科夫决策过程

1.基本概念:马尔科夫性、马尔科夫过程、马尔科夫决策过程

2.MDP基本元素:策略、回报、值函数、状态行为值函数

3.贝尔曼方程

4.最优策略

案例:构建机器人找金币和迷宫的环境

第三课 基于模型的动态规划方法

1.动态规划概念介绍

2.策略评估过程介绍

3.策略改进方法介绍

4.策略迭代和值迭代

案例:实现基于模型的强化学习算法

第四课 蒙特卡罗方法

1.蒙特卡罗策略评估

2.蒙特卡罗策略改进

3.基于蒙特卡罗的强化学习

4.同策略和异策略

案例:利用蒙特卡罗方法实现机器人找金币和迷宫

第五课 时序差分方法

1.DP,MC和TD方法比较

2.MC和TD方法偏差与方差平衡

3.同策略TD方法:Sarsa 方法

4.异策略TD方法:Q-learning 方法

案例:Q-learning和Sarsa的实现

第二天 从强化学习到深度强化学习

第一课 基于值函数逼近方法(强化学习)

1.维数灾难与表格型强化学习

2.值函数的参数化表示

3.值函数的估计过程

4.常用的基函数

第二课 基于值函数逼近方法(深度学习与强化学习的结合)

1.简单提一下深度学习

2.深度学习与强化学习的结合

3.DQN 方法介绍

4.DQN变种:Double DQN, Prioritized Replay, Dueling Network

案例:用DQN玩游戏——flappy bird

第三课 策略梯度方法(强化学习)

1.策略梯度方法介绍

2.常见的策略表示

3.常见的减小方差的方法:引入基函数法,修改估计值函数法

案例:利用gym和tensorflow实现小车倒立摆系统等

第四课 Alpha Go(深度学习与强化学习的结合)

1.MCTS

2.策略网络与价值网络

3.Alpha Go的完整架构

第五课 GAN(深度学习)

1.VAE与基本GAN

2.DCGAN

3.WGAN

案例:生成手写数字的GAN

第三天 深度强化学习进阶

第一课 AC类方法-1

1. PG的问题与AC的思路

2. AC类方法的发展历程

3. Actor-Critic基本原理

第二课 AC类方法-2

1. DPG方法

2. DDPG方法

3. A3C方法

案例:AC类方法的案例

第三课 信赖域系方法-1

1.信赖域系方法背景

2.信赖域系方法发展路线图

3.TRPO方法

案例:TRPO方法的案例

第四课 信赖域系方法-2

1.PPO方法

2.DPPO方法简介

3.ACER方法

案例:PPO方法的案例

第五课 多Agent强化学习

1.矩阵博弈

2.纳什均衡

3.多人随机博弈学习

4.完全合作、完全竞争与混合任务

5.MADDPG

案例:MADDPG的案例等

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1298902.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

git stash 对当前分支修改的内容进行暂存

我们在开发的时候往往会遇到这种情况, 在一个分支开发,写了不少内容,但是突然来了一个紧急的需求需要切换分支,去做这个需求,但是当前的分支又因为没有开发完成,不想形成一条无效的commit记录,这时我们就到暂存上场了 git stash 暂存 // 切分支之前 对当前分支修改的内容进行暂…

【算法通关村】链表反转经典问题解析

🚩本文已收录至算法学习之旅 一.基础反转 我们通常有两种方法反转链表,一种是直接操作链表实现反转操作,一种是建立虚拟头节点辅助实现反转操作。 力扣习题链接:206. 反转链表 (1) 直接操作实现反转 我们需要一个变量pre来保…

13. MySQL 日志

目录 错误日志 binlog日志 概述 日志格式 查询日志 慢查询日志 错误日志 错误日志是MySQL中最重要的日志之一,它记录了当mysqld启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时&#…

51单片机独立按键以及矩阵按键的使用以及其原理--独立按键 K1 控制 D1 指示灯亮灭以及数码管显示矩阵按键 S1-S16 按下后键值 0-F

IO 的使用–按键 本文主要涉及8051单片机按键的使用,包括独立按键以及矩阵按键的使用以及其原理,其中代码实例包括: 1.独立按键 K1 控制 D1 指示灯亮灭 2.通过数码管显示矩阵按键 S1-S16 按下后键值 0-F 文章目录 IO 的使用--按键一、按键消抖二、独立按…

MobaXterm成功连接到开发环境后,过一段时间会自动断开。

问题现象 MobaXterm成功连接到开发环境后,过一段时间会自动断开。 原因 配置MobaXterm工具时,没有勾选“SSH keepalive”或专业版MobaXterm工具的“Stop server after”时间设置太短。

8. MySQL 触发器

目录 概述 定义 触发器特性: 基础操作 创建触发器 NEW和OLD 其他操作 查看触发器 删除触发器 注意事项 概述 定义 触发器,就是一种特殊的存储过程。触发器和存储过程一样是一个能够完成特定功能、存储在数据库服务器上的SQL片段,但是触…

跨平台的文本编辑器——CudaText

CudaText 是一个轻量级、跨平台的文本编辑器,它免费开源,启动速度非常快,有拓展功能,可安装插件。 下载 浏览器搜索框输入CudaText - Home进行搜索, 选择官网进入, 进入官网界面如下:选择点击…

C++初阶-vector的介绍及使用

vector的介绍及使用 一、vector的介绍1.1 vector的概念 二、vector的使用2.1 vector的定义2.2 vector iterator的使用2.3 vector空间增长问题2.4 vector的增删改查2.5 vector的整体代码实现2.5.1 vector的常用内置函数使用2.5.2 vector的访问方式及测试函数 三、vector迭代器失…

15.Java程序设计-基于SSM框架的微信小程序校园求职系统的设计与实现

摘要: 本研究旨在设计并实现一款基于SSM框架的微信小程序校园求职系统,以提升校园求职流程的效率和便捷性。通过整合微信小程序平台和SSM框架的优势,本系统涵盖了用户管理、职位发布与搜索、简历管理、消息通知等多个功能模块,为…

Ubuntu与Windows通讯传输文件(FTP服务器版)(没用的方法,无法施行)

本文介绍再Windows主机上建立FTP服务器,并且在Ubuntu虚拟机上面访问Windows上FTP服务器的方法 只要按照上图配置就可以了 第二部:打开IIS管理控制台 右击网站,新建FTP站点。需要注意的一点是在填写IP地址的时候,只需要填写Window…

python操作MySQL数据库简单示例

通过python的pymysql模块,实现数据库表的创建、插入以及查询的简单示例。 1. 数据库表创建。 # -*- coding:utf-8 -*- """ 使用python操作MySQL数据库示例 执行sql_create语句建立数据库表books """import pymysqldef main():# 首先…

nodejs微信小程序+python+PHP北京地铁票务APP-计算机毕业设计推荐 -安卓

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性:…

postgresql自带指令命令系列三

目录 简介 bin目录 28.pg_verifybackup 29.pg_waldump 30.postgres 31.postmaster -> postgres 32.psql 33.reindexdb 34.vacuumdb 35.vacuumlo 总结: 简介 在安装postgresql数据库的时候会需要设置一个关于postgresql数据库的PATH变量 export PATH/…

PTA 输出三角形面积和周长

#include<stdio.h> #include<math.h>//使用sqrt需要使用此头文件 int main() {int a, b, c, d;float s, area, perimeter;scanf("%d %d %d", &a, &b, &c);if (a b < c || a c < b || b c < a)//三角形任意两边之和大于第三边pri…

【小白专用】在 vs 中使用 nuget 安装NPOI

C#操作Excel有多种方法&#xff0c;如通过数据库的方式来读写Excel的OleDb方式&#xff0c;但是OleDb方式需要安装微软office&#xff0c;还可以通过COM组件方式操作Excel&#xff0c;也需要安装微软Excel。如果不想安装微软办公套餐可以使用ClosedXML、EPPlus、NPOI。本文主要…

【Linux】如何对文本文件进行有条件地划分?——cut命令

cut 命令可以根据一个指定的标记&#xff08;默认是 tab&#xff09;来为文本划分列&#xff0c;然后将此列显示。 例如想要显示 passwd 文件的第一列可以使用以下命令&#xff1a;cut –f 1 –d : /etc/passwd cut&#xff1a;用于从文件的每一行中提取部分内容的命令。-f 1&…

windows建立软链 报 无法将“mklink”项识别为 cmdlet、函数、脚本文件或可运行程序的名称

当我执行网上提供的mklink 的时候&#xff0c;出现 mklink : 无法将“mklink”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。怎么回事&#xff0c;原来&#xff0c;要在执行的签名加 cmd /c 当我执行建立软链接时&#xff0c;提示 没有足够的权限&#xff0c;要用管理…

玩转大数据13: 数据伦理与合规性探讨

1. 引言 随着科技的飞速发展&#xff0c;数据已经成为了现代社会的宝贵资产。然而&#xff0c;数据的收集、处理和利用也带来了一系列的伦理和合规性问题。数据伦理和合规性不仅关乎个人隐私和权益的保护&#xff0c;还涉及到企业的商业利益和社会责任。因此&#xff0c;数据…

【ArcGIS微课1000例】0079:ArcGIS Earth根据经纬坐标生成点shapefile

本文以气象台站数据的生成为例,详细介绍ArcGIS Earth中导入X、Y经纬度坐标,生成Shapefile点数据的流程。 文章目录 一、气象台站分布二、添加经纬度坐标三、符号化设置四、另存为一、气象台站分布 根据气象台站的经纬度坐标,可以很方便的在各种GIS平台上生成点,并保存为多…

CPU运行AI模型记录

使用 CPU 运行 AI 模型 目前人工智能很火&#xff0c;但是手头没有合适的显卡&#xff0c;成了瓶颈和门槛&#xff0c;一直没机会试下。正好知乎上看到一篇文章&#xff0c; CPU 运行中文模型&#xff0c;最近换了台机器。垃圾佬 E5 平台&#xff0c;性能不高&#xff0c;但是…