讲座2:神经编码与解码

news2025/1/11 13:03:40

视频来源：
1、面向类脑视觉的生物视觉编码机制和模型（余肇飞）https://www.bilibili.com/video/BV1rR4y1K7KW/?spm_id_from=333.337.search-card.all.click&vd_source=897075bbdd61e45006d749612d05a2ab

2、基于视觉编解码的深度学习类脑机制研究（何晖光）https://www.bilibili.com/video/BV1tT411j7DD/?spm_id_from=333.337.search-card.all.click&vd_source=897075bbdd61e45006d749612d05a2ab

文章目录

深度学习vs计算机视觉
- 人脑视觉系统比我们想象的更聪明
- AI与脑科学互相促进，推动AI技术发展的同时加深对大脑工作机制的理解
- 视觉编解码
- - 视觉系统的研究
  - 研究现状
基于视觉信息编解码的深度学习类脑机制研究
- fMRI工作原理
- 如何评价DNN和大脑之间的关系

深度学习vs计算机视觉

深度学习的发展带来计算机视觉、人工智能的热潮
深度学习不能解决CV的瓶颈问题
在这里插入图片描述

卷积神经网络受视觉网络的启发而提出
在这里插入图片描述

人脑视觉系统比我们想象的更聪明

视网膜解决了很多任务，将解决好的问题发送给大脑。
1、需要压缩信息
2、从场景提取特征，进行分类，减少视觉皮层处理难度

AI与脑科学互相促进，推动AI技术发展的同时加深对大脑工作机制的理解

2013-2019年的CVPR：只要是deep learning的应用就可以发
2019年之后的趋势：视觉的书-视觉机理-结合图像问题（分割，理解）-模型

视觉编解码

编码：一个刺激如何造成一种响应模式？ — 建立机理模型
解码：这些响应传递了什么信息？ — 如何重建大脑在做的事

视觉系统的研究

人类获取信息70%-80%都是来自于视觉

视网膜将外部的光信号转化为脉冲信号的过程，称为视觉编码
视觉皮层将脉冲信号转化的过程，称为解码
在这里插入图片描述

意义：中国约有800万盲人，这些盲人大部分的视觉皮层没有问题，视网膜发生了一些损坏。研究视网膜如何将光信号转化为脉冲信号，那么就可以研究一个视网膜假体
在这里插入图片描述

目前研究的数据类型：微电极阵列、钙成像，做编码/解码的一些工作

1、视网膜系统辨识：能否根据输入刺激和输出的脉冲序列，推导出视网膜连接结构
2、哪些视网膜组件产生了脉冲，产生了多久的脉冲

研究现状

1、脉冲激发平均法
在这里插入图片描述
缺点：只能获取平均的，不能获取每个子单元的信号，也无法获取每个子单元的权重

2、非负矩阵分解
将脉冲激发的图像分解为权重矩阵和模块矩阵
在这里插入图片描述
3、基于RNN类网络的视网膜编码模型

存在的困难：1、如何扩展到更复杂的应用场景？2、网络参数量怎么处理

Zheng Y, Jia S, Yu Z, et al. Unraveling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks[J]. Patterns, 2021, 2(10).
Yan Q, Zheng Y, Jia S, et al. Revealing fine structures of the retinal receptive field by deep-learning networks[J]. IEEE transactions on cybernetics, 2020, 52(1): 39-50.
Zhang Y, Bu T, Zhang J, et al. Decoding pixel-level image features from two-photon calcium signals of macaque visual cortex[J]. Neural Computation, 2022, 34(6): 1369-1397.
Zhang Y, Jia S, Zheng Y, et al. Reconstruction of natural visual scenes from neural spikes with deep neural networks[J]. Neural Networks, 2020, 125: 19-30.

CNN 可以实现准确解码，优于目前的fMRI