3. 第 1 讲：深度学习基本概念简介下_哔哩哔哩_bilibili

线性模型太简单，我们需要比较复杂的模型。

不管怎样弄，蓝色描述不出红色的线 

 强调model bias  无法模拟真实的状况

写出一个有未知参数更复杂的model

 观察红色的曲线  ：可以看作是一个常数加上一群蓝色的这样子的fucnction

蓝色的线是：输入的值当x轴的值小于某一个fresh hold的时候，是某一个定值；大于某一个fr esh hold的时候，又是另外一个定值。中间有一个斜坡。先是水平的后斜坡再水平。

常数项的值：看下图红色的线跟x轴的交点在哪里，

 蓝色线的坡度蓝色的在红色的起点  转角   斜率一样

线段0+1就得到红色 

 红色线段的第一个这个到这个第一个转折点之前的数值，

 

 

如果取得点够多  依据连续的曲线  

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

找一个loss最小的值，暴力搜索w和b的值。 不需要optimization。

如果参数比较多需要graden。

刚才例子sigmoid3个，可以有很多个吗？其实是自己定义，sigmoid函数越多，可以长生出来的peace wise linear function就越复杂。但是至于要几个sigmoid函数，这个又是另外一个hyperparamea。hard sigmoid 函数比较复杂。

 

把每一个积分集合起来， 就是一个向量g，gradient

 

 

 

 

 

 

 

 

 

 把两个ReLU叠起来就可以变成hard的sigmoid。

 

 hard sigmoid