概率、似然、极大似然估计
- 概率:特定情况下某事件发生的可能性(参数已知,事件发生的可能性)
- 似然:根据已经确定的结果推测产生这个结果的可能的环境(事件发生的可能性已知,参数未知,推测参数)
- 极大似然估计
概率:特定情况下某事件发生的可能性(参数已知,事件发生的可能性)
如,在某件事情发生前,根据环境中的参数预测某件事情发生的概率
参数: 微风,28 °,晴天 --> 事件发生概率:p(晾衣服) = 0.9
抛硬币:p(正面)=0.5,p(反面)=0.5 这个 0.5 只有在事件发生之前是有意义的
似然:根据已经确定的结果推测产生这个结果的可能的环境(事件发生的可能性已知,参数未知,推测参数)
抛硬币:随机抛硬币 1W 次,结果 8000 次正面,2000 次反面,推测硬币具体参数,根据结果判断事物本身性质的过程就是似然。
假设 x 是事件发生的结果, 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ是环境参数, 
     
      
       
       
         p 
        
       
         ( 
        
       
         x 
        
       
         ∣ 
        
       
         θ 
        
       
         ) 
        
       
      
        p(x|\theta) 
       
      
    p(x∣θ)为在环境参数 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ下事件 
     
      
       
       
         x 
        
       
      
        x 
       
      
    x发生的概率。 似然 
     
      
       
       
         L 
        
       
         ( 
        
       
         θ 
        
       
         ∣ 
        
       
         x 
        
       
         ) 
        
       
      
        L(\theta|x) 
       
      
    L(θ∣x)为已知观察结果是 x 的情况下,去推断 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ。
 p 是关于 x 的函数
 L 是关于 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ的函数
极大似然估计
利用已知的样本标记结果,反推出最大概率导致这些样本结果出现的模型参数
已知观察数据 ——推断——> 模型参数
例子: 已知事件结果,推测参数 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ是什么的情况下事件 x 的发生概率最大,就是极大似然估计
 
 枚举 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ的值,画出 
     
      
       
       
         L 
        
       
         ( 
        
       
         θ 
        
       
         ) 
        
       
      
        L(\theta) 
       
      
    L(θ)的图像,L 被称为 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ的似然函数
 
 最大似然估计就是要求 
     
      
       
       
         θ 
        
       
      
        \theta 
       
      
    θ为多少时 L 取值最大。
机器学习中,最大似然估计就是根据已有的数据(相当于 x),学习到相应的参数分布(相当于计算 θ \theta θ)【对应机器学习的训练】













![The Google File System [SOSP‘03] 论文阅读笔记](https://img-blog.csdnimg.cn/direct/bbbc95680acd4eed91196b89a1a0664f.png#pic_center)





