21 RBM(Restricted Boltzmann Machine)——受限玻尔兹曼机

21.1 背景介绍

什么是玻尔兹曼机：

• 简单来说就是具有条件的Markov Random Field（一个无向图模型）
• 什么条件呢？加入了隐状态——使得无向图的节点分成两类：观测变量（observed variable）、隐变量（hidden variable）

对于一个无向图来说最重要的就是因子分解，所以玻尔兹曼机自然也可以：

• Markov Random Field的因子分解基于Hammersley Clifford Theorem——通过最大团分解图：
  $$P(X)=\frac{1}{Z}\prod _{i=1}^K{\phi }_i(X_{C_i})$$
  其中$C_i$表示最大团，${\phi }_i(X_{C_i})$表示势函数（potential function），$Z$​表示归一化因子（配分函数-partition function），并且包含以下条件：
  { φ i ( X C i ) = exp ⁡ { − E ( X C i ) } > 0 Z = ∑ X ∏ i = 1 K φ i ( X C i ) = ∑ x 1 ∑ x 2 ⋯ ∑ x p ∏ i = 1 K φ i ( X C i ) \begin{cases} \varphi_i(X_{C_i}) = \exp{\lbrace -E(X_{C_i}) \rbrace} > 0 \\ Z = \sum_X \prod_{i=1}^K \varphi_i(X_{C_i}) = \sum_{x_1} \sum_{x_2} \dots \sum_{x_p} \prod_{i=1}^K \varphi_i(X_{C_i}) \\ \end{cases} {φi​(XCi​​)=exp{−E(XCi​​)}>0Z=∑X​∏i=1K​φi​(XCi​​)=∑x1​​∑x2​​⋯∑xp​​∏i=1K​φi​(XCi​​)​
  其中$E$表示能量函数（Energy function），所以因子分解的公式也可以写成：
  P ( X ) = 1 Z exp ⁡ { − ∑ i = 1 K E ( X C i ) } P(X) = \frac{1}{Z} \exp{\lbrace - \sum_{i=1}^K E(X_{C_i}) \rbrace} P(X)=Z1​exp{−i=1∑K​E(XCi​​)}

• 将因子分解的${\sum }_{i=1}^{K}E(X_{C_i})$整合起来可以写作：
  P ( X ) = 1 Z exp ⁡ { − E ( X ) } P(X) = \frac{1}{Z} \exp{\lbrace - E(X) \rbrace} P(X)=Z1​exp{−E(X)}
  这个公式也可以叫做玻尔兹曼分布（Boltzmann Distribution）或是吉布斯分布（Gibbs Distribution）

22.2 RBM模型表示

我们先给玻尔兹曼机的数据做一些定义：

• 数据集（节点）表示为 X = { x 1 , x 2 , … , x p } = { h , v } X = {\lbrace x_1, x_2, \dots, x_p \rbrace} = {\lbrace h, v \rbrace} X={x1​,x2​,…,xp​}={h,v}
• 定义hidden node为 H = { h 1 , h 2 , … , x m } H = {\lbrace h_1, h_2, \dots, x_m \rbrace} H={h1​,h2​,…,xm​}，observed node为 V = { v 1 , v 2 , … , v n } V = {\lbrace v_1, v_2, \dots, v_n \rbrace} V={v1​,v2​,…,vn​}，并且有$m+n=p$

我们先要知道玻尔兹曼机是什么，然后知道为什么要引入受限玻尔兹曼机：

• 玻尔兹曼机就是一个有两种节点的无向图，但他有个问题，就是很难计算Inference。精确推断是intractable问题无法计算，近似推断通过MC的计算量也非常大。
• 为了简化，我们定义了Restricted Boltzmann Machine，在图上的特点是：$h,v$之间有连接，$h,v$内部无连接。如图所示，这样可以减少很多计算量：
  

既然以及知道受限玻尔兹曼机是一个什么样的形式了，我们就可以推导他的公式了：

1. 通过因子图的思想，我们可以将图的关系分成三部分：与observe node相关(用$\alpha$表示参数)、与hidden node相关(用$\beta$表示参数)、与两种节点都相关的边(用$W$表示参数)

2. 将已知条件都表示为矩阵形式：
   $$X=\left(\begin{array}{c}{x}_1\\ x_2\\ \dots \\ x_p\end{array}\right)=\left(\begin{array}{c}H\\ V\end{array}\right),H=\left(\begin{array}{c}{h}_1\\ h_2\\ \dots \\ h_m\end{array}\right),V=\left(\begin{array}{c}{v}_1\\ v_2\\ \dots \\ v_m\end{array}\right),p=m+n$$

3. 根据上述两个条件，我们可以归纳为下面的公式：
   { P ( X ) = P ( V , H ) = 1 Z exp ⁡ { − E ( V , H ) } = 1 Z exp ⁡ { H T W V + α T V + β T H } E ( V , H ) = − ( H T W V + α T V + β T H ) \begin{cases} P(X) = P(V, H) = \frac{1}{Z} \exp{\lbrace - E(V, H) \rbrace} = \frac{1}{Z} \exp{\lbrace {H^T W V} + {\alpha^T V} + {\beta^T H} \rbrace} \\ E(V, H) = - {({H^T W V} + {\alpha^T V} + {\beta^T H})} \end{cases} {P(X)=P(V,H)=Z1​exp{−E(V,H)}=Z1​exp{HTWV+αTV+βTH}E(V,H)=−(HTWV+αTV+βTH)​
   我们通过相关关系，并加入参数可以得到该公式。

4. 下面我们对上面的公式做一定的简化：
   P ( V , H ) = 1 Z exp ⁡ { H T W V + α T V + β T H } = 1 Z exp ⁡ { H T W V } ⋅ exp ⁡ { α T V } ⋅ exp ⁡ { β T H } = 1 Z ∏ i = 1 m ∏ j = 1 n exp ⁡ { h i w i j v j } ⋅ ∏ j = 1 n exp ⁡ { α j v j } ⋅ ∏ i = 1 m exp ⁡ { β i h i } \begin{align} P(V, H) &= \frac{1}{Z} \exp{\lbrace {H^T W V} + {\alpha^T V} + {\beta^T H} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {H^T W V} \rbrace} \cdot \exp{\lbrace {\alpha^T V} \rbrace} \cdot \exp{\lbrace {\beta^T H} \rbrace} \\ &= \frac{1}{Z} \prod_{i=1}^m \prod_{j=1}^n \exp{\lbrace {h_i w_{ij} v_j} \rbrace} \cdot \prod_{j=1}^n \exp{\lbrace {\alpha_j v_j} \rbrace} \cdot \prod_{i=1}^m \exp{\lbrace {\beta_i h_i} \rbrace} \end{align} P(V,H)​=Z1​exp{HTWV+αTV+βTH}=Z1​exp{HTWV}⋅exp{αTV}⋅exp{βTH}=Z1​i=1∏m​j=1∏n​exp{hi​wij​vj​}⋅j=1∏n​exp{αj​vj​}⋅i=1∏m​exp{βi​hi​}​​

所以我们最后可以将RBM的pdf写成：
P ( V , H ) = 1 Z ∏ i = 1 m ∏ j = 1 n exp ⁡ { h i w i j v j } ⋅ ∏ j = 1 n exp ⁡ { α j v j } ⋅ ∏ i = 1 m exp ⁡ { β i h i } \begin{align} P(V, H) = \frac{1}{Z} \prod_{i=1}^m \prod_{j=1}^n \exp{\lbrace {h_i w_{ij} v_j} \rbrace} \cdot \prod_{j=1}^n \exp{\lbrace {\alpha_j v_j} \rbrace} \cdot \prod_{i=1}^m \exp{\lbrace {\beta_i h_i} \rbrace} \end{align} P(V,H)=Z1​i=1∏m​j=1∏n​exp{hi​wij​vj​}⋅j=1∏n​exp{αj​vj​}⋅i=1∏m​exp{βi​hi​}​​

22.3 Inference问题

RBM的Inference就是求解后验$P(H|V),P(V|H)$，求解可以通过模型的条件独立性得出公式。

首先我们整理一下RBM已有的条件：

1. 数据：
   $$X=\left(\begin{array}{c}{x}_1\\ x_2\\ \dots \\ x_p\end{array}\right)=\left(\begin{array}{c}H\\ V\end{array}\right),H=\left(\begin{array}{c}{h}_1\\ h_2\\ \dots \\ h_m\end{array}\right),V=\left(\begin{array}{c}{v}_1\\ v_2\\ \dots \\ v_m\end{array}\right),p=m+n$$

2. 图形：
   

3. 公式：
   { P ( V , H ) = 1 Z exp ⁡ { − E ( V , H ) } E ( V , H ) = − ( ∑ i = 1 m ∑ j = 1 n h i w i j v j + ∑ j = 1 n α j v j + ∑ i = 1 m β i h i ) \begin{cases} P(V, H) = \frac{1}{Z} \exp{\lbrace - E(V, H) \rbrace} \\ E(V, H) = - {(\sum_{i=1}^m \sum_{j=1}^n {h_i w_{ij} v_j} + \sum_{j=1}^n {\alpha_j v_j} + \sum_{i=1}^m {\beta_i h_i})} \end{cases} {P(V,H)=Z1​exp{−E(V,H)}E(V,H)=−(∑i=1m​∑j=1n​hi​wij​vj​+∑j=1n​αj​vj​+∑i=1m​βi​hi​)​

4. 假设：$h_i$此时为0/1变量

通过上述条件求解$P(H|V)$（$P(V|H)$同理可得）：

1. 根据RBM模型中给定的条件独立性——$h,v$之间有连接，$h,v$内部无连接。可得$h_i\perp h_j{|}_{i\ne j}V$​，此时再根据贝叶斯定理可得：
   $$\begin{array}{rl}P(H|V)& =\prod _{l=1}^{m}P(h_l|V)=\prod _{l=1}^{m}P(h_l|h_{-l},V)=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_{-l},V)}=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_{-l},V)}\\ & =\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{{\sum }_{h_l}P(h_l,h_{-l},V)}=\prod _{l=1}^m\frac{P(h_l,h_{-l},V)}{P(h_l=0,h_{-l},V)+P(h_l=1,h_{-l},V)}\end{array}$$

2. 由于此时$h_l$为已知条件，分子和分母都要通过公式 P ( V , H ) = 1 Z exp ⁡ { − E ( V , H ) } P(V, H) = \frac{1}{Z} \exp{\lbrace - E(V, H) \rbrace} P(V,H)=Z1​exp{−E(V,H)}进行计算，所以我们将$E(V,H)$进行一个变换，将包含$h_l$项的函数定义为$H_l$，不包含$h_l$项的函数定义为${\bar{H}}_l$​：
   $$\begin{array}{rl}E(H|V)& =-(\sum _{i=1}^m\sum _{j=1}^n{h}_{i}W{v}_j+\sum _{j=1}^n{\alpha }^T{v}_j+\sum _{i=1}^m{\beta }^T{h}_i)\\ & =-(\sum _{i=1,i\ne l}^m\sum _{j=1}^n{h}_i{w}_{ij}{v}_j+\underline{h_l\sum _{j=1}^n{W}_{lj}{v}_j}+\sum _{j=1}^n{\alpha }_j{v}_j+\sum _{i=1,i\ne l}^m{\beta }_i{h}_i+\underline{{\beta }_l{h}_l})\end{array}$$

3. 根据简化，我们发现只有下划线的部分与$h_l$相关，其他与$h_l$​无关。所以我们可以将公式整理为：
   $$\{\begin{array}{l}E(V,H)=-(h_l{H}_l(v)+{\bar{H}}_l(h_{-l},v))\\ H_l(v)={\sum }_{j=1}^n{W}_{lj}{v}_j+{\beta }_l\\ {\bar{H}}_l(h_{-l},v)={\sum }_{i=1,i\ne l}^m{\sum }_{j=1}^n{h}_i{w}_{ij}{v}_j+{\sum }_{j=1}^n{\alpha }_j{v}_j+{\sum }_{i=1,i\ne l}^m{\beta }_i{h}_i\end{array}$$

4. 我们原本的目标是求解$P(H|V)$，在前面的公式中我们知道他可以拆分开，所以我们现在只要求解出$P(h_l|V)$就可以求出$P(H|V)$。假定我们现在要求的状态为$P(h_l=1|V)$，我们可以将上面的公式归结为下列公式：
   $$\{\begin{array}{l}P(h_l=1|V)=\frac{P(h_l=1,h_{-l},V)}{P(h_l=0,h_{-l},V)+P(h_l=1,h_{-l},V)}\\ E(V,H)=-(h_l{H}_l(v)+{\bar{H}}_l(h_{-l},v))\end{array}$$

5. 最后我们就可以将公式化简为：
   P ( h l = 1 ∣ V ) = P ( h l = 1 , h − l , V ) P ( h l = 0 , h − l , V ) + P ( h l = 1 , h − l , V ) = 1 Z exp ⁡ { 1 ⋅ H l ( v ) + H ˉ l ( h − l , v ) } 1 Z exp ⁡ { 0 ⋅ H l ( v ) + H ˉ l ( h − l , v ) } + 1 Z exp ⁡ { 1 ⋅ H l ( v ) + H ˉ l ( h − l , v ) } = exp ⁡ { H l ( v ) + H ˉ l ( h − l , v ) } exp ⁡ { H ˉ l ( h − l , v ) } + exp ⁡ { H l ( v ) + H ˉ l ( h − l , v ) } = 1 1 + exp ⁡ { − H l ( v ) } = s i g m o i d ( H l ( v ) ) = s i g m o i d ( ∑ j = 1 n W l j v j + β l ) \begin{align} P(h_l = 1|V) &= \frac{P(h_l = 1, h_{-l}, V)}{P(h_l = 0, h_{-l}, V) + P(h_l = 1, h_{-l}, V)} \\ &= \frac{\frac{1}{Z} \exp{\lbrace {1 \cdot H_l(v)} + {{\bar H}_l(h_{-l}, v)} \rbrace}}{\frac{1}{Z} \exp{\lbrace {0 \cdot H_l(v)} + {{\bar H}_l(h_{-l}, v)} \rbrace} + \frac{1}{Z} \exp{\lbrace {1 \cdot H_l(v)} + {{\bar H}_l(h_{-l}, v)} \rbrace}} \\ &= \frac{ \exp{\lbrace {H_l(v)} + {{\bar H}_l(h_{-l}, v)} \rbrace}}{ \exp{\lbrace {{\bar H}_l(h_{-l}, v)} \rbrace} + \exp{\lbrace {H_l(v)} + {{\bar H}_l(h_{-l}, v)} \rbrace}} \\ &= \frac{1}{ 1 + \exp{\lbrace - {H_l(v)} \rbrace} } = sigmoid(H_l(v)) = sigmoid(\sum_{j=1}^n {W_{lj} v_j} + \beta_l) \end{align} P(hl​=1∣V)​=P(hl​=0,h−l​,V)+P(hl​=1,h−l​,V)P(hl​=1,h−l​,V)​=Z1​exp{0⋅Hl​(v)+Hˉl​(h−l​,v)}+Z1​exp{1⋅Hl​(v)+Hˉl​(h−l​,v)}Z1​exp{1⋅Hl​(v)+Hˉl​(h−l​,v)}​=exp{Hˉl​(h−l​,v)}+exp{Hl​(v)+Hˉl​(h−l​,v)}exp{Hl​(v)+Hˉl​(h−l​,v)}​=1+exp{−Hl​(v)}1​=sigmoid(Hl​(v))=sigmoid(j=1∑n​Wlj​vj​+βl​)​​

22.4 Marginal问题

求边缘概率分布就是求$P(V)$（$P(H)$也是，但求隐状态的边缘概率意义不大）。

照例先来整理一遍条件：

• 数据：
  H = ( h 1 h 2 … h m ) h i ∈ { 0 , 1 } , V = ( v 1 v 2 … v m ) , p = m + n , W = [ w i j ] m × n = ( w 1 w 2 … w m ) H = \begin{pmatrix} h_1 \\ h_2 \\ \dots \\ h_m \end{pmatrix} h_i \in {\lbrace 0, 1 \rbrace} , \quad V = \begin{pmatrix} v_1 \\ v_2 \\ \dots \\ v_m \end{pmatrix}, \quad p=m+n, \quad W = {[w_{ij}]}_{m \times n} = \begin{pmatrix} w_1 \\ w_2 \\ \dots \\ w_m \end{pmatrix} H= ​h1​h2​…hm​​ ​hi​∈{0,1},V= ​v1​v2​…vm​​ ​,p=m+n,W=[wij​]m×n​= ​w1​w2​…wm​​ ​

• 公式：
  { P ( V , H ) = 1 Z exp ⁡ { − E ( V , H ) } E ( V , H ) = − ( H T W V + α T V + β T H ) \begin{cases} P(V, H) = \frac{1}{Z} \exp{\lbrace - E(V, H) \rbrace} \\ E(V, H) = - {({H^T W V} + {\alpha^T V} + {\beta^T H})} \end{cases} {P(V,H)=Z1​exp{−E(V,H)}E(V,H)=−(HTWV+αTV+βTH)​

根据公式我们已知$P(V,H)$，这个时候我们要求$P(V)$，通过积分+公式代入自然就可以求出解：
P ( V ) = ∑ h P ( H , V ) = 1 Z ∑ h exp ⁡ { H T W V + α T V + β T H } = 1 Z exp ⁡ { α T V } ⋅ ∑ h 1 ⋯ ∑ h m exp ⁡ { H T W V + β T H } = 1 Z exp ⁡ { α T V } ⋅ ∑ h 1 ⋯ ∑ h m exp ⁡ { ∑ i = 1 m ( h i w i V + β i h i ) } = 1 Z exp ⁡ { α T V } ⋅ ∑ h 1 exp ⁡ { h 1 w 1 V + β i h 1 } ⋯ ∑ h m exp ⁡ { h m w m V + β i h m } = 1 Z exp ⁡ { α T V } ⋅ ( 1 + exp ⁡ { w 1 V + β i } ) … ( 1 + exp ⁡ { w m V + β i } ) = 1 Z exp ⁡ { α T V } ⋅ exp ⁡ { log ⁡ ( 1 + exp ⁡ { w 1 V + β i } ) } … exp ⁡ { log ⁡ ( 1 + exp ⁡ { w m V + β i } ) } = 1 Z exp ⁡ { α T V + ∑ i = 1 m log ⁡ ( 1 + exp ⁡ { w i V + β i } ) ⏟ softplus:  l o g ( 1 + e x ) } = 1 Z exp ⁡ { α T V + ∑ i = 1 m s o f t p l u s ( w i V + β i ) } \begin{align} P(V) &= \sum_{h} P(H, V) \\ &= \frac{1}{Z} \sum_h \exp{\lbrace {H^T W V} + {\alpha^T V} + {\beta^T H} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} \rbrace} \cdot \sum_{h_1} \dots \sum_{h_m} \exp{\lbrace {H^T W V} + {\beta^T H} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} \rbrace} \cdot \sum_{h_1} \dots \sum_{h_m} \exp{\lbrace \sum_{i=1}^m ({h_i w_i V} + {\beta_i h_i}) \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} \rbrace} \cdot \sum_{h_1} \exp{\lbrace {h_1 w_1 V} + {\beta_i h_1} \rbrace} \dots \sum_{h_m} \exp{\lbrace {h_m w_m V} + {\beta_i h_m} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} \rbrace} \cdot (1 + \exp{\lbrace {w_1 V} + {\beta_i} \rbrace}) \dots (1 + \exp{\lbrace {w_m V} + {\beta_i} \rbrace}) \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} \rbrace} \cdot \exp{\lbrace \log {(1 + \exp{\lbrace {w_1 V} + {\beta_i} \rbrace})} \rbrace} \dots \exp{\lbrace \log {(1 + \exp{\lbrace {w_m V} + {\beta_i} \rbrace})} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} + \underbrace{\sum_{i=1}^m \log {(1 + \exp{\lbrace {w_i V} + {\beta_i} \rbrace})}}_{\text{softplus: } log(1+e^x)} \rbrace} \\ &= \frac{1}{Z} \exp{\lbrace {\alpha^T V} + {\sum_{i=1}^m softplus({w_i V} + {\beta_i})} \rbrace} \\ \end{align} P(V)​=h∑​P(H,V)=Z1​h∑​exp{HTWV+αTV+βTH}=Z1​exp{αTV}⋅h1​∑​⋯hm​∑​exp{HTWV+βTH}=Z1​exp{αTV}⋅h1​∑​⋯hm​∑​exp{i=1∑m​(hi​wi​V+βi​hi​)}=Z1​exp{αTV}⋅h1​∑​exp{h1​w1​V+βi​h1​}⋯hm​∑​exp{hm​wm​V+βi​hm​}=Z1​exp{αTV}⋅(1+exp{w1​V+βi​})…(1+exp{wm​V+βi​})=Z1​exp{αTV}⋅exp{log(1+exp{w1​V+βi​})}…exp{log(1+exp{wm​V+βi​})}=Z1​exp{αTV+softplus: log(1+ex) i=1∑m​log(1+exp{wi​V+βi​})​​}=Z1​exp{αTV+i=1∑m​softplus(wi​V+βi​)}​​