LDA主题数

LDA作为一种无监督学习方法，类似于k-means聚类算法，需要给定超参数主题数K，但如何评价主题数的优劣并无定论，一般采取人为干预、主题困惑度preplexing和主题一致性得分coherence score，本文介绍困惑度。

困惑度

在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。低困惑度的概率分布模型或概率模型能更好地预测样本。

1.概率分布的困惑度

定义离散概率分布的困惑度如下：
$$2^{H(p)}=2^{-{\sum }_{x}p(x){\log }_{2}p(x)}$$

其中H§是概率分布p的熵，x是样本点。因此一个随机变量X的困惑度是定义在X的概率分布上的（X所有"可能"取值为x的部分）。

一个特殊的例子是k面均匀骰子的概率分布，它的困惑度恰好是k。一个拥有k困惑度的随机变量有着和k面均匀骰子一样多的不确定性，并且可以说该随机变量有着k个困惑度的取值（k-ways perplexed）。（在有限样本空间离散随机变量的概率分布中，均匀分布有着最大的熵）

困惑度是信息熵的指数。

2.概率模型的困惑度

用一个概率模型q去估计真实概率分布p，那么可以通过测试集中的样本来定义这个概率模型的困惑度。
$$b^{-\frac{1}{N}{\sum }_{i=1}^N{\log }_{b}q(x_i)}$$

其中测试样本$x_1,x_2,\dots ,x_N$是来自于真实概率分布p的观测值，b通常取2。因此，低的困惑度表示q对p拟合的越好，当模型q看到测试样本时，它不会“感到”那么“困惑”。

我们指出，指数部分是交叉熵。
$$H(\hat{p},q)=-\sum _x\hat{p}(x){\log }_{2}q(x)$$
​
其中$\hat{p}$表示我们对真实分布下样本点x出现概率的估计。比如用$p(x)=n/N$

3.每个分词的困惑度

在自然语言处理中，困惑度是用来衡量语言概率模型优劣的一个方法。一个语言概率模型可以看成是在整个句子或者文段上的概率分布。