共轭先验与共轭分布

在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。（要求后验分布与先验分布是同类分布，不要求似然函数分布相同。）

In Bayesian probability theory, if the posterior distribution p(θ∣x) is in the same probability distribution family as the prior probability distributionp(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function p(x∣θ).

比如：

1. 高斯分布家族在高斯似然函数下与其自身共轭 (自共轭)。
2. Beta分布是二项式分布的共轭先验（即：当先验分布为Beta分布，似然为二项分布时，其后验分布也为Beta分布。）
3. Dirichlet分布是多项式分布的共轭先验

贝叶斯公式

后验概率 p(θ|X)  正比于似然概率 p(X|θ)和先验概率 p(θ)的乘积。

其中：

P(y∣x)为后验分布(posterior)：给定x后，变量y的分布；
P(y)为先验分布(prior)：变量y自身的分布；
P(x∣y)为似然(likelihood)：给定y后，变量x的分布；
P(x)为变量x的先验分布(evidence)：观测到的x的分布，一般为常数。

共轭分布和共轭先验_总体为二项分布的共轭先验均值之间的关系-CSDN博客文章浏览阅读1.4k次。共轭分布是统计机器学习特别是贝叶斯学派一个非常重要的概念，以往在很多地方遇到的时候都一笔带过了，仅仅了解了一个大概，这里将二项分布与Beta分布、正太分布的共轭性质推导了一遍，记录下来加深理解。_总体为二项分布的共轭先验均值之间的关系https://blog.csdn.net/wp_csdn/article/details/124233939 

边缘概率与联合概率

x为离散变量时：

x为连续变量时：