变分信息瓶颈和互信息的定义

1 变分信息瓶颈

• 定义：变分信息瓶颈（Variational Information Bottleneck）是一种用于学习数据表示的方法，它旨在通过最小化输入和表示之间的互信息来实现数据的压缩和表示学习。这种方法通常用于无监督学习中，通过在训练过程中限制表示和输入之间的信息流，从而学习到更加紧凑和具有信息量的数据表示。