基于Bregman的交替方向乘子法（Bregman Alternating Direction Method of Multipliers，简称Bregman ADMM）是一种优化算法，结合了Bregman散度和交替方向乘子法（ADMM）的思想，用于解决一些复杂的优化问题，尤其是具有约束的最优化问题。它广泛应用于稀疏信号恢复、图像处理、机器学习等领域。

ADMM方法简介

ADMM是一种分裂算法，它通过将原问题分解为多个较容易处理的子问题来进行求解，通常包括以下几个步骤：

1. 原始问题分解：将原问题转化为多个子问题，使得每个子问题可以通过优化一个变量来求解。
2. 交替更新：交替更新各个变量，同时通过乘子法确保子问题的约束得到满足。

Bregman散度

Bregman散度是一种度量两点间差异的函数，通常用于替代传统的欧氏距离。与传统的距离度量不同，Bregman散度并不对称，并且其定义依赖于一个特定的凸函数。对于两个点$x$ 和$y$，Bregman散度定义为：

$$D_{\varphi }(x,y)=\varphi (x)-\varphi (y)-⟨\nabla \varphi (y),x-y⟩$$

其中，$\varphi$ 是一个凸函数，$\nabla \varphi (y)$ 是函数$\varphi$ 在点$y$ 处的梯度。

Bregman ADMM的原理

Bregman ADMM结合了Bregman散度和ADMM的思想，通过在更新过程中引入Bregman散度来代替传统的欧氏距离度量。具体来说，Bregman ADMM方法通过以下步骤来进行迭代更新：

1. 原问题分解：将原优化问题转化为多个子问题。
2. Bregman散度引入：在每个子问题的约束和目标函数中引入Bregman散度，用于度量解之间的差异。这可以帮助克服传统ADMM在某些优化问题上的收敛问题。
3. 交替更新：在每次迭代中，交替优化每个子问题，并更新相应的乘子。通过引入Bregman散度，能够更有效地处理复杂的非线性约束。

主要优势

• 收敛性：引入Bregman散度可以增强ADMM在处理某些问题时的收敛性，特别是在解空间非欧几里得时。
• 灵活性：通过选择合适的Bregman散度函数，可以针对不同的优化问题进行调整，适应更多类型的约束和目标函数。
• 适用范围广：能够应用于许多高维、稀疏或非线性优化问题，尤其适用于图像恢复、机器学习等领域。

总结来说，Bregman ADMM通过引入Bregman散度改进了经典ADMM算法，使其在处理具有复杂约束和目标函数的优化问题时更加高效和稳定。

代码示例：

# time: 2024/12/26 10:24
# author: YanJP
import numpy as np
import matplotlib.pyplot as plt


def objective_function(A, b, x, lambda_val):
    """
    计算目标函数 f(x) = (1/2) * ||Ax - b||_2^2 + lambda * ||x||_1
    """
    return 0.5 * np.linalg.norm(A @ x - b) ** 2 + lambda_val * np.linalg.norm(x, 1)


def bregman_admm(A, b, lambda_val, max_iter=100, tol=1e-6):
    """
    基于Bregman散度的ADMM求解L1正则化的线性回归问题
    目标: min_x  (1/2) * ||Ax - b||_2^2 + lambda * ||x||_1

    参数:
    - A: 输入矩阵 (m, n)
    - b: 输入向量 (m,)
    - lambda_val: 正则化参数
    - max_iter: 最大迭代次数
    - tol: 收敛阈值

    返回:
    - x: 最优解
    - iterates: 每次迭代的目标函数值，用于可视化
    """

    # 初始化
    m, n = A.shape
    x = np.zeros(n)  # 原始变量
    z = np.zeros(n)  # 辅助变量
    y = np.zeros(n)  # 对偶变量

    # 用于记录每次迭代的目标函数值
    objective_values = []

    # 计算A的转置
    At = A.T
    xs=[]
    # 迭代求解
    for i in range(max_iter):
        # 更新x
        x_new = np.linalg.inv(A.T @ A + np.eye(n)) @ (A.T @ b + z - y)
        xs.append(np.copy(x_new))
        # 更新z（通过soft-thresholding实现L1正则化）
        z_new = np.sign(x_new + y) * np.maximum(np.abs(x_new + y) - lambda_val, 0)

        # 更新对偶变量y
        y_new = y + (x_new - z_new)

        # 记录目标函数值
        objective_values.append(objective_function(A, b, x_new, lambda_val))

        # 判断收敛性
        if np.linalg.norm(x_new - x) < tol and np.linalg.norm(z_new - z) < tol:
            print(f"Converged at iteration {i + 1}")
            break

        # 更新变量
        x, z, y = x_new, z_new, y_new

    return xs, objective_values


# 示例数据
np.random.seed(0)
m, n = 100, 200
A = np.random.randn(m, n)  # 随机生成一个矩阵A
b = np.random.randn(m)  # 随机生成一个向量b
lambda_val = 0.5  # 设置L1正则化参数

# 使用Bregman ADMM求解问题并获取目标函数的值
x_opt, objective_values = bregman_admm(A, b, lambda_val)

# 可视化目标函数值的变化
iterations = range(len(objective_values))
plt.figure(figsize=(12, 6))
# 绘制x的变化
plt.subplot(1, 2, 1)
plt.plot(iterations, [np.linalg.norm(x) for x in x_opt], label='||x||')
plt.xlabel('Iteration')
plt.ylabel('||x||')
plt.title('Convergence of ||x||')
plt.grid(True)


# 绘制目标函数值的变化
plt.subplot(1, 2, 2)
plt.plot(iterations, objective_values, label='Objective Function Value')
plt.xlabel('Iteration')
plt.ylabel('Objective Function Value')
plt.title('Objective Function Value vs Iterations')
plt.grid(True)
plt.legend()
plt.show()


# 输出最优解
print("最优解x：", x_opt[-1])

# -------上面是非bregman Admm算法，和下面可以对比看，基于Bregman的Admm目标函数收敛更快-----------------------------------------------------------------------------------
import numpy as np
import matplotlib.pyplot as plt


def bregman_divergence(x, z):
    """
    计算Bregman散度 D_phi(x, z)，这里使用的是一个简单的二次Bregman散度。
    例如，可以选择phi(x) = 1/2 * ||x||_2^2。
    """
    return 0.5 * np.linalg.norm(x - z) ** 2


def objective_function_with_bregman(A, b, x, lambda_val, z):
    """
    计算目标函数 f(x) = D_phi(x, z) + lambda * ||x||_1
    这里使用的D_phi是Bregman散度。
    """
    return bregman_divergence(x, z) + lambda_val * np.linalg.norm(x, 1) + 0.5 * np.linalg.norm(A @ x - b) ** 2


def bregman_admm(A, b, lambda_val, max_iter=100, tol=1e-6):
    """
    基于Bregman散度的ADMM求解L1正则化的线性回归问题
    目标: min_x  (1/2) * ||Ax - b||_2^2 + lambda * ||x||_1
    使用Bregman散度来优化。

    参数:
    - A: 输入矩阵 (m, n)
    - b: 输入向量 (m,)
    - lambda_val: 正则化参数
    - max_iter: 最大迭代次数
    - tol: 收敛阈值

    返回:
    - x: 最优解
    - iterates: 每次迭代的目标函数值，用于可视化
    """

    # 初始化
    m, n = A.shape
    x = np.zeros(n)  # 原始变量
    z = np.zeros(n)  # 辅助变量
    y = np.zeros(n)  # 对偶变量

    # 用于记录每次迭代的目标函数值
    objective_values = []

    # 迭代求解
    for i in range(max_iter):
        # 更新x
        x_new = np.linalg.inv(A.T @ A + np.eye(n)) @ (A.T @ b + z - y)

        # 更新z（通过soft-thresholding实现L1正则化）
        z_new = np.sign(x_new + y) * np.maximum(np.abs(x_new + y) - lambda_val, 0)

        # 更新对偶变量y
        y_new = y + (x_new - z_new)

        # 记录目标函数值（包含Bregman散度）
        objective_values.append(objective_function_with_bregman(A, b, x_new, lambda_val, z_new))

        # 判断收敛性
        if np.linalg.norm(x_new - x) < tol and np.linalg.norm(z_new - z) < tol:
            print(f"Converged at iteration {i + 1}")
            break

        # 更新变量
        x, z, y = x_new, z_new, y_new

    return x, objective_values


# 示例数据
np.random.seed(0)
m, n = 100, 200
A = np.random.randn(m, n)  # 随机生成一个矩阵A
b = np.random.randn(m)  # 随机生成一个向量b
lambda_val = 0.1  # 设置L1正则化参数

# 使用Bregman ADMM求解问题并获取目标函数的值
x_opt, objective_values = bregman_admm(A, b, lambda_val)

# 可视化目标函数值的变化
iterations = range(len(objective_values))

# 绘制目标函数值的变化
plt.figure(figsize=(8, 6))
plt.plot(iterations, objective_values, label='Objective Function Value')
plt.xlabel('Iteration')
plt.ylabel('Objective Function Value')
plt.title('Objective Function Value vs Iterations (Bregman ADMM)')
plt.grid(True)
plt.legend()
plt.show()

# 输出最优解
print("最优解x：", x_opt)

• 左图为普通ADMM算法，右图为基于Bregman散度的ADMM算法。

表达式$⟨\nabla \varphi (z),x-z⟩$ 是 内积（dot product）形式，其中$\nabla \varphi (z)$ 是函数$\varphi$ 在点$z$ 处的梯度，而$x-z$ 是向量$x$ 和$z$ 之间的差。

具体来说，这个内积项是 Bregman 散度公式的一部分，Bregman 散度$D_{\varphi }(x,z)$ 用于度量点$x$ 和$z$ 之间的“距离”，它定义为：

$$D_{\varphi }(x,z)=\varphi (x)-\varphi (z)-⟨\nabla \varphi (z),x-z⟩$$

各个符号的解释：

-$\varphi (x)$ 和$\varphi (z)$ 是函数$\varphi$ 在点$x$ 和$z$ 处的值。
-$\nabla \varphi (z)$ 是函数$\varphi$ 在点$z$ 处的梯度向量。
-$⟨\cdot ,\cdot ⟩$ 表示内积操作，具体为向量的乘积和，即$⟨\nabla \varphi (z),x-z⟩={\sum }_{i=1}^n\nabla \varphi (z{)}_i(x_i-z_i)$。

梯度的几何含义：

-$\nabla \varphi (z)$ 是函数$\varphi$ 在点$z$ 处的梯度，它表示$\varphi$ 在该点的最速上升方向。梯度告诉我们，在点$z$ 处，如何沿着各坐标轴的方向变化来最速地增加$\varphi (z)$ 的值。
-$x-z$ 是从点$z$ 到点$x$ 的向量，表示两点之间的差距。

因此，内积$⟨\nabla \varphi (z),x-z⟩$ 可以看作是 在梯度方向上，$x$ 与$z$ 之间的“投影”，即梯度方向上，$x$ 相对$z$ 的变化量。

具体数学公式：

如果我们以欧几里得空间中的标准内积为例（假设$\nabla \varphi (z)$ 和$x-z$ 是向量），则内积的具体形式为：
$$⟨\nabla \varphi (z),x-z⟩=\sum _{i=1}^n\nabla \varphi (z{)}_i(x_i-z_i)$$
这里，$\nabla \varphi (z{)}_i$ 是梯度向量$\nabla \varphi (z)$ 在第$i$ 维的分量，$x_i$ 和$z_i$ 分别是向量$x$ 和$z$ 在第$i$ 维的分量。

应用示例：

对于常见的函数$\varphi (x)=\frac{1}{2}\Vert x{\Vert }_2^2$（即欧几里得范数的平方），它的梯度为：
$$\nabla \varphi (x)=x$$
因此，对于这个特定的$\varphi (x)$，Bregman 散度的计算公式就变成了：
$$D_{\varphi }(x,z)=\frac{1}{2}\Vert x{\Vert }_2^2-\frac{1}{2}\Vert z{\Vert }_2^2-⟨z,x-z⟩=\frac{1}{2}\Vert x-z{\Vert }_2^2$$
这就是传统的欧几里得距离的平方。

但如果选择不同的$\varphi (x)$（例如$\varphi (x)=\Vert x{\Vert }_1$，即$L_1$ 范数），则$\nabla \varphi (x)$ 会有所不同，导致 Bregman 散度的形式和性质发生变化。这也是 Bregman 散度的一个重要特点：它依赖于所选择的函数$\varphi$，因此在不同情形下，Bregman 散度能够提供更为灵活的度量方式。

总结：
$$⟨\nabla \varphi (z),x-z⟩$$
是一个内积，它表示梯度$\nabla \varphi (z)$ 和$x-z$ 之间的投影关系，在Bregman散度中用来衡量从点$z$ 向点$x$ 的偏移。

在**ADMM（Alternating Direction Method of Multipliers）**中，变量$x$,$y$, 和$z$ 扮演了不同的角色，它们之间的联系和交互是ADMM成功应用的核心。在Bregman ADMM中，这些变量的关系可能会稍有变化，但整体框架大致保持一致。下面我会详细介绍它们在标准ADMM中的作用及其相互关系。

ADMM的标准形式：

考虑如下的优化问题：
$$\underset{x,z}{\min }f(x)+g(z)$$
受制于线性约束：
$$Ax+Bz=c$$

其中，$f(x)$ 和$g(z)$ 是关于$x$ 和$z$ 的凸函数，$A$,$B$ 是矩阵，$c$ 是常数向量。这个问题可以通过交替方向法来分解成两个子问题，每个子问题分别涉及到$x$ 和$z$ 的优化。

ADMM中的变量角色：

1. 原始变量$x$：

   • $x$ 是优化问题中的原始变量，通常是我们关心的决策变量。
   • 在每次迭代中，$x$ 需要通过优化$f(x)$ 来更新。

2. 辅助变量$z$：

   • $z$ 是为了引入额外约束而引入的辅助变量。
   • 在标准ADMM中，$z$ 通常和$x$ 之间有某种约束（例如，$Ax+Bz=c$）。
   • 在每次迭代中，$z$ 通过优化$g(z)$ 来更新。

3. 对偶变量$y$：

   • $y$ 是对偶变量，代表约束$Ax+Bz=c$ 的松弛程度。它是ADMM的关键，因为它允许我们分离出原始变量$x$ 和$z$ 的更新，从而使问题可以交替求解。
   • $y$ 是通过调整约束的违反程度来不断调整$x$ 和$z$ 之间的关系。

ADMM中的更新步骤与变量之间的联系：

1. 更新原始变量$x$：

在每次迭代中，我们首先优化关于$x$ 的目标函数。由于我们正在考虑约束$Ax+Bz=c$，优化步骤需要通过对约束条件进行考虑来更新$x$。

更新规则如下：
$$x^{k+1}=\arg \underset{x}{\min }\left(f(x)+\frac{\rho }{2}\Vert Ax+B{z}^k-c+\frac{y^k}{\rho }{\Vert }^2\right)$$
这里的目标函数除了包含原始目标函数$f(x)$ 外，还包括一个关于约束$Ax+Bz=c$ 的惩罚项，惩罚项的强度由对偶变量$y$ 和超参数$\rho$（ADMM的步长参数）决定。

• 在这一更新步骤中，$y^k$ 和$\rho$ 控制着原始变量$x$ 如何受约束条件的影响。
• 更新后的$x^{k+1}$ 是根据当前$z^k$ 和对偶变量$y^k$ 更新的。

2. 更新辅助变量$z$：

更新$z$ 的过程实际上是解决一个涉及到$g(z)$ 的优化问题。这个问题通常是L1正则化或类似的形式，需要对$x^{k+1}$ 进行约束处理。

更新规则如下：
$$z^{k+1}=\arg \underset{z}{\min }\left(g(z)+\frac{\rho }{2}\Vert A{x}^{k+1}+Bz-c+\frac{y^k}{\rho }{\Vert }^2\right)$$

• 这个步骤确保了$z$ 的更新遵循优化目标中的约束$Ax+Bz=c$。
• 类似地，$y^k$ 和$\rho$ 在这里的作用是通过对偶变量来调整$z$ 的值。

3. 更新对偶变量$y$：

对偶变量$y$ 的更新是基于约束的违反程度。它通过惩罚项来调整$x$ 和$z$ 之间的关系，以确保约束$Ax+Bz=c$ 被更好地满足。

更新规则如下：
$$y^{k+1}=y^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)$$

• 在这个步骤中，$y^{k+1}$ 会增加或减少，以反映约束$Ax+Bz=c$ 的违反程度。
• 当约束得到满足时，$y$ 会收敛到一个稳定值。

变量之间的相互关系：

1. $x$ 和$z$ 的关系：

   • 在ADMM中，$x$ 和$z$ 之间的关系由约束$Ax+Bz=c$ 决定。在每次迭代中，$x$ 和$z$ 需要交替更新，通过各自的优化步骤逐步逼近满足约束条件的解。
   • 通过ADMM的交替优化，$x$ 和$z$ 会逐渐收敛于一个一致的解，使得约束得以满足。

2. $x$ 和$y$ 的关系：

   • 对偶变量$y$ 是用来惩罚约束的违反的。在每次迭代中，$y$ 根据$x$ 和$z$ 之间的差距（即约束的松弛程度）进行更新。特别地，如果约束没有得到满足，$y$ 会被调整，以推动$x$ 和$z$ 靠近约束。
   • 这种调整机制使得$y$ 成为推动优化过程中的一个重要因素，它与$x$ 和$z$ 的变化紧密相关。

3. $z$ 和$y$ 的关系：

   • 对偶变量$y$ 的更新也会影响$z$，因为$y$ 调整的是$x$ 和$z$ 之间的约束误差。如果$x$ 和$z$ 之间存在较大的差异（即约束未被很好地满足），那么$y$ 会相应地增加，从而推动$z$ 发生调整。
   • 通过不断调整$y$，ADMM确保了$x$ 和$z$ 能够逐步收敛到一个满足约束条件的解。

总结：

• $x$ 是优化问题中的原始变量，代表我们优化的核心目标。
• $z$ 是辅助变量，通常引入约束关系，并在ADMM中与$x$ 一起被更新，以满足约束条件。
• $y$ 是对偶变量，负责惩罚约束的违反，并通过调整$x$ 和$z$ 之间的关系来推动它们收敛。

这些变量在每一轮迭代中交替更新，从而使得原始问题的解逐步得到改进。ADMM通过这种交替优化机制，能高效地解决约束优化问题，尤其是涉及到大规模和非光滑正则化项（如L1正则化）的问题。