前言
本文隶属于专栏《机器学习数学通关指南》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
本专栏目录结构和参考文献请见《机器学习数学通关指南》
正文
一句话总结
拉格朗日乘子法（拉格朗日乘数法）是处理带约束优化问题的工具，它通过引入乘子λ将约束条件和目标函数结合，找到两者“妥协”下的极值点，核心思想是：极值点处目标函数的梯度与约束条件的梯度方向平行。
直观理解方式
-
满营山上的最低点
- 想象你是一位登山者，目标是爬到山峰最低处（目标函数的最小值），同时必须沿着一条特定路径行走（约束条件）。
- 拉格朗日乘子λ的作用：类似“路径罚分系数”，平衡你违反路径约束的代价与寻找极值的收益。
- 关键发现：当你站在路径上的最低点时，山体下降方向（目标函数梯度）与路径延伸方向（约束函数梯度）必然重合（否则你可以沿着路径继续下坡）。
-
例子解析
- 文档应用题：求体积最大的长方体，但必须满足表面积固定（约束条件
2xy + 2yz + 2xz = a²）。-
目标函数：
V = xyz -
构造拉格朗日函数：
L(x, y, z, λ) = xyz + λ(2xy + 2yz + 2xz - a²) -
导数条件：
∂L/∂x = yz + λ(2y + 2z) = 0 ∂L/∂y = xz + λ(2x + 2z) = 0 ∂L/∂z = xy + λ(2x + 2y) = 0 -
联立约束求解：最终得
x = y = z = a/√6（立方体体积最大）。
-
- 文档应用题：求体积最大的长方体，但必须满足表面积固定（约束条件
关键步骤与数学形式
三步流程
-
构造函数：整合目标函数和约束
L ( x , λ ) = f ( x ) + λ ⋅ g ( x ) L(\mathbf{x}, \lambda) = f(\mathbf{x}) + \lambda \cdot g(\mathbf{x}) L(x,λ)=f(x)+λ⋅g(x)f(x)：原始目标（如体积、利润）g(x)=0：约束（如资源限制、物理条件）
-
求偏导归零：对变量和乘子分别求导
- 变量偏导：
∇ₓL = ∇f + λ∇g = 0（梯度共线） - 约束方程：
g(x) = 0（必须满足原条件）
- 变量偏导：
-
解联立方程：解出候选极值点及λ值。
几何意义
- 梯度平行定理：极值点处，目标函数梯度
∇f与约束条件梯度∇g平行，即存在比例λ使得∇f = -λ∇g。 - 图像示意（文档案例）：椭球面与切平面构成的四面体体积最小时，切点处两曲面梯度共线。
应用场景与本质
- 工程优化：限制条件下的最大收益（如材料固定时设计最强结构）。
- 机器学习：支持向量机（SVM）的间隔最大化问题需约束分类边界。
- 经济学：预算约束下的效用最大化。
核心本质：通过乘子λ量化约束的“严格性”：
- λ的物理意义：若约束放宽单位量，目标函数值可改进的程度（影子价格）。
- 例：若文档中体积优化的λ=5，表示表面积允许增加1单位，体积最多能增5单位。
联系
- 微分中值定理：拉格朗日乘子法是微分学在优化中的延伸（极值点导数特性）。
- 泰勒公式与可微性：多变量条件下需保证目标函数和约束均可微（文档中案例均满足）。
- 梯度概念：梯度方向决定优化方向，而乘子法要求目标与约束梯度共线。
典型误区
- 只解方程不验证：拉格朗日法提供候选解，实际是否为极值需结合问题背景（如文档中长方体的边长必大于零）。
- 漏乘子或符号错误：构造函数时乘子λ需参与所有相关约束（权重正确分配）。
总结：拉格朗日乘子法是**“带着镣铐找最优”的数学工具**：通过构造拉格朗日函数将约束融入目标，利用导数条件找到梯度共线的平衡点。操作分三步走（构造、求导、联立），应用覆盖工程、经济、AI等多个领域。
