不动点法,（交替方向乘子法）ADMM和梯度下降法的对比

更新时间2019-03-07 15:16:42

在图像处理中遇到的问题

不动点法(fixed point method)亦称映射法.对策问题的一类几何求解方法.

不动点法(fixed point method)亦称映射法.对策问题的一类几何求解方法.局中人I的每一个最优策略是局中人B每一个最优策略的像点.同样，局中人B的每一个最优策略是局中人I的每一个最优策略的像点.设R'和S'分别是局中人I和B的最优策略集.若r" ER"，则有

这就是说，r'的像点集是s".同理，若、" ES"，则有

这就是说，、'的像点集是R".最优策略r" E R'和;'任S'都是上述映射的不动点.这样，求最优策略 的问题就转化为求不动点的问题.

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解。ADMM 最早分别由 Glowinski & Marrocco 及 Gabay & Mercier 于 1975 年和 1976 年提出，并被 Boyd 等人于 2011 年重新综述并证明其适用于大规模分布式优化问题。由于 ADMM 的提出早于大规模分布式计算系统和大规模优化问题的出现，所以在 2011 年以前，这种方法并不广为人知。

 

梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。

可以用于求解非线性方程组