|
最速下降法的改进及收敛性证明
|
|
【经济学学年论文提纲】摘 要：对最速下降法进行改进，并证明了改进算法不但收敛，同时也保留了原方法结构简单、计算量少等优点。结合具体实例，与共轭梯度法进行比较，数值试验表明，改进后的最速下降法是一种有效的方法，同时对一些算例它还优于共轭梯度法。
关键词： 最速下降法 两点搜索 收敛
0 引 言
求解无约束最优化问题∈时，最速下降法是一个最基本而重要的方法。它具有迭代计算简单，占用计算机内存空间少，在远离极值点时收敛速度快等优点。最速下降法在其它领域中有许多应用，如神经网络权值的优化等，同时也是其它方法的基础，很多优化问题一开始多用最速下降法迭代，在接近最优点时改用其它方法。
最速下降法按基本迭代格式α d 迭代，即从点xk出发沿点xk的负梯度方向d k = ??f (xk )进行搜索，其中α 用一维搜索α p f x α≥求得。对一般的无约束最优化问题，若f (x)的海森矩阵的条件数比较大，这种方法会产生严重的锯齿现象，使得迭代进程在接近极值点时变得非常慢。人们对最速下降法做了不少的改进：比如改进搜索步长，在奇数次迭代与偶数次迭代分别选用不同的步长算法[1]；从特殊点的角度，提出了最好点最速下降法，消除了锯齿现象，提高了计算速度[2]；将共轭梯度法与最速下降法有机地结合起来, 构造了一种混合算法，继承了两种算法的双重优点[3]。
本文则从最速下降法产生锯齿现象的直观意义出发，构造出了一种十分简洁的算法，同时此法对一些算例具有比其它算法更快的收敛速度。
1．两点最速下降法
改进算法的思想：为了克服最速下降法产生锯齿现象，当搜索两次以后依次有3个点x0 , x1, x2，把从起点x0与末点x2的射线方向作为下一次的搜索方向，称之为两点搜索法。
1.1 两点最速下降法的算法步骤收敛性分析．数值试验分别对变量是2 维和3 维的测试函数为例对上面算法加以验证，这些函数的海森矩阵条件数较大。以下数值结果是在matlab7.9.0 计算平台下得出，其中步长采
|
|
|
广告服务