最速下降法是以負(fù)梯度方向最為下降方向的極小化算法，相鄰兩次的搜索方向是互相直交的。牛頓法是利用目標(biāo)函數(shù)在迭代點(diǎn)處的Taylor展開(kāi)式作為模型函數(shù)，并利用這個(gè)二次模型函數(shù)的極小點(diǎn)序列去逼近目標(biāo)函數(shù)的極小點(diǎn)。共軛梯度法它的每一個(gè)搜索方向是互相共軛的，而這些搜索方向僅僅是負(fù)梯度方向與上一次接待的搜索方向的組合。