最速下降法是以負梯度方向最為下降方向的極小化算法，相鄰兩次的搜索方向是互相直交的。牛頓法是利用目標函數在迭代點處的Taylor展開式作為模型函數，并利用這個二次模型函數的極小點序列去逼近目標函數的極小點。共軛梯度法它的每一個搜索方向是互相共軛的，而這些搜索方向僅僅是負梯度方向與上一次接待的搜索方向的組合。