相關(guān)向量機(jī)的MATLAB代碼，經(jīng)過(guò)驗(yàn)證是正確的，很實(shí)用 推薦相關(guān)向量機(jī)（Relevance vector machine,簡(jiǎn)稱RVM）是Tipping在2001年在貝葉斯框架的基礎(chǔ)上提出的，它有著與支持向量機(jī)（Support vector machine,簡(jiǎn)稱SVM）一樣的函數(shù)形式，與SVM一樣基于核函數(shù)映射將低維空間非線性問(wèn)題轉(zhuǎn)化為高維空間的線性問(wèn)題。 RVM原理步驟 RVM通過(guò)最大化后驗(yàn)概率（MAP）求解相關(guān)向量的權(quán)重。對(duì)于給定的訓(xùn)練樣本集{tn,xn}，類似于SVM , RVM 的模型輸出定義為 y(x;w)=∑Ni=1wiK(X,Xi)+w0 其 中wi為權(quán)重， K(X,Xi)為核函。因此對(duì)于, tn=y(xn,w)+εn,假設(shè)噪聲εn 服從均值為0 , 方差為σ2 的高斯分布,則p ( tn | ω,σ2 ) = N ( y ( xi ,ωi ) ,σ2 ) ,設(shè)tn 獨(dú)立同分布,則整個(gè)訓(xùn)練樣本的似然函數(shù)可以表示出來(lái)。對(duì)w 與σ2的求解如果直接使用最大似然法，結(jié)果通常使w 中的元素大部分都不是0，從而導(dǎo)致過(guò)學(xué)習(xí)。在RVM 中我們想要避免這個(gè)現(xiàn)像，因此我們?yōu)閣 加上先決條件：它們的機(jī)率分布是落在0 周圍的正態(tài)分布: p(wi|αi) = N(wi|0, α?1i ),于是對(duì)w的求解轉(zhuǎn)化為對(duì)α的求解，當(dāng)α趨于無(wú)窮大的時(shí)候，w趨于0. RVM的步驟可以歸結(jié)為下面幾步： 1. 選擇適當(dāng)?shù)暮撕瘮?shù)，將特征向量映射到高維空間。雖然理論上講RVM可以使用任意的核函數(shù)，但是在很多應(yīng)用問(wèn)題中，大部分人還是選擇了常用的幾種核函 數(shù)，RBF核函數(shù)，Laplace核函數(shù)，多項(xiàng)式核函數(shù)等。尤其以高斯核函數(shù)應(yīng)用最為廣泛?？赡苡诟咚购秃撕瘮?shù)的非線性有關(guān)。選擇高斯核函數(shù)最重要的是帶 寬參數(shù)的選擇，帶寬過(guò)小，則導(dǎo)致過(guò)學(xué)習(xí)，帶寬過(guò)大，又導(dǎo)致過(guò)平滑，都會(huì)引起分類或回歸能力的下降 2. 初始化α，σ2。在RVM中α，σ2是通過(guò)迭代求解的，所以需要初始化。初始化對(duì)結(jié)果影響不大。 3. 迭代求解最優(yōu)的權(quán)重分布。 4. 預(yù)測(cè)新數(shù)據(jù)。