一個統計與自適應信號處理的學習總結，不再贅述，自己看把
這個模型被稱為諧波過程模型。 下面給定一個獨立的、同分布的觀察序列,我們可以用的值的線性組合建立 個相關觀察的時間序列 如下式所小: x(n) ∑ h(kw(n-k) 該模型便是得到廣泛應用的線性隨機信號模型。該模型是線性時不變系統,其沖激響應 決定了模型的記憶,因此也就決定了輸岀的相關性質。通過適當的選擇,我們可 以生成具有幾乎任何類型相關性的時間序列。 除此之外,有理式或極點一零點模型,如 還有分數極 點一零點模型和分形模犁(暫不懂) 從實用的角度看,我們對含參數模型最感興趣,含參數模型采取一個完全由有限個參數 確定的函數形式,線性含參數模型更好。 個好的模型應具有如下特性:()模型參數個數應該盡可能的少;()根據模型對模 型參數的估計應該比較容易:()模型參數應該具有物理意義。 信號建模包括一下幾步:()恰當選擇模型;()選擇正確的參數個數;()使模型適 合實際數據;()測試模型,看模型是否滿足用戶特殊應用的要求 自適應濾波 傳統的有固定系數的頻率選擇性數字濾波器,有一個特定的響應以希望的方式改變輸入 信號的頻譜,它們的關鍵特征如下: ()濾波器線性時不變 )設計過程用到希望的通帶、轉換波段、通帶波紋和阻帶衰減。我們無需知道要處 理信號的采樣值。 ()因為濾波器是頻率選擇性的,所以當輸入信號的各個部分占據不重疊頻帶時,濾 波器工作得最好。 ()濾波器系數在設計階段選定,并在濾波器的正常運行中保持不變。 自適應濾波器的顯著特征是:它在上作過程中不需用戶的預就能改變響應以改善性能。 自適應濾波器的主要應用范闈:系統識別、系統求逆、信號預測(編碼)、多傳感器 干擾抵消(主動噪聲控制) 自適應濾波器的基木要素 期望信號 輸入信號 濾波結構 + 自適應 誤差信號 算法 先驗知識 性能標準 僅用于設計階段 ()濾波結構:這個模塊使用輸入信號的測量值產生濾波器的輸出。其結構由設計者 設定,參數由自適應算法調整; ()性能標準:自適應濾波器的輸出和期望響應(當可獲得時)由模塊處理,并 參照特定應用的需要來評佔它的質量 )自適應算法:自適應算法使用性能標準函數的數值或它的函藪、輸入的測量值 期望的響應值來決定如何修改濾波器的參數,以改善性能。 每個自適應濾波應用涉及個或多個輸入信號和個期望響應信號,這個響應信號對 自適應濾波器來說可能得到也可能得不到,我們統稱這些有關信號為自適應濾波器的信號工 作環境()。根據期望響應信號的可得性,我們區分監督型、無監督型自適應濾波器。設 計仼何自適應濾波器,都需要知道關于的大量的先驗信息和對特定應用的深刻理解。不 可靠的先驗信息或關于的不正確假設,都可能導致自適應濾波性能的嚴重下降,甚至失 敗 陳列處理(見后) 第二章離散時間信號處理 章主要參考教材,分別復習了離散時間信號、確定性信號的變換域分析、離散時 間系統、最小相位系統和系統的可逆性、格型濾波器實現。 其中,最小相位系統和系統的可逆性、格型濾波器實現還需進一步研究 第三章隨機變量、矢量和序列 關于隨機變量、隨機矢量、隨機過程的討論與其他書籍類似,如下僅為一些與本書相 關的特別之處。 隨機過程的易變性 線性時不變系統的二階矩的穩定隨機序列 時域 頻域 域 y(n)=h(n)*x(n) rvx(=h)*r R、(el R(z=h(zr,(z rxy()=h(-1)*r2() Rxv(ejo)=heI rx(ejo Rxy(z=h"(1/ZRx(z ry) h(I)*Ixy Ryejo)=h(ej )Rxy (ejo Ry(Z)=H(ZRx(z ry(=h(*h(D)* Ry (el)=H(cio h (e Rx((e) Ry (Z)=H(Z)H(1/Z")Rx(Z 隨機信號的記憶性 對于方差有限的過程,相關長度的定義如下 0) ()=)p2() =0 它等于在標準的自相關序列曲線下的面積,這表明了兩個顯著相關的樣本之間的最大距 離,其中,)=2=1x(n)x(n N=0|x(n)|2 為時間序列的采樣的自相關的估計。 過程是沒有記憶的,因此完全可以由它的一階密度米措述,給出一個“零記憶”過程 ω(n)~ID(0,8a)。線性的過程具有記憶特性,它是由生成系統的脈沖響應引起的,即 rx()=82rn(1)。 相關矩陣的一些性質 隨機矢量的相關矩陣是共軛對稱的或者叫厄米特共軛( ),即Rx=R; 隨機矢量的相關矩陣是非負定的; 假定矩陣Rx是厄米特的和非負定的,它的特征值和特行失量分別為A增1和q1, 矩陣R( )特征值為入 假如特征根是互不相同的,那么相應的特征矢量q;1就是線性狙立的 特征根11是實的和非負的 假如特征根入是互不相同的,那么相應的特征矢量就是相互正交的,也就是 A≠→qHq1=0i≠ 假定{q1}1是特征矢量的個止交組,這些特征矢量與×的相關矩陣R的不同特 征值入1相對應,那么矩陣Rx可以出下式表示 ∧=QRQ 這里止交矩陽Q≌q1…qM,A是×的對角陣,可以用下式來衣示: ∧-diag(λ1…,λM) 隨機過程的相關矩陣 個隨機過程可以用一個隨機矢量來表示,它的二階統計量可以由均值矢量和相關矩陣 給出。很顯然,這些量是指數的函數。設隨機過程導出導出的一個×階的隨機矢量 表示如下 x(n)[x(n)x(n-1)…x(n-M+1) 它的均值可以由個×階的矢量來表示: x(n)2[2(n)2n-1)…x(n-M+1)]T 相關可由×階的矩陣來表示 rx(n,n) rx(n, n-M+1) Rx(n)=[ rx(n-M+ 1, rx(n-M+1,n-M+1) 很顯然,Rx(n)是一個厄米特矩陣,因為rx(n-i,n-j)=rx(n-j,n-1),0≤ij≤M 平穩隨機過程的相關矩陣 對」平穩過程來講,這個矩陣的結構是有趣的。首先,R2(n)是一個常量矩陣Rx,即自相 關函數與時間無關,也即r2(n-i,n-j)=r2(j-i)=r2(j-)。容易看出,Rx是厄米特和 托普利茲知陣。通常矩陣Rx不是全對稱矩陣,因為主反對角線上的元素一般不相等 矩陣R2的性質隨它的條件指數x(Rx)=m/入的升高而變得惡劣 隨機矢量的更新表示 詐多實踐和理論應用中,希望用不相關的分量組成線性等價的矢量(或者序列)來措述 個隨機矢量(或者序列)。如果是一個相關隨機矢量,是一個非奇異矩陣,那么由下面 的線性變換: 生成一個隨機矢量,該隨機矢量包含與隨機矢量相同的信息,因此說隨機矢量Ⅹ和 W是線性等價的。進一步講,如果W是非相關的隨機矢量,那么W的每個分量可以認為是對o 的原有分量信息的補充(或更新)。這樣一種表示稱為更新表示,它使得對所研究的隨機矢量 和序列有了更進一步的了解。 由于必須是一個對角矩陣,因此我們需要用變換矩陣米對角化厄米特、正定的矩陣 常見的對角化的方法有兩種:()特征根分析,也就是著名的 變換; ()三角變換,用它可以進行 和 分解。現綜述如下,具體的推導和幾何 解釋見 表零均值隨機矢量下正交和三角變換的比較 正交變換 角變換 X Rq;=入q Q=[. 9M 單位下三角矩陣 A=diag{A1λ2…2M} D=diag{1E2…5M} R=0AQ"=∑入qq L-IRL R1=LHD 1 A=QRQ D-1=LHR-IL 1 R-1=QA-1QH qi q detr= det d=|5i A=QRIQ detr= det a trr= tr a i=1 白化(無關聯) 白化(關聯 QX L-IX H Wn A W H D 具有給定階矩的實數隨機矢量的生成 假定我們想要生成只有零均值、對稱且正定的自相關矩陣Rx的實值隨機矢量的個樣 本,x1x2…,xM。上一節所給出的更新表示法提供了生成這樣一個隨機矢量的三種方法。一般 方法是分解Rx,用正交或者三角變換來獲得對角知陣(Ax或D或D),用得劍的對角線上 的元素作為序列的方差,生成一個序列的個樣本,然后,用逆變換矩陣(Q或Lx或Ux)對 這些樣本徴變換。需要補充說明的是,通常樣本的原始分布不一定會被俁持不變,除非樣 本是聯合正態的。因此下面的討論中,我們假設用一個正態的偽隨機數生成器米生成的 個獨立樣本。三種方法如下所述 )特征根分解方法首先分解成R=QAQ,然后用分布A來生成,最后用 來計算想要的 ()三角分解過程首先可以被分解成DLLH,然后用分布D1來牛成 最后用 來計算想要的 ()三角解析過程首先可以表示成D1UH,然后用分布Du來生成 最后用 米計算想要的 估計理論原理 個平穩序列的觀察值81,我們對其均值的估計如下: n=0 對其方差的估計為 2)-32 第四章線性信號模型 本章介紹并分析一類特殊平穩隨機序列的性質,這種序列是用白噪聲激勵一個線性時不 變系統產生的。我們著重講述系統數為有理數,即兩個多項式之比的濾波器。這樣得到的 輸出過程的功率譜密度也是有理的,它的形狀完全由濾波器系數決定。當我們想強調系統觀 點時使用術語“極點一零點模型”,用術語“自回歸滑動平均模型”指得到的隨機序列 在實際中,我們也需要產生某種已知的具有二階特征的隨機信號,或需要據已知隨機過 程的參數描述觀察到的信號。 最簡單的隨機信號模型是具有不相關特性和平坦 的廣義平穩白噪聲序列 o)(n)~WN(O,o2),在實際中使用簡單的算法就能比較容易的生成它。如果我們用一個穩定的 濾波器濾波包噪聲,就能得到有兒乎仼意隨機非周期相關結構或連續的隨機信號。 當濾波器由它的沖擊相應指定時,因為關于模型的形式沒有仟何限制,且參數個數是 可以無限的,所以就有了一個無參數模型。但是,如果我們通過一個有限階有理系統函數指 定一個系統,就有了一個由有限個參數描述的有參數信號模型。本章亙點講解有參數模型。 這一章主要講兩個主題:()已知系統函數的系數,導出 或系統;()設計一個 能生成具有給定自相關序列或函數的隨機信號的 或系統。 上述第二個問題稱為信號建模。在實際應用中,將建模的信號的二階矩無法預先知道, 必須從一組對信號的觀測中估計。 線性無參數信號模型 考慮一個穩定的沖激響應為輸入為ω(n)的系統。輸出由下面的卷積和給出: h(k)o(n-k) 因為此時輸出是通過線性加權輸入信號的采樣計算待到的,所以稱為非遞歸系統表小法。 線性隨機信號模型 如果輸入o(n)是方差為a2、自相關函數ro(1)=o26(1)和R(eo)=a3,-m≤o≤ 的均值為零的白噪聲過程。 那么,的自相關函數、復數和分別由下列等式給出: h(k)h(k-1)=or(D Rx(Z=OH(Z)H*( Rx(ei)=odeh(ejo) 我們注意到,當輸入是一個白噪聲過程時,輸出信號的自相關函數和功率譜(二階矩) 的形狀完仝由系統確定。 遞歸表示法 假定現在逆系給()=1/H7是因果和穩定的。如果我們假定,不失一般性, 那么h1(n)=Z1田H1(Z)},有h1(0)=1。因此輸入o(n)可由下式得到 n)=x(n)+2h(k)x(n-k) 解出,我們得到輸山信號的遞歸衣示法: h,(k)(n-k)to(n) 我們用術語“遞歸”表示法來強調:輸出的當前值通過所有過去輸出值的線性組合,加 上輸出的當前值得到。結構上,系統的非遞歸和遞歸表示法是等價的,即輸入相同激勵時 它們產生相同的輸出 更新表示法 如果系統是最小相位的,那么和h1(n)都是因果的和穩定的。因此,輸出信號可 由下列非遞歸地表示: h(k)w(n-k)=>h(n-k)o(k) k=-∞ x(n+1)=〉h(n+1-k)(k)+(n+1) x(n+1)=〉h(n+1-k)),h1(k-)x()+o(n+1) 仔細檢查上式發現,如果產生的系統是最小相位的,那么由采樣攜帶的所有新 的信息是由采樣o(n+1)帶來的。從信號的過去采樣 可以預測所有其他信息。這 里我們強調只有是最小相位時,這個解釋才成立。 系統通過在白噪聲輸入ω(n)中引進相關關系來產生信號,稱為綜合或有色濾波 器。相反,逆系統H(∽可用于恢復輸入ω(n),稱為分析或白化濾波器。在這個意義上,更新 濾波器和輸出過程是完全相等的。綜合和分析濾波器圖小如下: u(n)lID(0,04) H(2 XIn 宗合或色化濾波器 H1(2=/H(z u(m).分析或白化濾波器 有參極點一零點信號模型 有參模型描述一個具有有限個參數的系統,本書主要處理具有有理系統函數的有參模型 考慮一個由下列線性常系數差分方程描述的系統 x(n)+> akx(n-k)=>dk o(n-k) 這里,和ω(n)分別是輸入信號和輸出信號。兩邊取變換,我們發現系統函數是: X(Z) W()-1+E12kD(Z dZ H Z AG 根據系統的極點零點,我們能接下式 H(Z)=do (1- T=1(1-p 這個系統有個零點z和個極點pk(這里不考慮的極點零點) 系數d是系統增益。本書剩余部分都假設多項式和沒有共同根,即共同的零點 和極點已經被消掉了。 極點一零點模型的類型 對于 ,我們有一個板點一零點模型,由于 表示。如果系統假定為因果 的,它的輸出由卜式給出: x(n)= ak X(n-k)+>dko(n-k) 對于,我們有一個極點一零點模型,由于表示。如果系統假定為因果的,它的 輸出由下式給出 x(n)=〉dko(n-k 對于,我們有一個極點一零點模型,由于表示。如果系統假定為因果的,它的 輸出由下式給出: kx(n-k)tdoa(n) 如果白噪聲激勵一個有參模型,會得到一個階矩由模型的參數決定的信號。如果 o(n)~ID(0,02)有有限方差,那么 r()=o2r1()=o2h()*h(- Rx(a=oRh(z)=oH(ZH*(1/Z%) Rx(ejo)=orh (ejo)=o2H(ej H"(eja) 這樣的信號模型有很大的實際用處,且在統計學文獻中有專用的名字: 稱為移動平均模型,表示為 () 稱為自遞歸模型,表小為 () 稱為自遞歸移動平均模型,表示為 我們通過歸化d和設輸入的方差σ指定個有參信號模型。模型的參數定義為 a1,a2灬…,ap;d1,…,do;od}這些模犁假定結果過程是平穩的,只要對應系統是穩定的, 這是可以保證的。 混合過程的 分解 個任意的平穩隨機過程可構造成一個連續R(eo)和一個離散功率譜。這樣的過程 稱為混合過程,因為連續的R(e)應歸功于規則過程,而離散頻譜應以因于諧波過程(或 幾乎周期性)過程。混合過程的進一步解釋:第一部分是一個不可預測過程,而第二個部分 是可預測過程(即過去的釆樣可以用來準確的確定未米采樣),這個解釋應歸功于 分解 定理。 Wold分解 一般的平穩隨機過程能寫成如下和的形式 x(n)=x(n)+x,(n) 這里,x(n)是一個有連續頻譜的規則過程,xp(n)是一個離散頻譜的可預測過程。而且 xr(n)與xp(n)是相互正交的,即 E(x(n2)xp'(n2)=0n1,n2取任意值 第九章信號建模和參量譜估計 本章是從理論到實際的過渡,其第步模型選擇|選澤模型 重點是:對給出的一組數據選擇一個 階次和結構 合適的模型、估計模型參數、模型與 數據事實上在多大程度上相匹配。雖 然參數估計技術的發展需要一個堅實第二步模型估計模型參數 估計 的理論基礎,一個好模型的選擇以及 對它的評估需要使用者有充分的實際 經驗并熟悉該應用領域。這里用最小 二乘技術給出了使極點一零點模型和第三步模型確認檢查備選 數據匹配的全面而詳細的算法 模型性能 信號建模和作為結果的參量譜佔 計的實質是:當給定了有限長數據 區x()別m=0時,它可以被認為是考慮中 的信號序列的采樣,這是我們想估計 模型是合 雪 出信號模型參數{a、{、σ以 滿足 滿足預先制定的標準。這些模型建立 的主要步驟如右圖所示 模型選擇、模型估計與模型檢驗 見教材 采用此模型 作為應用