- 相關(guān)推薦
貝葉斯決策
模式識(shí)別
第2章 貝葉斯決策理論與統(tǒng)計(jì)判別方法
武漢大學(xué)電子信息學(xué)院
1
貝葉斯決策理論
模式識(shí)別
學(xué)習(xí)指南
主要內(nèi)容是說(shuō)明分類識(shí)別中為什么會(huì)有錯(cuò)分類, 在何種情況下會(huì)出現(xiàn)錯(cuò)分類?錯(cuò)分類的可能性會(huì) 有多大?在理論上指明了怎樣才能使錯(cuò)分類最少? 不同的錯(cuò)分類造成的危害是不同的,有的錯(cuò)分類 種類造成的危害更大,因此控制這種錯(cuò)分類則是 更重要的.為此引入了一種"風(fēng)險(xiǎn)"與"損失" 概念,希望做到使風(fēng)險(xiǎn)最小.要著重理解"風(fēng)險(xiǎn)" 與"損失"的概念,以及在引入"風(fēng)險(xiǎn)"概念后 的處理方法.
武漢大學(xué)電子信息學(xué)院
2
貝葉斯決策理論
模式識(shí)別
理解這一章的關(guān)鍵是要正確理解先驗(yàn)概率, 類概率密度函數(shù),后驗(yàn)概率這三種概率, 對(duì)這三種概率的定義,相互關(guān)系要搞得清 清楚楚.Bayes公式正是體現(xiàn)這三者關(guān)系的 式子,要透徹掌握.
武漢大學(xué)電子信息學(xué)院
3
貝葉斯決策理論
模式識(shí)別
2.1 引 言
模式識(shí)別是一種分類(classify)問(wèn)題,即根據(jù) 識(shí)別對(duì)象所呈現(xiàn)的觀察值,將其分到某個(gè) 類別中去.統(tǒng)計(jì)決策理論是處理模式分類 問(wèn)題的基本理論之一,對(duì)模式分析和分類 器(classifier)的設(shè)計(jì)起指導(dǎo)作用.貝葉斯決 策理論是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法, 我們先討論這一決策理論,然后討論涉及 統(tǒng)計(jì)判別方法的一些基本問(wèn)題.
武漢大學(xué)電子信息學(xué)院
4
貝葉斯決策理論
模式識(shí)別
特征向量與特征空間
例:蘋(píng)果的直徑尺寸限定在7厘米到15厘米 之間,它們的重量在3兩到8兩之間變化. 如果直徑長(zhǎng)度x用厘米為單位,重量y以兩 為單位.那么,由x值從7到15,y值從3到8 包圍的二維空間就是對(duì)蘋(píng)果進(jìn)行度量的特 征空間.
總體概率分布已知 要決策分類的類別數(shù)一定
武漢大學(xué)電子信息學(xué)院
5
貝葉斯決策理論
模式識(shí)別
貝葉斯決策理論所要討論的問(wèn)題
各類別ωi=1,2,…,c的先驗(yàn)概率P(ωi)及類條 件概率密度函數(shù)p(x|ωi)已知的條件下,如 何對(duì)某一樣本按其特征向量分類的問(wèn)題. 幾種常用的決策規(guī)則 正態(tài)分布時(shí)統(tǒng)計(jì)決策的問(wèn)題以及錯(cuò)誤概率 等問(wèn)題
武漢大學(xué)電子信息學(xué)院
6
貝葉斯決策理論
模式識(shí)別
2.2 幾種常用的決策規(guī)則
不同的決策規(guī)則反映了分類器設(shè)計(jì)者的不 同考慮,對(duì)決策結(jié)果有不同的影響.其中 最有代表性的是: 基于最小錯(cuò)誤率的貝葉斯決策 基于最小風(fēng)險(xiǎn)的貝葉斯決策
武漢大學(xué)電子信息學(xué)院
7
貝葉斯決策理論
模式識(shí)別
2.2.1 基于最小錯(cuò)誤率的貝葉斯決策
分類識(shí)別中為什么會(huì)有錯(cuò)分類,在何種情況下會(huì)出現(xiàn) 錯(cuò)分類?錯(cuò)分類的可能性會(huì)有多大? 當(dāng)某一特征向量值X只為某一類物體所特有,即
對(duì)其作出決策是容易的,也不會(huì)出什么差錯(cuò).問(wèn)題在 于出現(xiàn)模棱兩可的情況.此時(shí),任何決策都存在
判錯(cuò) 的可能性. 條件概率 :P(*|#)是條件概率的通用符號(hào),P(ωK|X) 是表示在X出現(xiàn)條件下,樣本為ωK類的概率.
武漢大學(xué)電子信息學(xué)院
8
貝葉斯決策理論
模式識(shí)別
先驗(yàn)概率,后驗(yàn)概率,概率密度函數(shù)
先驗(yàn)概率 P(ω1) 及P(ω2)
由先驗(yàn)知識(shí)在識(shí)別前就得到的概率
后驗(yàn)概率 P(ω1|X) 概率密度函數(shù) P(X|ω1) 及P(X|ω2) 聯(lián)合概率 P(X, ωi)
武漢大學(xué)電子信息學(xué)院
9
貝葉斯決策理論
模式識(shí)別
先驗(yàn)概率,后驗(yàn)概率,概率密度函數(shù)
Bayes(貝葉斯)公式是根據(jù)聯(lián)合概率這一概 念推出的 P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)
貝葉斯公式實(shí)質(zhì)上是通過(guò)觀察x,把狀態(tài)的 先驗(yàn)概率P(i)轉(zhuǎn)化為后驗(yàn)概率P(i|x)
武漢大學(xué)電子信息學(xué)院
10
貝葉斯決策理論
模式識(shí)別
圖2.1
武漢大學(xué)電子信息學(xué)院
11
貝葉斯決策理論
模式識(shí)別
圖2.2
武漢大學(xué)電子信息學(xué)院
12
貝葉斯決策理論
模式識(shí)別
基于最小錯(cuò)誤率的貝葉斯決策
基于最小錯(cuò)誤概率的貝葉斯決策理論就是 按后驗(yàn)概率的大小作判決的 (1)后驗(yàn)概率: 如果 則
武漢大學(xué)電子信息學(xué)院
13
貝葉斯決策理論
模式識(shí)別
(2)如果 則 (3)似然比: 如果 則
否則
武漢大學(xué)電子信息學(xué)院
14
貝葉斯決策理論
模式識(shí)別
(4)似然比寫(xiě)成相應(yīng)的負(fù)對(duì)數(shù)形式: 如果
則 否則
武漢大學(xué)電子信息學(xué)院
15
貝葉斯決策理論
模式識(shí)別
例2.1
假設(shè)在某地區(qū)切片細(xì)胞中正常(ω1)和異常 (ω2)兩類的先驗(yàn)概率分別為P(ω1)=0.9, P(ω2)=0.1.現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài) x,由其類條件概率密度分布曲線查得 p(x|ω1)=0.2,p( x|ω2)=0.4,試對(duì)細(xì)胞x 進(jìn)行分類. 解:利用貝葉斯公式,分別計(jì)算出狀態(tài)為x 時(shí)ω1與ω2的后驗(yàn)概率
武漢大學(xué)電子信息學(xué)院
16
貝葉斯決策理論
模式識(shí)別
P(ω1|x)=0.818>P(ω2|x)=0.0182 因此判定該細(xì)胞為正常細(xì)胞比較合理.
武漢大學(xué)電子信息學(xué)院
17
貝葉斯決策理論
模式識(shí)別
基于最小錯(cuò)誤率的貝葉斯決策的證明
平均錯(cuò)誤率 :在觀測(cè)值可能取值的整個(gè)范 圍內(nèi)錯(cuò)識(shí)率的均值
武漢大學(xué)電子信息學(xué)院
18
貝葉斯決策理論
模式識(shí)別
兩類別情況:
當(dāng)P(w2|x)>p(w1|x)時(shí)決策為w2,對(duì)觀測(cè) 值x有P(w1|x)概率的錯(cuò)誤率
R1:作出w1決策的所有觀測(cè)值區(qū)域,條件錯(cuò)誤概率為p(w2|x) R2: 條件錯(cuò)誤概率為p(w1|x).因此平均錯(cuò)誤率P(e)可表示成
武漢大學(xué)電子信息學(xué)院
19
貝葉斯決策理論
模式識(shí)別
在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x)
(2-9)
武漢大學(xué)電子信息學(xué)院
20
模式識(shí)別
錯(cuò)誤率為圖中兩個(gè)劃線部分之和, 對(duì)應(yīng)的錯(cuò)誤率區(qū)域面積為最小.
武漢大學(xué)
電子信息學(xué)院
貝葉斯決策理論
21
貝葉斯決策理論
模式識(shí)別
C類別情況 :
最小錯(cuò)誤率貝葉斯決策規(guī)則: 如果 則 X∈ω i (2-10) 用先驗(yàn)概率與類條件概率密度相聯(lián)系的形 式,得 : 如果
武漢大學(xué)電子信息學(xué)院
22
(2-11)
貝葉斯決策理論
模式識(shí)別
計(jì)算平均正確分類概率P(c)即
(2-12)
平均錯(cuò)誤率 :P(e)=1-P(c)
武漢大學(xué)電子信息學(xué)院
23
貝葉斯決策理論
模式識(shí)別
例: 應(yīng)用貝葉斯決策的膚色提取
武漢大學(xué)電子信息學(xué)院
24
貝葉斯決策理論
模式識(shí)別
利用貝葉斯原理,可以建立簡(jiǎn)單的膚色模型,并 用來(lái)從圖像中提取手部,臉部膚色,進(jìn)而得到人 的身體姿勢(shì). 1.先在一副訓(xùn)練圖象中手工描繪出膚色區(qū)域, 2.然后統(tǒng)計(jì)每種顏色點(diǎn)在膚色區(qū)域中出現(xiàn)的次數(shù) 和在區(qū)域外出現(xiàn)的次數(shù)的比值,作為這種顏色是 膚色的概率
武漢大學(xué)電子信息學(xué)院
25
貝葉斯決策理論
模式識(shí)別
3.這樣就得到了一張查找表,表中的每個(gè)元 素是這個(gè)點(diǎn)是膚色的概率.我們就得到了一個(gè) 點(diǎn)是不是膚色的概率分布.以上的"顏色訓(xùn)練 結(jié)果窗口"就是這樣一張表的直觀顯示.實(shí)際 表格是三維的(HSI顏色空間,32×32×8)把這 個(gè)條形區(qū)域分成八塊以后,每一塊是個(gè)32×32 的正方形,表示HS空間下的概率分布,顏色越 亮,說(shuō)明這種顏色是膚色的概率越大. 4.再加上域值限制之后,認(rèn)為只有概率大于 一定域值的才是膚色.
武漢大學(xué)電子信息學(xué)院
26
貝葉斯決策理論
模式識(shí)別
2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策
使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最佳選擇. 一個(gè)與損失有關(guān)聯(lián)的,更為廣泛的概念——風(fēng)險(xiǎn)
(2-13) 觀測(cè)樣本X實(shí)屬類別j,而被判為狀態(tài)i時(shí)所造成的損失, Ri則表示了觀測(cè)值X被判為i類時(shí)損失的均值 分類則依據(jù)Ri,(i=1,…,c)中的最小值,即最小風(fēng)險(xiǎn)來(lái)定.
武漢大學(xué)電子信息學(xué)院
27
貝葉斯決策理論
模式識(shí)別
例 :病理切片
ω1表示病理切片正常 ω2表示病理切片異常 P(ω1|X)與P(ω2|X)分別表示了兩種可能性的大 小 : X確實(shí)是癌細(xì)胞(ω2),但被判作正常(ω1) 損失 : X確實(shí)是正常(ω1),卻被判定為異常(ω2) 損失
武漢大學(xué)電子信息學(xué)院
28
貝葉斯決策理論
模式識(shí)別
定義:
自然狀態(tài) :指待識(shí)別對(duì)象的類別 A={ α1,α2,……αn} 狀態(tài)空間:由所有自然狀態(tài)所組成的空間 , Ω={ω1,ω2,…,ωc} 決策 :不僅包括根據(jù)觀測(cè)值將樣本劃歸哪 一類別(狀態(tài)),還可包括其它決策,如"拒 絕"等 決策空間 :由所有決策組成的空間
武漢大學(xué)電子信息學(xué)院
29
貝葉斯決策理論
模式識(shí)別
損失函數(shù)λ(αi|ωj)(或?qū)懗搔?αi,ωj) ) 觀測(cè)值X條件下的期望損失R(αi|X), i=1,2,…,a (2-14) Ri: 條件風(fēng)險(xiǎn)
武漢大學(xué)電子信息學(xué)院
30
貝葉斯決策理論
模式識(shí)別
最小風(fēng)險(xiǎn)貝
葉斯決策規(guī)則
如果 期望風(fēng)險(xiǎn)R 則α=αk
(2-15)
(2-16)
它表示對(duì)所有X取值所作的決策α(X)所帶 來(lái)的平均風(fēng)險(xiǎn)
武漢大學(xué)電子信息學(xué)院
31
貝葉斯決策理論
模式識(shí)別
最小風(fēng)險(xiǎn)貝葉斯決策步驟
根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率 : j=1,…,x 利用計(jì)算出的后驗(yàn)概率及決策表,計(jì)算出 采取αi,i=1,…,a的條件風(fēng)險(xiǎn)
j=1,…,x
找出使條件風(fēng)險(xiǎn)最小的決策αk,即
武漢大學(xué)電子信息學(xué)院
32
貝葉斯決策理論
模式識(shí)別
例2.2
P(ω1)=0.9, P(ω2)=0.1 p(X|ω1)=0.2, p(X|ω2)=0.4 λ11=0, λ12=6, λ21=1, λ22=0 后驗(yàn)概率 P(ω1|X)=0.818, P(ω2|X)=0.182
武漢大學(xué)電子信息學(xué)院
33
貝葉斯決策理論
條件風(fēng)險(xiǎn)
模式識(shí)別
由于R(α1|X)>R(α2|X) 判待識(shí)別的細(xì)胞X為ω2類——異常細(xì)胞 比較例2.1 P(ω1|X)=0.818, P(ω2|X)=0.182 ,正常細(xì)胞
武漢大學(xué)電子信息學(xué)院
34
貝葉斯決策理論
模式識(shí)別
兩種決策方法之間的關(guān)系
基于最小錯(cuò)誤率的決策是基于最小風(fēng)險(xiǎn)決 策的一個(gè)特例 設(shè)損失函數(shù)為
式中假定對(duì)C類只有C個(gè)決策,即不考慮 "拒絕"等其它情況,(2-17)表明,當(dāng)作出 正確決策(即i=j)時(shí)沒(méi)有損失,而對(duì)于任何 錯(cuò)誤決策,其損失均為1.這樣定義的損失 函數(shù)稱為0—1損失函數(shù).
武漢大學(xué)電子信息學(xué)院
35
貝葉斯決策理論
模式識(shí)別
兩種決策方法之間的關(guān)系
根據(jù)(2-14)式條件風(fēng)險(xiǎn)為
最小錯(cuò)誤率貝葉斯決策就是在0—1損失函 數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策
武漢大學(xué)電子信息學(xué)院
36
貝葉斯決策理論
模式識(shí)別
圖2.4
武漢大學(xué)電子信息學(xué)院
37
貝葉斯決策理論
模式識(shí)別
圖2.3 與圖2.4
武漢大學(xué)電子信息學(xué)院
38
貝葉斯決策理論
模式識(shí)別
2.2.4判別函數(shù),決策面與分類器設(shè)計(jì)
決策域 :待識(shí)別的特征向量落在哪個(gè)決策 域,該樣本就被判為哪一類. 決策面 :決策域的邊界面 判別函數(shù) :用于表達(dá)決策規(guī)則的某些函數(shù)
武漢大學(xué)電子信息學(xué)院
39
貝葉斯決策理論
模式識(shí)別
例 :兩類別問(wèn)題按最小錯(cuò)誤率作決策
相應(yīng)的判別函數(shù): gi(X)=P(ωi|X), i=1,2 決策面方程 : g1(X)=g2(X) 決策規(guī)則 如果gi(X)>gj(X) i,j=1,2 且 i≠j 則X∈ωi
武漢大學(xué)電子信息學(xué)院
40
貝葉斯決策理論
模式識(shí)別
多類別情況決策規(guī)則:
如果 則將X歸于ωi類 決策面 : 當(dāng)ωi的決策域與ωj的決策域相鄰時(shí),以下 關(guān)系決定了相應(yīng)的決策面 gi(X)=gj(X)
武漢大學(xué)電子信息學(xué)院
41
貝葉斯決策理論
模式識(shí)別
圖2.5(a)表示了一個(gè)三類別問(wèn)題用一維特征空 間時(shí)的所有決策邊界,而圖2.5(b)則表示了相 應(yīng)的二維特征空間中的決策邊界
武漢大學(xué)電子信息學(xué)院
42
貝葉斯決策理論
模式識(shí)別
兩類別問(wèn)題分類器的框圖:
武漢大學(xué)電子信息學(xué)院
43
貝葉斯決策理論
模式識(shí)別
多類別分類器的結(jié)構(gòu)框圖:
武漢大學(xué)電子信息學(xué)院
44
貝葉斯決策理論
模式識(shí)別
§2.3 正態(tài)分布時(shí)的統(tǒng)計(jì)決策
具體的決策域劃分與樣本的概率分布有關(guān). 下面結(jié)合正態(tài)分布概率密度函數(shù)進(jìn)行討論, 在討論結(jié)束時(shí)我們會(huì)發(fā)現(xiàn)從中可以得到不 少啟示.
武漢大學(xué)電子信息學(xué)院
45
貝葉斯決策理論
模式識(shí)別
2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)
單變量正態(tài)分布
正態(tài)分布是指一個(gè)隨機(jī)實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域 上的分布規(guī)律,屬于概率密度函數(shù)類
武漢大學(xué)電子信息學(xué)院
46
貝葉斯決策理論
模式識(shí)別
多元正態(tài)分布
多元正態(tài)分布的概率密度函數(shù):
μ是X的均值向量,d維 μ=E{X}=[μ1,μ2,…,μd]T ∑是d×d維協(xié)方差矩陣,而∑-1是∑的逆 矩陣,|∑|是∑的行列式 ∑=E{(X-μ)(X-μ)T}
武漢大學(xué)電子信息學(xué)院
47
貝葉斯決策理論
模式識(shí)別
多元正態(tài)分布的重要的特性
多元正態(tài)分布的概率密度函數(shù)中的元就是 我們前面說(shuō)得特征向量的分量數(shù),也就是 維數(shù) . 多維向量:每一個(gè)分量都是隨機(jī)變量,服 從正態(tài)分布.http://http://www.oriental01.com/news/5587D97E021E5268.html但是一個(gè)二維隨機(jī)向量不僅 要求考慮每個(gè)分量單獨(dú)的分布,還要考慮 兩個(gè)隨機(jī)變量之間的關(guān)系 ——相關(guān)性
武漢大學(xué)電子信息學(xué)院
48
貝葉斯決策理論
模式識(shí)別
例:兩個(gè)二元正態(tài)分布
武漢大學(xué)電子信息學(xué)院
49
貝葉斯決策理論
模式識(shí)別
協(xié)方差矩陣:
用 E[x1-μ1)(x2-μ2)]來(lái)衡量這種相關(guān)性,稱 為協(xié)方差矩陣 非對(duì)角元素正表示了兩個(gè)分量之間的相關(guān) 性 主對(duì)角元素則是各分量本身的方差 協(xié)方差矩陣的重要屬性:正定的對(duì)稱矩陣
武漢大學(xué)電子信息學(xué)院
50
貝葉斯決策理論
模式識(shí)別
多元正態(tài)分布的性質(zhì)
參數(shù)μ與∑對(duì)分布具有決定性,記作p(X)～ N(μ,∑). 等密度點(diǎn)分布在超橢球面上. 等密度點(diǎn)對(duì)應(yīng): (x-μ)T∑-1(x-μ)=常數(shù)
武漢大學(xué)電子信息學(xué)院
51
貝葉斯決策理論
模式識(shí)別
向量X到向量μ的Mahalanobis距離的平方 r2=(x-μ)T∑-1(x-μ) 多元正態(tài)分布的離散程度由參數(shù)|∑|1/2決定, 這與單變量時(shí)由標(biāo)準(zhǔn)差σ決定是對(duì)應(yīng)一致的. 不相關(guān)性等價(jià)于獨(dú)立性. —不相關(guān) :E[xixj]=E[xi]〃E[xj] —相關(guān) :(xi,xj)=p(xi)p(xj),
武漢大學(xué)電子信息學(xué)院
52
貝葉斯決策理論
模式識(shí)別
邊緣分布和條件分布的正態(tài)性 多元正態(tài)分布的邊緣分布和條件分布仍然是 正態(tài)分布. 線性變換的正態(tài)性 Y=αTx,則Y的分布仍然是正態(tài)的.
武漢大學(xué)電子信息學(xué)院
53
模式識(shí)別 貝葉斯決策理論 2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率貝葉斯決 策
如果 則X∈ωi 判別函數(shù)為 p(x| ωi) p(ωi) ,采用對(duì)數(shù)形 式
武漢大學(xué)電子信息學(xué)院
54
貝葉斯決策理論
模式識(shí)別
決策規(guī)則:
相應(yīng)的決策面方程為
武漢大學(xué)電子信息學(xué)院
55
貝葉斯決策理論
模式識(shí)別
最小
距離分類器情況
定義:每個(gè)樣本以它到每類樣本均值的歐 氏距離的最小值確定其分類 . 如果 則 X∈ωi 樣本分布滿足以下正態(tài)分布條件時(shí),最小 錯(cuò)誤分類器與(2-39)表示的決策規(guī)則相當(dāng):
武漢大學(xué)電子信息學(xué)院
56
貝葉斯決策理論
模式識(shí)別
在這種條件下,由于|∑|=σ2d及 ∑i-1=σ2I ,代入(2-37)得
武漢大學(xué)電子信息學(xué)院
57
貝葉斯決策理論
模式識(shí)別
由于決策是根據(jù)各判別函數(shù)之間的大小,因而在 (2-48)中一些與類別無(wú)關(guān)的項(xiàng)可以忽略,再加上 先驗(yàn)概率相等這個(gè)條件,判別函數(shù)可簡(jiǎn)化成
最小距離分類器就可看作模板匹配.每個(gè)類有一 個(gè)典型樣本(即均值向量),稱為模板,而待分類 樣本X只要按歐氏距離計(jì)算與哪個(gè)模板最相似(歐 氏距離最短)即可作決定.
武漢大學(xué)電子信息學(xué)院
58
貝葉斯決策理論
模式識(shí)別
線性分類器
∑i=σ2I i=1,…,c
其中
武漢大學(xué)電子信息學(xué)院
59
貝葉斯決策理論
模式識(shí)別
決策面方程
利用 以及 代入(2-46)并整理,可得 WT(X-X0)=0 (2-47) W=μi-μj
武漢大學(xué)電子信息學(xué)院
60
貝葉斯決策理論
模式識(shí)別
另一種簡(jiǎn)單情況
∑i=∑
表示在二維特征空間的情況
武漢大學(xué)電子信息學(xué)院
61
貝葉斯決策理論
模式識(shí)別
判別函數(shù)
如果c類先驗(yàn)概率都相等,
其中
武漢大學(xué)電子信息學(xué)院
62
貝葉斯決策理論
模式識(shí)別
決策面方程
gi(X)-gj(X)=0 即 其中
武漢大學(xué)電子信息學(xué)院
63
貝葉斯決策理論
模式識(shí)別
線性分類器總結(jié)
在正態(tài)分布條件下,基于最小錯(cuò)誤率貝葉 斯決策只要能做到兩類協(xié)方差矩陣是一樣 的,那么無(wú)論先驗(yàn)概率相等不相等,都可 以用線性分界面實(shí)現(xiàn). 小歐氏距離分類器則要求正態(tài)分布協(xié)方差 矩陣為單位陣,先驗(yàn)概率相等.
武漢大學(xué)電子信息學(xué)院
64
貝葉斯決策理論
模式識(shí)別
各類協(xié)方差矩陣不相等的情況
∑i≠∑j i,j=1,2,…,c
(d×d矩陣) (d維列向量)
武漢大學(xué)電子信息學(xué)院
65
貝葉斯決策理論
模式識(shí)別
決策面方程(當(dāng)兩個(gè)決策域毗鄰)
根據(jù)gi(X)-gj(X)=0有
武漢大學(xué)電子信息學(xué)院
66
貝葉斯決策理論
模式識(shí)別
圖2.10
武漢大學(xué)電子信息學(xué)院
67
貝葉斯決策理論
模式識(shí)別
討論與分析
分析了在何種正態(tài)分布條件下,最小錯(cuò)誤 率貝葉斯決策具有線性決策面. 最小距離分類器與統(tǒng)計(jì)上最小錯(cuò)誤率決策 上一致的條件.
武漢大學(xué)電子信息學(xué)院
68
貝葉斯決策理論
模式識(shí)別
本章小結(jié)
主要的知識(shí): 使用什么樣的決策原則我們可以做到錯(cuò)誤 率最小Bayes決策 錯(cuò)分類最小并不一定是一個(gè)識(shí)別系統(tǒng)最重 要的指標(biāo)風(fēng)險(xiǎn),損失 學(xué)習(xí)獲得對(duì)樣本概率分布的估計(jì)
武漢大學(xué)電子信息學(xué)院
69
貝葉斯決策理論
模式識(shí)別
貝葉斯決策理論是統(tǒng)計(jì)模式識(shí)別
的重要理論基礎(chǔ) 理論上講,貝葉斯決策方法是最優(yōu)的(在最小錯(cuò)誤 率或最小風(fēng)險(xiǎn)意義上) 應(yīng)用中:需要首先得到先驗(yàn)概率和類條件概率密度 方法一: 先估計(jì)概率密度,后求解決策規(guī)則 方法二: 若已知或可假設(shè)概率密度為某種形式(比 如正態(tài)分布),可先求出判決函數(shù)形式,再?gòu)臉颖?估計(jì)其中的參數(shù). 方法三: 直接選擇或假設(shè)某種判決函數(shù)形式,用樣 本確定其參數(shù).
武漢大學(xué)電子信息學(xué)院
70
貝葉斯決策理論
模式識(shí)別
習(xí)題
1. 試簡(jiǎn)述先驗(yàn)概率,類條件概率密度函數(shù)和 后驗(yàn)概率等概念間的關(guān)系: 2. 試寫(xiě)出利用先驗(yàn)概率和分布密度函數(shù)計(jì)算 后驗(yàn)概率的公式 3. EX2.5 4. EX2.15 5. 寫(xiě)出最小錯(cuò)誤率和最小風(fēng)險(xiǎn)決策規(guī)則相應(yīng) 的判別函數(shù)(兩類問(wèn)題). 6. 用Matlab計(jì)算兩類識(shí)別問(wèn)題:根據(jù)血液中 白細(xì)胞的濃度來(lái)判斷病人是否患血液病.
武漢大學(xué)電子信息學(xué)院
71
【貝葉斯決策】相關(guān)文章：
基于前景理論與貝葉斯決策模型的彩民動(dòng)機(jī)研究04-30
ARFIMA模型參數(shù)貝葉斯估計(jì)的漸近性質(zhì)04-27
機(jī)匣包容性的貝葉斯評(píng)價(jià)方法04-27
基于貝葉斯動(dòng)態(tài)模型的某器件性能預(yù)測(cè)05-01
基于貝葉斯網(wǎng)絡(luò)的飛機(jī)易損性評(píng)估方法04-27