統(tǒng)計學(xué)習(xí)方法有哪些
統(tǒng)計學(xué)習(xí)方法有哪些
統(tǒng)計學(xué)習(xí)方法的三要素,包括假設(shè)空間、模型的選擇準(zhǔn)則以及模型學(xué)習(xí)的算法,簡稱為模型、策略和算法。具體請看下文,下面是學(xué)習(xí)啦小編分享給大家的統(tǒng)計學(xué)習(xí)方法的資料,希望大家喜歡!
統(tǒng)計學(xué)習(xí)方法一
1.極大似然原理:
例子1:原理是這樣的,一個師傅和一個徒弟去打獵,如果第一個獵物被打到了,不知道是誰打的,就猜是師傅打的,這就是極大似然。
例子2:假設(shè)一件事有100種可能性,在一次試驗(yàn)中其中一種可能性發(fā)生了,所以給人一種感覺這種可能性是最容易發(fā)生的,極大似然的想法就是使這種可能性達(dá)到最大
統(tǒng)計學(xué)習(xí)方法二
2.實(shí)際應(yīng)用中極大似然估計分布的參數(shù):
根據(jù)n個樣本,估計整體分布的參數(shù),比如我們知道總體是服從正態(tài)分布,但是不知道具體參數(shù)theta和u。其基本思想是這樣的:選擇一個參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大的概率,已知某個參數(shù)能使這個樣本出現(xiàn)的概率最大,我們當(dāng)然不會再去選擇其他小概率的樣本,所以干脆就把這個參數(shù)作為估計的真實(shí)值。
Em算法和最大似然估計的關(guān)系:
EM算法是求最大似然估計的一種方法,但是當(dāng)含有隱變量時候不方便通過似然函數(shù)求導(dǎo),來求參數(shù),所以就分了e步和m步來求,這樣方便
P15頁上面的“S折交叉驗(yàn)證”和“留一交叉驗(yàn)證”有什么區(qū)別嗎?
它們都是在數(shù)據(jù)集不夠的條件下使用的一種方,舉個例子吧s折交叉驗(yàn)證,外層一個大循環(huán)(比如你可以讓它循環(huán)10次),其中每一次都將數(shù)據(jù)集劃分為訓(xùn)練集和測試集,這兩大塊的數(shù)據(jù)集大小的比例沒做限定,然后用訓(xùn)練集訓(xùn)練模型,測試集經(jīng)驗(yàn)風(fēng)險,最后循環(huán)結(jié)束,對這些風(fēng)險取平均值。
S折是把數(shù)據(jù)分成互不相交的S份,這里有個完備的概念,S-1份作為訓(xùn)練集,剩下的一份作為測試集,注意每一份是隨機(jī)選的,但是個數(shù)相同,這S份都要遍歷一遍,最后取平均值,不是取某一份最小的值,會發(fā)現(xiàn)用交叉驗(yàn)證每運(yùn)行一次代碼,結(jié)果都不一樣,因?yàn)榻徊骝?yàn)證雖然把數(shù)據(jù)評論分成S份,但每分都是隨機(jī)選的,里面有個隨機(jī)量,留一法就是只留一條數(shù)據(jù)作為測試數(shù)據(jù),其他都作為訓(xùn)練集,是每份為一的交叉驗(yàn)證,特殊的交叉驗(yàn)證,留一法準(zhǔn)確率高,就是運(yùn)算量大,以上都是因?yàn)?,我們?xùn)練數(shù)據(jù)太少,我們要怎家訓(xùn)練的多樣性,才這么干的
結(jié)構(gòu)風(fēng)險等于經(jīng)驗(yàn)風(fēng)險加正則化項(xiàng)。都是復(fù)雜度越小越不容易過擬合,那完全可以加很小,趨于零 相當(dāng)于不加了,只剩經(jīng)驗(yàn)風(fēng)險了。那有什么意義呢?對于過擬合。
對于正則化懲罰我是這么理解的。和為懲罰?我們訓(xùn)練策略是要求經(jīng)驗(yàn)損失盡可能小,當(dāng)然模型復(fù)雜了,訓(xùn)練效果好了,經(jīng)驗(yàn)損失肯定會小,但是這時候可能過擬合了,一個模型能使損失盡量小,我們有模型后面加上一個懲罰項(xiàng)就是加上一個數(shù),是他不那么容易把損失變得那么小。
統(tǒng)計學(xué)習(xí)方概論
為了更好的把機(jī)器學(xué)習(xí)、深度學(xué)習(xí)用到油藏開發(fā)中,需要學(xué)習(xí)最先進(jìn)的算法。通過這篇概論可以看到,幾乎所有的統(tǒng)計學(xué)習(xí)問題,都變成了最優(yōu)化問題。
統(tǒng)計學(xué)習(xí)的方法是基于數(shù)據(jù)構(gòu)建統(tǒng)計模型從而對數(shù)據(jù)進(jìn)行預(yù)測和分析。統(tǒng)計學(xué)習(xí)由監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。李航的《統(tǒng)計學(xué)習(xí)方法》主要講解監(jiān)督學(xué)習(xí)。
監(jiān)督學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個模型,使模型能夠?qū)θ我饨o定的輸入,對其相應(yīng)的輸出做出一個好的預(yù)測。
統(tǒng)計學(xué)習(xí)方法的三要素,包括假設(shè)空間、模型的選擇準(zhǔn)則以及模型學(xué)習(xí)的算法,簡稱為模型、策略和算法。
監(jiān)督學(xué)習(xí)從訓(xùn)練數(shù)據(jù)集合中學(xué)習(xí)模型,對觀測數(shù)據(jù)進(jìn)行預(yù)測。人們根據(jù)輸入、輸出變量的不同類型,對預(yù)測任務(wù)給予不同的名稱:輸入變量與輸出變量均為連續(xù)變量的預(yù)測問題稱為回歸問題;輸出變量為有限個離散變量的預(yù)測問題稱為分類問題;輸入變量和輸出變量均為變量序列的預(yù)測問題稱為標(biāo)注問題。
監(jiān)督學(xué)習(xí)中,假設(shè)訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)是依聯(lián)合概率分布P(X,Y)獨(dú)立同分布產(chǎn)生的。
在學(xué)習(xí)過程中,學(xué)習(xí)系統(tǒng)利用給定的訓(xùn)練數(shù)據(jù)集,通過學(xué)習(xí)得到一個模型,表示條件概率分布P(Y|X)或決策函數(shù)Y=f(X),條件概率分布或決策函數(shù)描述輸入與輸出隨機(jī)變量之間的映射關(guān)系。
在學(xué)習(xí)過程中,學(xué)習(xí)系統(tǒng)(也就是算法)試圖通過訓(xùn)練數(shù)據(jù)集中的樣本(xi,yi)帶來的信息學(xué)習(xí)模型。
方法=模型+策略+算法
在監(jiān)督學(xué)習(xí)中,模型就是要學(xué)習(xí)的條件概率分布或決策函數(shù)。一般,由決策函數(shù)表示的模型為非概率模型,由條件概率表示的模型為概率模型。模型的假設(shè)空間包含所有可能的條件概率分布或決策函數(shù)。
統(tǒng)計學(xué)習(xí)的目的在于從假設(shè)空間中選取最優(yōu)模型。損失函數(shù)度量模型一次預(yù)測的好壞,風(fēng)險函數(shù)度量平均意義下模型預(yù)測的好壞。
期望風(fēng)險是模型關(guān)于聯(lián)合分布的期望損失,經(jīng)驗(yàn)風(fēng)險是模型關(guān)于訓(xùn)練樣本集的平均損失。根據(jù)大數(shù)定律,等樣本容量趨于無窮時,經(jīng)驗(yàn)風(fēng)險區(qū)域期望風(fēng)險。
經(jīng)驗(yàn)風(fēng)險最小化的策略認(rèn)為,經(jīng)驗(yàn)風(fēng)險最小的模型是模型最優(yōu)的模型。根據(jù)這一策略,按照經(jīng)驗(yàn)風(fēng)險最小化求最優(yōu)模型就是求解最優(yōu)化問題。
當(dāng)樣本容量足夠大時,經(jīng)驗(yàn)風(fēng)險最小化能保證很好的學(xué)習(xí)效果,在現(xiàn)實(shí)中被廣泛使用。但是,當(dāng)樣本容量很小時,經(jīng)驗(yàn)風(fēng)險最小化學(xué)習(xí)的效果未必很好,會產(chǎn)生“過擬合”現(xiàn)象。
結(jié)構(gòu)風(fēng)險最小化是為了防止過擬合而提出來的策略。結(jié)構(gòu)風(fēng)險最小化等價于正則化,它是在經(jīng)驗(yàn)風(fēng)險上加上表示模型復(fù)雜度的正則化項(xiàng)(regularizer)或懲罰項(xiàng)(penalty term)。模型復(fù)雜度是定義在假設(shè)空間上的泛函。結(jié)構(gòu)風(fēng)險小需要經(jīng)驗(yàn)風(fēng)險與模型復(fù)雜度同時小。結(jié)構(gòu)風(fēng)險最小化的策略認(rèn)為結(jié)構(gòu)風(fēng)險最小化的模型是最優(yōu)的模型。所以求最優(yōu)模型,就是求解最優(yōu)化問題:
算法是指學(xué)習(xí)模型的具體計算方法。統(tǒng)計學(xué)習(xí)問題歸結(jié)為最優(yōu)化問題,統(tǒng)計學(xué)習(xí)的算法成為求解最優(yōu)化問題的算法。如何保證找到全局最優(yōu)解,并使求解的過程非常高效,就成為一個重要問題。
統(tǒng)計學(xué)習(xí)可以利用已有的最優(yōu)化算法,有時也需要開發(fā)獨(dú)自的最優(yōu)化算法。
統(tǒng)計學(xué)習(xí)方法之間的不同,主要來自其模型、策略和算法的不同。
統(tǒng)計學(xué)習(xí)的目的是使學(xué)到的模型不僅對已知數(shù)據(jù)而且對未知數(shù)據(jù)都有很好的預(yù)測能力。測試誤差反應(yīng)了學(xué)習(xí)方法對未知的測試數(shù)據(jù)集的預(yù)測能力,是學(xué)習(xí)中的重要概念。通常將學(xué)習(xí)方法對未知數(shù)據(jù)的預(yù)測能力稱為泛化能力(generalizationability)。
監(jiān)督學(xué)習(xí)的任務(wù)就是學(xué)習(xí)一個模型,應(yīng)用這一模型,對給定的輸入預(yù)測相應(yīng)的輸出。監(jiān)督學(xué)習(xí)方法可以分為生成方法和判別方法,所學(xué)到的模型分別稱為生成模型和判別模型。
典型的生成模型有:樸素貝葉斯法和隱馬爾可夫模型。
典型的判別模型包括:k鄰近法、感知法、決策樹、邏輯斯遞歸模型、最大熵抹胸、支持向量機(jī)、提升法和條件隨機(jī)場等。
生成方法的特點(diǎn):可以還原出聯(lián)合概率分布P(X,Y),而判別方法不能;生成方法的學(xué)習(xí)收斂速度更快,當(dāng)存在隱變量時,仍可以用生成方法學(xué)習(xí),測試判別方法不能用。
判別方法的特點(diǎn):判別方法直接學(xué)習(xí)的是條件概率P(Y|X)或決策函數(shù)f(X),直接面對預(yù)測,汪汪學(xué)習(xí)的準(zhǔn)確率更好;由于直接學(xué)習(xí)P(Y|X)或f(X),可以對數(shù)據(jù)進(jìn)行各種程度上的抽象、定義特征并使用特征,因此可以簡化學(xué)習(xí)問題。
分類問題是監(jiān)督學(xué)習(xí)的一個核心問題,監(jiān)督學(xué)習(xí)從數(shù)據(jù)中學(xué)習(xí)一個分類模型或分類決策函數(shù),稱為分類器。
分類問題包括學(xué)習(xí)和分類兩個過程。在學(xué)習(xí)過程中,根據(jù)已知的訓(xùn)練數(shù)據(jù)集利用有效的學(xué)習(xí)方法學(xué)習(xí)一個分類器;在分類過程中,利用學(xué)習(xí)的分類器對新的輸入實(shí)例進(jìn)行分類。
許多學(xué)習(xí)方法可以用于分類,包括k鄰近法,感知機(jī),樸素貝葉斯,決策樹,決策列表,邏輯斯遞歸模型,支持向量機(jī),提升方法,貝葉斯網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò),window等。
標(biāo)注(tagging)也是一個監(jiān)督學(xué)習(xí)問題,可以認(rèn)為標(biāo)注問題是分類問題的一個推廣,標(biāo)注問題又是更復(fù)雜的結(jié)構(gòu)預(yù)測(structureprediction)問題的一個簡單型式。標(biāo)注問題類似于沉積序列問題,結(jié)構(gòu)預(yù)測類似于沉積相分布預(yù)測問題。
標(biāo)注問體的輸入是一個觀測序列,輸出是一個標(biāo)記序列或狀態(tài)序列。標(biāo)注問體的目標(biāo)在于學(xué)習(xí)一個模型,使它能夠預(yù)測序列給出標(biāo)記序列作為預(yù)測。注意,可能的標(biāo)記個數(shù)是有限的,但其組合所稱的標(biāo)記序列的個數(shù)是依序列的個數(shù)長度呈指數(shù)增長的。
標(biāo)注常用的統(tǒng)計學(xué)習(xí)方法有:隱式馬爾科夫模型、條件隨機(jī)場。
標(biāo)注問題在信息提取、自然語言處理等領(lǐng)域廣泛使用,是這些領(lǐng)域的基本問題。
回歸問題是監(jiān)督學(xué)習(xí)的另一個重要問題?;貧w用于預(yù)測輸入變量和輸出變量變量之間的關(guān)系,特別是當(dāng)輸入變量的值發(fā)生變化時,輸出變量的值也發(fā)生的變化?;貧w莫i選哪個正是表示輸入變量到輸出變量之間映射的函數(shù)?;貧w問題的學(xué)習(xí)等價于函數(shù)擬合。
終于確認(rèn),多點(diǎn)地質(zhì)統(tǒng)計學(xué)建模算法采用的就是機(jī)器學(xué)習(xí)的思路。