在機(jī)器學(xué)習(xí)領(lǐng)域,支持向量機(jī)(Support Vector Machine,SVM)是一個(gè)經(jīng)典并且強(qiáng)大的學(xué)習(xí)算法。它在解決小樣本、非線(xiàn)性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì),并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。經(jīng)典的SVM學(xué)習(xí)算法是從原始問(wèn)題出發(fā),運(yùn)用拉格朗日乘數(shù)法將原始問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題后進(jìn)行求解。另一種訓(xùn)練SVM分類(lèi)器的思路是直接從其原始問(wèn)題入手,然后使用隨機(jī)梯度下降算法來(lái)得到SVM的最優(yōu)解。隨機(jī)梯度下降算法是一個(gè)被廣泛應(yīng)用的優(yōu)化算法,學(xué)術(shù)界針對(duì)隨機(jī)梯度下降算法進(jìn)行了許多改進(jìn)。隨機(jī)梯度下降算法的每次迭代過(guò)程只需處理一個(gè)隨機(jī)的訓(xùn)練樣例,它對(duì)線(xiàn)性SVM分類(lèi)問(wèn)題可快速得到最優(yōu)解。本文首先將六種常用的隨機(jī)梯度下降的改進(jìn)方法與線(xiàn)性SVM結(jié)合,來(lái)探究這六種改進(jìn)是否會(huì)對(duì)線(xiàn)性SVM目標(biāo)函數(shù)的優(yōu)化產(chǎn)生正面影響。除線(xiàn)性SVM外,對(duì)非線(xiàn)性SVM分類(lèi)問(wèn)題,通過(guò)引入核函數(shù)則可得到非線(xiàn)性SVM問(wèn)題的最優(yōu)解。因?yàn)殡S機(jī)梯度下降算法的運(yùn)行時(shí)間與其迭代次數(shù)呈線(xiàn)性相關(guān)關(guān)系,而與訓(xùn)練集的大小無(wú)關(guān),所以它非常善于處理大數(shù)據(jù)集。但是,當(dāng)數(shù)據(jù)集大到無(wú)法加載入內(nèi)存時(shí),隨機(jī)梯度下降算法同樣會(huì)失效。對(duì)于數(shù)據(jù)集無(wú)法加載入內(nèi)存的... 

【文章來(lái)源】：河北大學(xué)河北省

【文章頁(yè)數(shù)】：41 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

不含動(dòng)量項(xiàng)

含動(dòng)量項(xiàng)

ttt W 111WW ttt 出：1WT ]是在動(dòng)量方法的基礎(chǔ)上進(jìn)行的改進(jìn)。根據(jù)動(dòng)量方法，動(dòng)量項(xiàng)，而計(jì)算 1 t 可以預(yù)估計(jì)出下一個(gè)參數(shù)應(yīng)該出現(xiàn)的位置。在這個(gè)過(guò)程中是盲目的，而 NAG 算法希望這個(gè)球能意識(shí)到自沖上斜坡時(shí)，能夠自動(dòng)減速。法的參數(shù)更新步驟如下： ttttJ 1 1方法一樣，通常將超參數(shù)γ(<1)設(shè)置為 0.9。

【參考文獻(xiàn)】：
碩士論文
[1]基于Hadoop平臺(tái)的數(shù)據(jù)挖掘分類(lèi)算法分析與研究[D]. 李正杰.南京郵電大學(xué) 2016
[2]Hadoop平臺(tái)下的分布式SVM算法及其應(yīng)用研究[D]. 熊定鴻.西南交通大學(xué) 2016
[3]基于Hadoop的分布式支持向量機(jī)的研究與應(yīng)用[D]. 龐進(jìn).華北電力大學(xué)(北京) 2016
[4]基于Hadoop的并行優(yōu)化方法及其在人臉識(shí)別中應(yīng)用研究[D]. 張臻.電子科技大學(xué) 2015



本文編號(hào)：2908301