最優(yōu)化是運(yùn)籌學(xué)的一個(gè)重要分支,在經(jīng)濟(jì)、金融、工程、管理、軍事與國(guó)防等諸多領(lǐng)域有廣泛應(yīng)用.特別地,它是機(jī)器學(xué)習(xí)與人工智能的關(guān)鍵技術(shù).隨著大數(shù)據(jù)時(shí)代的來(lái)臨,數(shù)據(jù)規(guī)模越來(lái)越大,數(shù)據(jù)維數(shù)越來(lái)越高,現(xiàn)有最優(yōu)化算法面臨運(yùn)算速度慢、計(jì)算量大的挑戰(zhàn).如何設(shè)計(jì)出快速有效的算法,是當(dāng)今國(guó)際國(guó)內(nèi)的一個(gè)熱點(diǎn)研究課題.本文圍繞機(jī)器學(xué)習(xí)中的一類(lèi)隨機(jī)優(yōu)化算法進(jìn)行研究,提出了一種新式快速算法.本文首先介紹了研究背景及意義,并對(duì)前人所提出的針對(duì)大規(guī)模優(yōu)化問(wèn)題的兩類(lèi)算法作出概述,然后在比較和總結(jié)前人研究的基礎(chǔ)上,提出了基于GS準(zhǔn)則的小批量塊坐標(biāo)下降法.該算法具有如下特點(diǎn):（1）給出了塊坐標(biāo)情形下的GS準(zhǔn)則,通過(guò)該準(zhǔn)則選取特定坐標(biāo)塊,使得算法在每一迭代步有最優(yōu)的目標(biāo)函數(shù)下降量;（2）結(jié)合隨機(jī)梯度下降法的思想,通過(guò)隨機(jī)選擇部分樣本計(jì)算局部梯度作為對(duì)全局梯度的近似,以達(dá)到減少計(jì)算量的效果,并且通過(guò)引入方差縮減技術(shù),使得由隨機(jī)選擇樣本所帶來(lái)的方差漸近收斂至零;（3）在每輪迭代步選取梯度中單個(gè)坐標(biāo)塊來(lái)更新參數(shù),從而進(jìn)一步減少計(jì)算量.本文基于4個(gè)真實(shí)數(shù)據(jù)集展開(kāi)數(shù)值實(shí)驗(yàn),從時(shí)間、計(jì)算量和稀疏度等方面比較不同算法效果,數(shù)值結(jié)果表明本文提... 

【文章來(lái)源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：46 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

計(jì)算機(jī)視覺(jué)技術(shù)使計(jì)算機(jī)自動(dòng)識(shí)別圖片中的物體Figure1.1:Computervisionenablescomputerstoa

第１章緒論??１．?１背景介紹??最優(yōu)化是運(yùn)籌學(xué)的一個(gè)重要分支，在科學(xué)、社會(huì)、經(jīng)濟(jì)發(fā)展中起著很重要的??作用，在金融、國(guó)防、能源、醫(yī)學(xué)、化工藥學(xué)、通信及手工農(nóng)業(yè)等領(lǐng)域有著大量??的應(yīng)用，具有深遠(yuǎn)的實(shí)際價(jià)值．在我們的實(shí)際生活中，很多問(wèn)題都可以歸屬到最??優(yōu)化這一方面．特別地，它是機(jī)器學(xué)習(xí)與人工智能的關(guān)鍵技術(shù)．隨著人工智能浪??潮的來(lái)臨，ＡＩ深入到社會(huì)各個(gè)領(lǐng)域，大幅提升社會(huì)工作效率．機(jī)器學(xué)習(xí)是人工智??能的核心，而機(jī)器學(xué)習(xí)問(wèn)題最終需要以最優(yōu)化方法求解一類(lèi)優(yōu)化模型．隨著大數(shù)??據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)規(guī)模龐大，數(shù)據(jù)維數(shù)極高，現(xiàn)有的最優(yōu)化算法面臨計(jì)算速度??緩慢、計(jì)算量較大的挑戰(zhàn)．如何設(shè)計(jì)出快速求解相關(guān)優(yōu)化模型的最優(yōu)化算法，是??當(dāng)今國(guó)際國(guó)內(nèi)的一個(gè)熱點(diǎn)研宄領(lǐng)域．只有最優(yōu)化算法算得快，機(jī)器學(xué)習(xí)才能在可??接受時(shí)間范圍內(nèi)給出滿(mǎn)意的結(jié)果．??人工智能在現(xiàn)實(shí)中應(yīng)用廣泛，以下是ＡＩ技術(shù)在實(shí)際生活中的應(yīng)用：??

以上ＡＩ技術(shù)的背后，是各式各樣的機(jī)器學(xué)習(xí)算法．而大部分機(jī)器學(xué)習(xí)算法??的核心在于最優(yōu)化算法，它直接關(guān)系到ＡＩ算法是否能夠滿(mǎn)足人們對(duì)時(shí)間和效率??的要求．隨著大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)量越來(lái)越龐大，數(shù)據(jù)的維度也越來(lái)越高，使??得傳統(tǒng)的優(yōu)化算法在求解相應(yīng)優(yōu)化問(wèn)題時(shí)用時(shí)過(guò)長(zhǎng)，甚至因受制于硬件因素（如??內(nèi)存不足）而根本無(wú)法求解．一個(gè)好的最優(yōu)化算法可以直接給社會(huì)帶來(lái)效益，因??此其具有重要以及深遠(yuǎn)的意義．為了解決大規(guī)模數(shù)據(jù)及高維數(shù)據(jù)帶來(lái)的計(jì)算和??存儲(chǔ)方面的困難，隨機(jī)梯度下降類(lèi)算法和坐標(biāo)下降類(lèi)算法受到了越來(lái)越大的關(guān)??注．??隨機(jī)梯度下降類(lèi)算法（Ｓｔｏｃｈａｓｔｉｃ?Ｇｒａｄｉｅｎｔ?Ｄｅｓｃｅｎｔ）［ｌ，?３，?４，?１１，?１４，?１５，?２０，?２１，２３］??的思想主要為在每次迭代過(guò)程中隨機(jī)選擇一部分樣本來(lái)計(jì)算梯度，作為對(duì)全局??梯度的一個(gè)近似，并用其更新參數(shù)，從而達(dá)到減小計(jì)算量的效果．針對(duì)樣本維度??過(guò)大的問(wèn)題，前人對(duì)于坐標(biāo)下降類(lèi)算法（Ｃｏｏｒｄｉｎａｔｅ?Ｄｅｃｓｅｎｔ）［５，?７，?１９，?３０，?３１，３４，?３５，??２??


本文編號(hào)：3273170