【摘要】：增量學習算法是實現(xiàn)如何在數(shù)據(jù)增長過程中以在線的方式進行快速模型更新的有效手段。與此同時,極限學習機的產(chǎn)生和發(fā)展又為快速建模和更新提供了新的思路。增量學習和極限學習機的研究在過去的幾十年里取得了豐碩的成果,但在當前數(shù)據(jù)飛速發(fā)展的背景下離實際應用還有一段距離。現(xiàn)有的方法主要存在三方面的問題:其一,基于極限學習機的增量學習在應對數(shù)據(jù)增量的過程中需要事先確定網(wǎng)絡(luò)結(jié)構(gòu),但數(shù)據(jù)持續(xù)增加的過程會導致合適網(wǎng)絡(luò)結(jié)構(gòu)的確定也成為一個問題;其二,基于極限學習機的增量學習算法針對的是數(shù)據(jù)變化過程帶來的增量更新,但數(shù)據(jù)隨著時間的增長可能會呈現(xiàn)出不平衡性的特點,甚至在增長過程中發(fā)生概念漂移的問題;其三,現(xiàn)有基于極限學習機的增量學習研究關(guān)注的是單純的數(shù)據(jù)增加或減少帶來的模型更新,但數(shù)據(jù)的變化情況在具體應用場景下更加復雜,通常呈現(xiàn)出多種數(shù)據(jù)增量混合在一起的情況,進而使相應的模型增量更新也更加復雜。針對這些問題,論文圍繞基于極限學習機的增量學習算法,特別是在線學習算法展開研究。在歸納總結(jié)增量學習和極限學習機相關(guān)算法的基礎(chǔ)之上,論文針對當前方法存在的局限性提出對應的解決思路和方案,并取得了如下研究成果:(1)提出了在線順序增量極限學習機模型,在數(shù)據(jù)增量的過程中同步進行結(jié)構(gòu)增量的模型更新。不同于單純的基于數(shù)據(jù)增量的極限學習機算法,所提算法在每次模型隨新生成數(shù)據(jù)進行更新后監(jiān)控當前分類/回歸誤差變化。當誤差變化過大時,算法在該過程中同時增加網(wǎng)絡(luò)節(jié)點,并通過分塊矩陣的廣義逆矩陣“秩一修正”來優(yōu)化求解過程。在分類/回歸數(shù)據(jù)集上的實驗結(jié)果表明所提算法相對于其他基于極限學習機的增量學習算法具有更好的分類/回歸性能。(2)提出了加權(quán)領(lǐng)域遷移極限學習機及其對應的在線學習算法來應對數(shù)據(jù)持續(xù)到達過程中伴隨的不平衡數(shù)據(jù)學習問題,并應用在氣體傳感器漂移補償問題中。為了應對數(shù)據(jù)在增量過程中產(chǎn)生的概念漂移和數(shù)據(jù)不平衡問題,論文在領(lǐng)域自適應算法中引入加權(quán)學習來構(gòu)建半監(jiān)督學習方式下的分類模型。在此基礎(chǔ)之上,論文針對未標記數(shù)據(jù)的增量推導了對應的在線學習算法。在氣體傳感器數(shù)據(jù)上的實驗結(jié)果表明加權(quán)領(lǐng)域遷移極限學習機能夠以更少的標記樣本獲得更高的分類正確率,同時,其在線學習版本在保持這種特點的同時能使模型進行在線更新。(3)提出了兩種在線領(lǐng)域自適應極限學習機模型應對數(shù)據(jù)動態(tài)變化時半監(jiān)督學習模型的在線更新,并應用在氣體傳感器漂移補償問題中。在半監(jiān)督學習方式下,標記和未標記數(shù)據(jù)的變化包括各自的增減以及數(shù)據(jù)由未標記變?yōu)闃擞浀倪^程。針對這一系列變化帶來的模型在線更新問題,論文基于兩類不同的半監(jiān)督學習模型假設(shè)分別提出了基于源領(lǐng)域和基于目標領(lǐng)域的在線領(lǐng)域自適應極限學習機算法。在氣體傳感器數(shù)據(jù)上的實驗結(jié)果表明所提算法都能以在線學習的方式進行模型更新,其中基于源領(lǐng)域的在線學習模型在標簽較少時分類正確率更高,而基于目標領(lǐng)域的在線學習模型能隨著標記樣本的增加獲得更好的分類性能。
【學位授予單位】：電子科技大學
【學位級別】：博士
【學位授予年份】：2019
【分類號】：TP18

【參考文獻】

相關(guān)期刊論文 前1條

1 毛文濤;王金婉;何玲;袁培燕;;面向貫序不均衡數(shù)據(jù)的混合采樣極限學習機[J];計算機應用;2015年08期

本文編號：2799019