近年來,計算機視覺、語音識別和機器翻譯領(lǐng)域深度學(xué)習(xí)技術(shù)取得了極大的成功,其中表示學(xué)習(xí)領(lǐng)域研究的不斷進步起到了很大的作用。表示學(xué)習(xí)在文本表示、語音等領(lǐng)域貢獻極大。學(xué)習(xí)數(shù)據(jù)的表示,這使得在構(gòu)建分類器或其他預(yù)測器時更容易提取有用的信息。良好的數(shù)據(jù)表示對于深度學(xué)習(xí)算法性能的提升有巨大的意義。而最近幾年,有監(jiān)督的深度學(xué)習(xí)研究一直占據(jù)著主流,研究者們主要圍繞著有監(jiān)督深度學(xué)習(xí)領(lǐng)域開展研究。有監(jiān)督信息對于深度學(xué)習(xí)模型效果的提升是非常顯著的,半監(jiān)督和無監(jiān)督學(xué)習(xí)方不如有監(jiān)督學(xué)習(xí)方法發(fā)展那么快,但是隨著時代的發(fā)展和數(shù)據(jù)規(guī)模的急速增長,想要獲取海量數(shù)據(jù)的標(biāo)簽信息變得越來越困難,使用少量帶標(biāo)簽數(shù)據(jù)進行訓(xùn)練的半監(jiān)督學(xué)習(xí)方法以及無監(jiān)督學(xué)習(xí)方法變得越來越重要。在近年,在無監(jiān)督表示學(xué)習(xí)領(lǐng)域深度生成模型的研究取得了廣泛的成功,例如變分自動編碼器,變分自動編碼器已成為無監(jiān)督學(xué)習(xí)復(fù)雜分布的最流行方法之一。變分自動編碼器建立在神經(jīng)網(wǎng)絡(luò)之上,并且可以使用隨機梯度下降方法進行訓(xùn)練。本文在變分自動編碼器的框架下提出了一種半監(jiān)督分類方法。在隱空間引入多個高斯先驗,將不同類別的數(shù)據(jù)隱編碼匹配到不同的高斯分布上,并且在隱空間利用學(xué)生T分布... 

【文章來源】：哈爾濱工業(yè)大學(xué)黑龍江省 211工程院校 985工程院校

【文章頁數(shù)】：56 頁

【學(xué)位級別】：碩士

【部分圖文】：

簡單的自動編碼器人們總是可以嘗試獲得更多的標(biāo)簽數(shù)據(jù)，但這是非常昂貴的，要付出很高的代價

如圖2-1 所示。自動編碼器和多層感知機之間的主要區(qū)別在于前者的輸出層具有與其輸入層相同的神經(jīng)元個數(shù)，而后者的輸出層神經(jīng)元個數(shù)是感知器應(yīng)該能夠分類的類的數(shù)量。此外，自動編碼器屬于無監(jiān)督學(xué)習(xí)算法，因為它學(xué)習(xí)能夠?qū)W習(xí)到?jīng)]有標(biāo)簽數(shù)據(jù)的低維表示而多層感知機需要標(biāo)記數(shù)據(jù)進行訓(xùn)練得到分類結(jié)果。圖 2-1 自動編碼器自動編碼器中最重要的部分是它的隱藏層。隱藏層學(xué)習(xí)如何將數(shù)據(jù)進行編碼，而輸出層學(xué)習(xí)如何將編碼進行解碼還原原始數(shù)據(jù)。由于自動編碼器的常見應(yīng)用是降維，也就是在訓(xùn)練結(jié)束之后輸出層通常被丟棄，自動編碼器常被用于

圖 2-2 稀疏自動編碼器我們可以在損失函數(shù)中加入稀疏性約束。由于我們希望隱藏層中的元都是不活動的，因此我們可以計算隱藏層的平均的激活值并強制。如果閾值很低，那么神經(jīng)元將調(diào)整它們的參數(shù)來遵守這個約束。 2-3 所示計算出每個隱藏層神經(jīng)元的平均激活值。(2)11( )Nj iixN并且我們設(shè)置一個稀疏度參數(shù) 并初始化讓其接近于 0，如果越接稀疏度就越高。見公式 2-4，我們利用 KL 散度計算 和 之間的計算 K 次保證稀疏約束的能力。1( || )KKLjD 我們把約束放進目標(biāo)函數(shù)中并對模型進行訓(xùn)練，那么在最小化目標(biāo)優(yōu)化過程中，隱藏層的神經(jīng)元激活輸出值就會變得越來越接近于設(shè)


本文編號：3582599