發(fā)布時間：2021-06-14 19:39

　　深度神經(jīng)網(wǎng)絡(luò)在眾多機(jī)器學(xué)習(xí)領(lǐng)域取得了令人矚目的進(jìn)展,并被應(yīng)用到各種實際場景中。但是,一般的深度神經(jīng)網(wǎng)絡(luò)建模一個從輸入數(shù)據(jù)到語義標(biāo)注的條件概率模型,這種機(jī)制導(dǎo)致了兩個瓶頸問題:一方面,深度神經(jīng)網(wǎng)絡(luò)忽略了數(shù)據(jù)中的不確定性,無法處理數(shù)據(jù)中可能存在的噪音和缺失信息;另一方面,深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要大量的數(shù)據(jù)標(biāo)注,而人工標(biāo)注在很多實際應(yīng)用中非常稀少且昂貴。深度生成模型結(jié)合了深度神經(jīng)網(wǎng)絡(luò)的靈活性和概率建�？蚣艿耐评砟芰�,可以在完全無標(biāo)注的情況下建模復(fù)雜數(shù)據(jù)的聯(lián)合概率分布。因此,深度生成模型是一種解決深度學(xué)習(xí)兩個瓶頸問題的原則性方法,并將成為未來大數(shù)據(jù)分析的基礎(chǔ)工具。雖然深度生成模型前景廣闊,但是現(xiàn)有模型的表達(dá)能力、可解釋性和判別性均有不足之處,亟待解決。具體而言,第一,現(xiàn)有深度生成模型中的網(wǎng)絡(luò)結(jié)構(gòu)和隱變量結(jié)構(gòu)都非常簡單,這限制了模型的表達(dá)能力;第二,現(xiàn)有深度生成模型以完全黑盒的方式擬合一個從噪音到高維數(shù)據(jù)的映射,其隱變量可解釋性不足,生成圖像的語義也難以控制;第三,無監(jiān)督學(xué)習(xí)所提特征的判別能力遠(yuǎn)遜于前饋神經(jīng)網(wǎng)絡(luò),而在深度生成模型中恰當(dāng)?shù)匾氡O(jiān)督信號又是一個非平凡問題。本文面向不同的機(jī)器學(xué)習(xí)任務(wù),設(shè)... 

【文章來源】：清華大學(xué)北京市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：115 頁

【學(xué)位級別】：博士

【部分圖文】：

手寫字體生成模型[13]：圖中文字是”Whyaredeepgenerativemodelsuseful?”(譯：為什么深度生成模型有用？)

第1章緒論圖1.2手寫字體生成模型[13]：圖中文字是”Whyaredeepgenerativemodelsuseful?”(譯：為什么深度生成模型有用？)。圖1.3圖像轉(zhuǎn)換生成模型[14]:第一行展示了從草圖到真實圖像的轉(zhuǎn)換；第二行展示了從白天到晚上的場景轉(zhuǎn)換。假設(shè)給定一些圖片和視頻，用戶希望對其進(jìn)行語義或者風(fēng)格的快速修改，如何利用生成模型自動合成想要的數(shù)據(jù)？相關(guān)模型效果可以見圖1.3。在各種公共場所或者服務(wù)系統(tǒng)中，需要智能客服對用戶的需求進(jìn)行自動解答，如何根據(jù)需要自動合成相應(yīng)的文字，圖示和語音等等？因此，利用深度生成模型進(jìn)行數(shù)據(jù)合成可以滿足多種學(xué)習(xí)任務(wù)下的實際需求。1.1.2.2無監(jiān)督降維，去噪和缺失數(shù)據(jù)補(bǔ)全在計算機(jī)視覺場景中，往往有如下無監(jiān)督特征提取和降維的需求：假設(shè)服務(wù)器存儲了大量的數(shù)據(jù)圖片，其大小遠(yuǎn)遠(yuǎn)超過了可提供的計算空間，為了提高服務(wù)器的檢索速度，需要對數(shù)據(jù)圖片進(jìn)行無監(jiān)督降維處理，然后基于低維數(shù)據(jù)進(jìn)行檢索。圖1.4展示了基于深度生成模型的無監(jiān)督降維到二維的可視化結(jié)果。假設(shè)一個機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)是干凈無噪音的，在產(chǎn)品上線之后，由于傳感器失效，網(wǎng)絡(luò)傳輸丟包等原因，測試數(shù)據(jù)可能有噪音和缺失信息，如何4

第1章緒論圖1.4基于深度生成模型的降維可視化結(jié)果[15]：左側(cè)為人臉數(shù)據(jù)集上的結(jié)果，右側(cè)為手寫數(shù)字?jǐn)?shù)據(jù)集上的結(jié)果。在每一個數(shù)據(jù)集的結(jié)果（對應(yīng)大圖）中，每個樣本點（對應(yīng)小圖）在大圖中的坐標(biāo)（原點為大圖正中心）對應(yīng)其降維后的二維表示。(a)訓(xùn)練字體(b)小樣本泛化圖1.5漢字標(biāo)準(zhǔn)字體的小樣本生成模型[16]：左側(cè)為訓(xùn)練字體；右側(cè)虛線框內(nèi)給出新字體的三個樣例，后面奇數(shù)行是生成結(jié)果，偶數(shù)行是標(biāo)準(zhǔn)字體。在這種情況下去掉噪音或者補(bǔ)全缺失信息？深度生成模型提供了無監(jiān)督學(xué)習(xí)最自然的解決方案，可以很好地處理上述問題。1.1.2.3半監(jiān)督精確分類和小樣本學(xué)習(xí)在計算機(jī)視覺和自然語言處理場景中，往往會有如下半監(jiān)督和小樣本學(xué)習(xí)的需求：假設(shè)用戶公司需要將衛(wèi)星對地面的觀測數(shù)據(jù)進(jìn)行分類，預(yù)測異常情況如地震的發(fā)生，由于衛(wèi)星時時刻刻都在運轉(zhuǎn)，觀測數(shù)據(jù)本身是大量的，但是由于需要專家標(biāo)注，其標(biāo)注信息非常稀有，在這種半監(jiān)督的情況下如何準(zhǔn)確地分類？假設(shè)某設(shè)計公司希望推出一種新的字體，但是對漢字的所有字體逐一進(jìn)行設(shè)5


本文編號：3230204