多模態(tài)學(xué)習(xí)是數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域的重要研究內(nèi)容。相對于單模態(tài)學(xué)習(xí),多模態(tài)學(xué)習(xí)旨在建立能處理和關(guān)聯(lián)多種模態(tài)信息的模型,有效的多模態(tài)學(xué)習(xí)可獲得更豐富的語義表示,進(jìn)而提升單模態(tài)和多模態(tài)集成的性能。傳統(tǒng)的多模態(tài)學(xué)習(xí)方法大多依賴于單模態(tài)自身信息相對充分、模態(tài)間信息一致的假設(shè)。但在實(shí)際應(yīng)用中,多模態(tài)特征通常無法滿足上述假設(shè),尤其是在開放環(huán)境下受到特征噪聲、缺失等因素的影響,使得多模態(tài)的數(shù)據(jù)收集、數(shù)據(jù)表示以及模型輸出更為復(fù)雜,主要表現(xiàn)為:1)不同模態(tài)的收集代價(jià)不一致,存在模態(tài)代價(jià)差異大;2)不同模態(tài)的數(shù)據(jù)表示不一致,存在缺失模態(tài)和對應(yīng)關(guān)系不明確的模態(tài);3)不同模態(tài)的信息量不一致,存在模態(tài)有強(qiáng)弱。概括地說,存在“模態(tài)代價(jià)不一致”、“模態(tài)表示不一致”以及“模態(tài)強(qiáng)弱不一致”三個(gè)挑戰(zhàn)性問題。論文針對這三個(gè)挑戰(zhàn)性問題展開研究,提出了一系列完備多模態(tài)學(xué)習(xí)方法,并在公開及真實(shí)數(shù)據(jù)集上進(jìn)行了驗(yàn)證。主要的研究工作如下:1.提出了一種考慮多模態(tài)代價(jià)不一致的序列化模態(tài)提取方法。開放環(huán)境中針對不均衡多模態(tài)數(shù)據(jù),不同模態(tài)的收集代價(jià)也不盡相同。傳統(tǒng)的多模態(tài)方法在訓(xùn)練和測試階段均需要樣本的全量模態(tài)信息,忽略了不同模態(tài)的收... 

【文章來源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：120 頁

【學(xué)位級別】：博士

【部分圖文】：

圖１－２：?ＭＭＤＬ框架，其利用自動(dòng)編碼網(wǎng)絡(luò)網(wǎng)絡(luò)學(xué)習(xí)不同模態(tài)的共享隱含表示（圖片源??］＇■?［８２］）〇??ＭＭＤＬ的核心思想在于利用深度網(wǎng)絡(luò)學(xué)習(xí)不同模態(tài)間的共享隱含表示

３２］提出利用強(qiáng)模態(tài)作為軟監(jiān)督信息輔助弱模態(tài)，??［４９，?１０８，?１５０］考慮加權(quán)等操作排除不一致樣本的干擾。??適應(yīng)開放環(huán)境的多模態(tài)學(xué)習(xí)技術(shù)???????模態(tài)代價(jià)不一致?模態(tài)表示不一致?模態(tài)強(qiáng)弱不一致??ｒ?￣?＂?１?＂??！?｜最小化代價(jià)的序｜?！?ｆｉｓｌｆｌｌｌ！?＇Ｉ強(qiáng)模態(tài)的模１１基于不充分度??ｉ列化模態(tài)提＊?，?ｉ?１型復(fù)用（第五植的完備多模ｉ??，丨（第二�。�?！丨｜＿）和聚類（第二｜?第記四消章ｆ麵丨丨丨丨章）?丨丨態(tài)學(xué)；六章丨??圖１－３：開放環(huán)境下多模態(tài)學(xué)習(xí)存在的挑戰(zhàn)及相丨、Ｖ：的解決方案。??

１８?第二章樣本自適應(yīng)的動(dòng)態(tài)序列化模態(tài)提取??臟??Ｂｌｏｏｄ??Ｘ－Ｒａｙｓ?＇＇＾ｒ?ＣＴ??賀…２＾３－ｓ＞??ＰＥＴ－ＣＴ?Ｂ－Ｓｃａｎ??？？？?ｒ＾）??Ｉ繼－？??圖２－１：序列化模態(tài)抽取示例。例如針對相同的疾病，所有患者首先接受相同的檢查，接著??根據(jù)歷史的檢查結(jié)果進(jìn)行不同的后續(xù)檢查。??同的后續(xù)檢測。部分病患經(jīng)過簡單檢查即能做出診斷，而部分病患則需要更多??復(fù)雜檢查才能得到最終的診斷。如果利用級聯(lián)方法，所有病患需要進(jìn)行相同順??序的檢查，這樣做明顯違背實(shí)際情況。因此各樣本應(yīng)擁有自適應(yīng)的模態(tài)提取序??列，才能在保證精度的前提下提高預(yù)測效率。具體地，更普適的方法是利用歷??史模態(tài)的特征信息量及預(yù)測結(jié)果決定下一模態(tài)的抽取，這才可為每個(gè)樣本自適??應(yīng)的提取最有效的ｔ吳態(tài)序列。??針對上述問題，基于自適應(yīng)模態(tài)提取的思想出發(fā)，即針對簡單樣本利用信??息含量較少但開銷低廉的模態(tài)，而復(fù)雜樣本可以增加信息含量多但開銷昂貴的??模態(tài)。文獻(xiàn)［５１，?５９］構(gòu)造了分類樹模型將樣本平均測試時(shí)間作為約束項(xiàng)目項(xiàng)，??最大化樣本分類的準(zhǔn)確率。然而這一方法需要解決非凸問題，且難以處理維度??不一致的多模態(tài)數(shù)據(jù)。為此文獻(xiàn)［１１９，?１２０］提出了自適應(yīng)的模態(tài)抽取方法，但??該類方法需要預(yù)先排列所有可能的模態(tài)序列，會(huì)導(dǎo)致排列組合爆炸問題。針對??上述問題，本章提出了一種新穎的樣本自適應(yīng)動(dòng)態(tài)序列化模態(tài)提取端到端神經(jīng)??網(wǎng)絡(luò)模型ＤＭＰ?（Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ?Ｍｏｄａｌ?Ｐｕｒｓｕｉｔ）。具體地，該方法基于長短記憶??神經(jīng)網(wǎng)絡(luò)模型，利用歷史模態(tài)的信息同時(shí)進(jìn)行分類和下一模態(tài)選擇的預(yù)測，同??時(shí)將預(yù)測損失引入模態(tài)選擇


本文編號：3380274