發(fā)布時間：2024-03-31 02:48

　　海量信息時代,信息內(nèi)容理解變得愈發(fā)重要,一種重要的方法是給內(nèi)容打上合適的語義標(biāo)簽,例如:根據(jù)內(nèi)容和用戶的標(biāo)簽進(jìn)行推薦;預(yù)測網(wǎng)絡(luò)評論的語義標(biāo)簽來過濾有害評論;使用一套關(guān)鍵詞對科學(xué)文獻(xiàn)進(jìn)行標(biāo)注索引等。人工標(biāo)簽標(biāo)注低效又不經(jīng)濟(jì),因此研究高性能的多標(biāo)簽語義索引算法具有重要意義。傳統(tǒng)多標(biāo)簽文本語義索引算法大多基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法,隨著近年來深度學(xué)習(xí)的飛速發(fā)展,其逐漸變成了自然語言處理領(lǐng)域的最優(yōu)實(shí)踐方法,本文針對基于深度學(xué)習(xí)的多標(biāo)簽文本語義索引問題,按以下邏輯層層遞進(jìn)地展開研究:(1)對于標(biāo)簽空間較小(可選標(biāo)簽范圍小)的多標(biāo)簽文本語義索引問題,本文使用經(jīng)典的二元相關(guān)方法,將多標(biāo)簽問題轉(zhuǎn)換為多個單標(biāo)簽問題,使用在自然語言處理領(lǐng)域展現(xiàn)了強(qiáng)大性能的BERT遷移學(xué)習(xí)的方法作為基學(xué)習(xí)器來處理每個標(biāo)簽的分類,將各個基學(xué)習(xí)器的結(jié)果綜合實(shí)現(xiàn)多標(biāo)簽類別預(yù)測。(2)對于標(biāo)簽空間較大(可選標(biāo)簽范圍大)的多標(biāo)簽文本語義索引問題,二元相關(guān)方法的資源消耗過大(個可選標(biāo)簽需要訓(xùn)練個分類器,推斷階段同樣需要個分類器同時工作),同時不易利用標(biāo)簽間關(guān)系。本文設(shè)計(jì)了基于共享權(quán)重的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),同時預(yù)測所有標(biāo)簽,降低計(jì)算資源消耗,此外,...

【文章頁數(shù)】：82 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 研究背景
    1.2 本文的主要工作
    1.3 本文的主要組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)研究現(xiàn)狀
    2.1 問題定義
    2.2 評價指標(biāo)介紹
    2.3 常見方法分析
    2.4 現(xiàn)狀總結(jié)與分析
第3章 基于BERT的遷移學(xué)習(xí)二元相關(guān)方法實(shí)現(xiàn)多標(biāo)簽文本語義索引
    3.1 背景概述
    3.2 基于Transformer Encoder的文本語義表示
        3.2.1 Transformer Encoder模型整體架構(gòu)
        3.2.2 Transformer Encoder中的self-attention
        3.2.3 Multi-head attention
        3.2.4 Residual結(jié)構(gòu)
        3.2.5 LayerNorm
        3.2.6 Positional encoding
    3.3 基于BERT的二元相關(guān)方法
        3.3.1 預(yù)訓(xùn)練的通用語言表示
        3.3.2 BERT模型結(jié)構(gòu)
        3.3.3 輸入表示
        3.3.4 預(yù)訓(xùn)練
        3.3.5 遷移學(xué)習(xí)微調(diào)過程和二元相關(guān)方法
    3.4 實(shí)驗(yàn)和分析
        3.4.1 實(shí)驗(yàn)數(shù)據(jù)介紹
        3.4.2 探索性數(shù)據(jù)分析及預(yù)處理
        3.4.3 實(shí)驗(yàn)設(shè)置與結(jié)果分析
    3.5 本章小結(jié)
第4章 基于多任務(wù)學(xué)習(xí)的共享權(quán)重的深度多標(biāo)簽文本語義索引算法
    4.1 背景概述
    4.2 基于多任務(wù)學(xué)習(xí)的共享權(quán)重的深度多標(biāo)簽文本語義索引算法
        4.2.1 Word2vec詞向量表示
        4.2.2 GRU循環(huán)神經(jīng)網(wǎng)絡(luò)單元
        4.2.3 同時間步表示相接的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
        4.2.4 類BottleNeck結(jié)構(gòu)設(shè)計(jì)
        4.2.5 串行多任務(wù)學(xué)習(xí)高效利用標(biāo)簽間關(guān)系
        4.2.6 整體結(jié)構(gòu)
    4.3 實(shí)驗(yàn)和分析
        4.3.1 實(shí)驗(yàn)數(shù)據(jù)介紹
        4.3.2 實(shí)驗(yàn)設(shè)置與結(jié)果分析
    4.4 本章小結(jié)
第5章 多標(biāo)簽文本語義索引中緩解數(shù)據(jù)不均衡影響的方法
    5.1 背景概述
    5.2 Focal loss介紹
    5.3 經(jīng)驗(yàn)主義閾值校準(zhǔn)方法
    5.4 方法設(shè)計(jì)
    5.5 實(shí)驗(yàn)與分析
        5.5.1 實(shí)驗(yàn)數(shù)據(jù)介紹
        5.5.2 實(shí)驗(yàn)設(shè)置與結(jié)果分析
    5.6 本章小結(jié)
第6章 可擴(kuò)展的多標(biāo)簽文本語義索引算法實(shí)現(xiàn)
    6.1 數(shù)據(jù)提取、轉(zhuǎn)換、加載過程的可擴(kuò)展性
    6.2 訓(xùn)練過程的可擴(kuò)展性
    6.3 本章小結(jié)
結(jié)論
參考文獻(xiàn)
攻讀碩士期間的主要研究成果
致謝



本文編號：3943332