在自然語(yǔ)言處理領(lǐng)域,預(yù)訓(xùn)練和微調(diào)的模型訓(xùn)練方法是一種可以在未標(biāo)記數(shù)據(jù)集上訓(xùn)練預(yù)訓(xùn)練模型,然后在標(biāo)記數(shù)據(jù)集上對(duì)預(yù)訓(xùn)練模型進(jìn)行微調(diào)的方法。該方法極大的減少了對(duì)于標(biāo)記數(shù)據(jù)集的需求,同時(shí)為下游任務(wù)節(jié)省了大量的時(shí)間和計(jì)算資源。借助預(yù)訓(xùn)練模型,人類在多項(xiàng)自然語(yǔ)言處理任務(wù)中均取得了重大突破。藏文預(yù)訓(xùn)練模型的研究不僅可以有效地應(yīng)對(duì)藏文標(biāo)記數(shù)據(jù)集缺少的問(wèn)題,還可以促進(jìn)藏文自然語(yǔ)言處理研究的進(jìn)一步發(fā)展。目前,針對(duì)藏語(yǔ)言的預(yù)訓(xùn)練模型研究尚處于探索階段,但其對(duì)藏文自然語(yǔ)言處理研究有著重要的理論意義和廣泛的應(yīng)用價(jià)值。為此,本文開(kāi)展了藏文預(yù)訓(xùn)練模型的相關(guān)研究,主要包括以下內(nèi)容:1、針對(duì)目前藏文沒(méi)有公開(kāi)數(shù)據(jù)集的問(wèn)題,本文在西北民族大學(xué)多拉教授提供的語(yǔ)料庫(kù)基礎(chǔ)上通過(guò)爬蟲工具搜集了西藏人民網(wǎng)、青海藏語(yǔ)網(wǎng)絡(luò)廣播電臺(tái)官網(wǎng)、青海省人民政府網(wǎng)等網(wǎng)站的藏文語(yǔ)料文本作為預(yù)訓(xùn)練模型的訓(xùn)練數(shù)據(jù)集,同時(shí)搜集了中國(guó)藏族網(wǎng)通網(wǎng)的數(shù)據(jù)制作了藏文文本分類數(shù)據(jù)集以及藏文摘要提取數(shù)據(jù)集。2、針對(duì)藏文標(biāo)記數(shù)據(jù)集不足的問(wèn)題,本文訓(xùn)練了藏文ALBERT預(yù)訓(xùn)練模型以減少下游任務(wù)對(duì)標(biāo)記數(shù)據(jù)集的需求,該預(yù)訓(xùn)練模型在掩詞預(yù)測(cè)任務(wù)中精度達(dá)到74%,在句子順序預(yù)測(cè)任...

【文章頁(yè)數(shù)】：70 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1音節(jié)結(jié)構(gòu)示意圖

蘭州大學(xué)碩士學(xué)位論文基于ALBERT的藏文預(yù)訓(xùn)練模型及其應(yīng)用8第二章相關(guān)理論和技術(shù)概述2.1藏文的文本信息處理特點(diǎn)藏文語(yǔ)法主要由“文法根本三十頌”和“字性組織法”組成，前者主要描述了藏文音節(jié)拼寫結(jié)構(gòu)、格助詞和各類虛詞的用法，后者描述了以動(dòng)詞為中心的形態(tài)變化、時(shí)態(tài)變化、施受關(guān)系、能....

圖2-2Transformer模型結(jié)構(gòu)

蘭州大學(xué)碩士學(xué)位論文基于ALBERT的藏文預(yù)訓(xùn)練模型及其應(yīng)用13的抽象。在自然語(yǔ)言處理領(lǐng)域RNN可以提取句子中單詞的位置信息，從而使得在序列生成時(shí)序列中的子串符合規(guī)則。Transformer是一次性輸入文本數(shù)據(jù)不存在前后關(guān)系，因此丟失了單詞的位置信息。為了在Transformer....

圖2-3Encoder的第一層網(wǎng)絡(luò)模型結(jié)構(gòu)

蘭州大學(xué)碩士學(xué)位論文基于ALBERT的藏文預(yù)訓(xùn)練模型及其應(yīng)用14Encoder中包含多個(gè)相同的網(wǎng)絡(luò)層，每個(gè)網(wǎng)絡(luò)層中間包含兩個(gè)子網(wǎng)絡(luò)層（Sublayer），圖2-3所示的是Encoder中第一層網(wǎng)絡(luò)的結(jié)構(gòu)。第一個(gè)子網(wǎng)絡(luò)層使用多頭自注意力機(jī)制，其輸入是語(yǔ)料文本經(jīng)過(guò)Embedding層....

圖2-4Decoder第一層網(wǎng)絡(luò)模型結(jié)構(gòu)

蘭州大學(xué)碩士學(xué)位論文基于ALBERT的藏文預(yù)訓(xùn)練模型及其應(yīng)用15圖2-4Decoder第一層網(wǎng)絡(luò)模型結(jié)構(gòu)2.4相關(guān)優(yōu)化器介紹深度學(xué)習(xí)中有多種優(yōu)化器用來(lái)尋找模型的最優(yōu)解，在BERT中所使用的是AdamW優(yōu)化器，但由于AdamW在大批次下會(huì)導(dǎo)致性能下降，因此GoogleBrain提出....

本文編號(hào)：3928709