NLP技術(shù)在農(nóng)業(yè)輿情分析系統(tǒng)中的應(yīng)用研究
發(fā)布時間:2023-11-24 22:14
隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展,各大新聞媒體都將互聯(lián)網(wǎng)作為信息傳遞的主要途徑,互聯(lián)網(wǎng)也成為了人們獲取新聞的首選方式;ヂ(lián)網(wǎng)為我們帶來便捷的同時,也帶來了一些問題。由于互聯(lián)信息傳播的速度非常的迅速,對于其中的負面新聞甚至是謠言,若不及時進行處理,不加以關(guān)注,會導(dǎo)致各類不實信息迅速在互聯(lián)網(wǎng)上傳播,造成較大的社會影響。為了避免此類情況出現(xiàn),利用互聯(lián)網(wǎng)及時的對互聯(lián)網(wǎng)輿情進行監(jiān)控變得非常的迫切。通過輿情監(jiān)控,可以更快的發(fā)現(xiàn)近期的新聞熱點,及時對負面事件進行正確的引導(dǎo),避免造成更大的社會影響。本文的研究基于國家農(nóng)產(chǎn)品追溯系統(tǒng),為了更好的監(jiān)控農(nóng)業(yè)相關(guān)的輿情,幫助農(nóng)業(yè)部工作人員進行農(nóng)產(chǎn)品的輿情預(yù)警,研究了農(nóng)業(yè)輿情系統(tǒng)的設(shè)計與實現(xiàn)。在研究中,從農(nóng)業(yè)輿情系統(tǒng)需求出發(fā),選取了中國農(nóng)業(yè)新聞網(wǎng),中國農(nóng)產(chǎn)品網(wǎng)等農(nóng)業(yè)新聞相關(guān)的網(wǎng)站作為輿情系統(tǒng)的數(shù)據(jù)源。使用詞向量(Word Embedding)和LightGBM建立了農(nóng)業(yè)新聞文本分類模型,識別出其中農(nóng)業(yè)相關(guān)的新聞。使用TF-IDF(Term Frequency–Inverse Document Frequency)和嶺回歸(Ridge Regression)建立文本分...
【文章頁數(shù)】:88 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 課題背景及研究意義
1.2 研究現(xiàn)狀
1.3 研究內(nèi)容
1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)概述
2.1 文本分類相關(guān)技術(shù)
2.1.1 預(yù)處理
2.1.2 特征工程
2.1.3 模型
2.2 關(guān)鍵詞提取相關(guān)技術(shù)
2.2.1 TF-IDF算法
2.2.2 TextRank算法
2.2.3 Rake算法
2.3 文本摘要提取技術(shù)
2.3.1 TextRank文本摘要算法
2.3.2 基于簇的文本摘要算法
2.4 本章小結(jié)
第3章 輿情分類模型
3.1 農(nóng)業(yè)新聞識別模型
3.1.1 預(yù)處理
3.1.2 基于詞向量改進的文本表示方法
3.1.3 基于局部詞向量改進的TextCNN模型
3.1.4 實驗與分析
3.2 負面新聞識別模型
3.2.1 基于情感詞典的方法
3.2.2 情感加權(quán)TF-IDF的方法
3.2.3 實驗與分析
3.3 本章小結(jié)
第4章 新聞關(guān)鍵詞提取模型
4.1 關(guān)鍵詞提取算法
4.2 基于條件概率改進的關(guān)鍵詞提取算法
4.3 基于共現(xiàn)矩陣改進的關(guān)鍵詞短語檢測方法
4.4 實驗與分析
4.5 本章小結(jié)
第5章 新聞?wù)崛∧P?br> 5.1 基于簇的文本摘要方法
5.2 基于TF-IDF改進的文本摘要方法
5.3 實驗與分析
5.4 本章小結(jié)
第6章 輿情分析系統(tǒng)設(shè)計與實現(xiàn)
6.1 背景介紹
6.2 需求分析
6.3 整體結(jié)構(gòu)
6.4 輿情采集系統(tǒng)
6.4.1 網(wǎng)站內(nèi)容分析
6.4.2 網(wǎng)頁結(jié)構(gòu)分析
6.4.3 代碼實現(xiàn)
6.4.4 數(shù)據(jù)完整性校驗和格式轉(zhuǎn)換
6.4.5 數(shù)據(jù)庫字段定義
6.5 輿情分析系統(tǒng)
6.5.1 新聞發(fā)生區(qū)域識別
6.5.2 農(nóng)產(chǎn)品名稱和行業(yè)識別
6.6 應(yīng)用系統(tǒng)
6.6.1 新聞查詢模塊
6.6.2 新聞態(tài)勢分析模塊
6.6.3 新聞熱點分析模塊
6.6.4 負面新聞分析模塊
6.6.5 新聞來源分析模塊
6.6.6 新聞來源管理模塊
6.6.7 負面輿情關(guān)鍵詞設(shè)置
6.7 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學(xué)位期間取得的研究成果
致謝
本文編號:3866694
【文章頁數(shù)】:88 頁
【學(xué)位級別】:碩士
【文章目錄】:
摘要
ABSTRACT
第1章 緒論
1.1 課題背景及研究意義
1.2 研究現(xiàn)狀
1.3 研究內(nèi)容
1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)技術(shù)概述
2.1 文本分類相關(guān)技術(shù)
2.1.1 預(yù)處理
2.1.2 特征工程
2.1.3 模型
2.2 關(guān)鍵詞提取相關(guān)技術(shù)
2.2.1 TF-IDF算法
2.2.2 TextRank算法
2.2.3 Rake算法
2.3 文本摘要提取技術(shù)
2.3.1 TextRank文本摘要算法
2.3.2 基于簇的文本摘要算法
2.4 本章小結(jié)
第3章 輿情分類模型
3.1 農(nóng)業(yè)新聞識別模型
3.1.1 預(yù)處理
3.1.2 基于詞向量改進的文本表示方法
3.1.3 基于局部詞向量改進的TextCNN模型
3.1.4 實驗與分析
3.2 負面新聞識別模型
3.2.1 基于情感詞典的方法
3.2.2 情感加權(quán)TF-IDF的方法
3.2.3 實驗與分析
3.3 本章小結(jié)
第4章 新聞關(guān)鍵詞提取模型
4.1 關(guān)鍵詞提取算法
4.2 基于條件概率改進的關(guān)鍵詞提取算法
4.3 基于共現(xiàn)矩陣改進的關(guān)鍵詞短語檢測方法
4.4 實驗與分析
4.5 本章小結(jié)
第5章 新聞?wù)崛∧P?br> 5.1 基于簇的文本摘要方法
5.2 基于TF-IDF改進的文本摘要方法
5.3 實驗與分析
5.4 本章小結(jié)
第6章 輿情分析系統(tǒng)設(shè)計與實現(xiàn)
6.1 背景介紹
6.2 需求分析
6.3 整體結(jié)構(gòu)
6.4 輿情采集系統(tǒng)
6.4.1 網(wǎng)站內(nèi)容分析
6.4.2 網(wǎng)頁結(jié)構(gòu)分析
6.4.3 代碼實現(xiàn)
6.4.4 數(shù)據(jù)完整性校驗和格式轉(zhuǎn)換
6.4.5 數(shù)據(jù)庫字段定義
6.5 輿情分析系統(tǒng)
6.5.1 新聞發(fā)生區(qū)域識別
6.5.2 農(nóng)產(chǎn)品名稱和行業(yè)識別
6.6 應(yīng)用系統(tǒng)
6.6.1 新聞查詢模塊
6.6.2 新聞態(tài)勢分析模塊
6.6.3 新聞熱點分析模塊
6.6.4 負面新聞分析模塊
6.6.5 新聞來源分析模塊
6.6.6 新聞來源管理模塊
6.6.7 負面輿情關(guān)鍵詞設(shè)置
6.7 本章小結(jié)
結(jié)論
參考文獻
攻讀碩士學(xué)位期間取得的研究成果
致謝
本文編號:3866694
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3866694.html
最近更新
教材專著