基于網(wǎng)絡(luò)爬蟲的論壇數(shù)據(jù)分析系統(tǒng)的設(shè)計與實現(xiàn)
發(fā)布時間:2021-11-07 18:02
游戲論壇是一個重要的玩家建議反饋渠道,通常游戲開發(fā)者都需要密切關(guān)注論壇輿論風向來發(fā)現(xiàn)游戲中存在及潛在的問題,然而論壇數(shù)據(jù)質(zhì)量參差不齊,人工從大量論壇帖子中發(fā)現(xiàn)收集有價值的帖子信息需要消耗一定的時間和精力,還容易出現(xiàn)紕漏,為了更加敏捷高效的對論壇玩家反饋的有效信息作出相關(guān)反饋,如何自動化獲取論壇數(shù)據(jù)并對數(shù)據(jù)作出相關(guān)篩選分析成為提升工作效率的一個關(guān)鍵途徑。該系統(tǒng)主要實現(xiàn)了對游戲建議反饋論壇數(shù)據(jù)的分析處理,包括數(shù)據(jù)提取,數(shù)據(jù)分析和分析結(jié)果展示三個主要模塊。系統(tǒng)開發(fā)使用Python開發(fā)工具PyCharm與MySQL數(shù)據(jù)庫管理系統(tǒng),用到的相關(guān)Python庫主要包括jieba自然語言處理工具庫、操作MySQL數(shù)據(jù)庫的PyMySQL庫和用于繪制詞云圖的wordcloud庫。系統(tǒng)通過網(wǎng)絡(luò)爬蟲將論壇數(shù)據(jù)內(nèi)容爬取出來,利用Beautiful Soup庫對數(shù)據(jù)進行解析,從中提取出待分析的數(shù)據(jù)并保存到數(shù)據(jù)庫中,利用jieba庫對待分析的數(shù)據(jù)進行中文分詞處理,在此基礎(chǔ)上對分詞結(jié)果進行價值評分,并將結(jié)果通過html的形式展示出來,另外還可以根據(jù)不同篩選條件通過詞云圖展示出滿足條件的高頻詞匯,使用戶可以快速掌握論壇...
【文章來源】: 華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要內(nèi)容和組織結(jié)構(gòu)
2 相關(guān)技術(shù)分析
2.1 網(wǎng)絡(luò)爬蟲
2.2 Jieba自然語言處理工具庫
2.3 PyMySQL數(shù)據(jù)庫連接技術(shù)
2.4 本章小結(jié)
3 系統(tǒng)需求分析
3.1 功能性需求分析
3.2 非功能性需求分析
3.3 本章小結(jié)
4 系統(tǒng)設(shè)計
4.1 系統(tǒng)總體設(shè)計
4.2 主要功能模塊設(shè)計
4.3 數(shù)據(jù)庫設(shè)計
4.4 本章小結(jié)
5 系統(tǒng)實現(xiàn)
5.1 開發(fā)與運行環(huán)境
5.2 數(shù)據(jù)提取模塊實現(xiàn)
5.3 數(shù)據(jù)分析模塊實現(xiàn)
5.4 分析結(jié)果展示模塊實現(xiàn)
5.5 系統(tǒng)測試與分析
5.6 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望
致謝
參考文獻
【參考文獻】:
期刊論文
[1]基于聚焦型網(wǎng)絡(luò)爬蟲的影評獲取技術(shù) [J]. 高宇,楊小兵. 中國計量大學學報. 2018(03)
[2]網(wǎng)絡(luò)爬蟲技術(shù)原理 [J]. Kevin. 計算機與網(wǎng)絡(luò). 2018(10)
[3]中文語義特征屬性擴展的視頻推薦系統(tǒng)設(shè)計 [J]. 王星凱,鄧浩江,趙震宇,盛益強. 網(wǎng)絡(luò)新媒體技術(shù). 2018(03)
[4]基于詞聯(lián)接的自然語言處理改進技術(shù)研究 [J]. 趙棟材,周雁. 計算機與網(wǎng)絡(luò). 2018(09)
[5]面向中文社交媒體語料的無監(jiān)督新詞識別研究 [J]. 張婧,黃鍇宇,梁晨,黃德根. 中文信息學報. 2018(03)
[6]MySQL數(shù)據(jù)庫中數(shù)據(jù)導入與導出探析 [J]. 詹重詠. 數(shù)字技術(shù)與應(yīng)用. 2017(12)
[7]基于自然語言處理的微信智能客服系統(tǒng)研究 [J]. 崔文迪. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[8]基于爬蟲的數(shù)據(jù)監(jiān)控系統(tǒng) [J]. 董博,李翀,劉學敏,董科軍. 計算機系統(tǒng)應(yīng)用. 2017(10)
[9]基于微博的細粒度情感分析 [J]. 敦欣卉,張云秋,楊鎧西. 數(shù)據(jù)分析與知識發(fā)現(xiàn). 2017(07)
[10]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實體識別 [J]. 張海楠,伍大勇,劉悅,程學旗. 中文信息學報. 2017(04)
本文編號:3482307
【文章來源】: 華中科技大學湖北省 211工程院校 985工程院校 教育部直屬院校
【文章頁數(shù)】:65 頁
【文章目錄】:
摘要
Abstract
1 緒論
1.1 研究背景和意義
1.2 國內(nèi)外研究現(xiàn)狀
1.3 主要內(nèi)容和組織結(jié)構(gòu)
2 相關(guān)技術(shù)分析
2.1 網(wǎng)絡(luò)爬蟲
2.2 Jieba自然語言處理工具庫
2.3 PyMySQL數(shù)據(jù)庫連接技術(shù)
2.4 本章小結(jié)
3 系統(tǒng)需求分析
3.1 功能性需求分析
3.2 非功能性需求分析
3.3 本章小結(jié)
4 系統(tǒng)設(shè)計
4.1 系統(tǒng)總體設(shè)計
4.2 主要功能模塊設(shè)計
4.3 數(shù)據(jù)庫設(shè)計
4.4 本章小結(jié)
5 系統(tǒng)實現(xiàn)
5.1 開發(fā)與運行環(huán)境
5.2 數(shù)據(jù)提取模塊實現(xiàn)
5.3 數(shù)據(jù)分析模塊實現(xiàn)
5.4 分析結(jié)果展示模塊實現(xiàn)
5.5 系統(tǒng)測試與分析
5.6 本章小結(jié)
6 總結(jié)與展望
6.1 全文總結(jié)
6.2 展望
致謝
參考文獻
【參考文獻】:
期刊論文
[1]基于聚焦型網(wǎng)絡(luò)爬蟲的影評獲取技術(shù) [J]. 高宇,楊小兵. 中國計量大學學報. 2018(03)
[2]網(wǎng)絡(luò)爬蟲技術(shù)原理 [J]. Kevin. 計算機與網(wǎng)絡(luò). 2018(10)
[3]中文語義特征屬性擴展的視頻推薦系統(tǒng)設(shè)計 [J]. 王星凱,鄧浩江,趙震宇,盛益強. 網(wǎng)絡(luò)新媒體技術(shù). 2018(03)
[4]基于詞聯(lián)接的自然語言處理改進技術(shù)研究 [J]. 趙棟材,周雁. 計算機與網(wǎng)絡(luò). 2018(09)
[5]面向中文社交媒體語料的無監(jiān)督新詞識別研究 [J]. 張婧,黃鍇宇,梁晨,黃德根. 中文信息學報. 2018(03)
[6]MySQL數(shù)據(jù)庫中數(shù)據(jù)導入與導出探析 [J]. 詹重詠. 數(shù)字技術(shù)與應(yīng)用. 2017(12)
[7]基于自然語言處理的微信智能客服系統(tǒng)研究 [J]. 崔文迪. 數(shù)字技術(shù)與應(yīng)用. 2017(11)
[8]基于爬蟲的數(shù)據(jù)監(jiān)控系統(tǒng) [J]. 董博,李翀,劉學敏,董科軍. 計算機系統(tǒng)應(yīng)用. 2017(10)
[9]基于微博的細粒度情感分析 [J]. 敦欣卉,張云秋,楊鎧西. 數(shù)據(jù)分析與知識發(fā)現(xiàn). 2017(07)
[10]基于深度神經(jīng)網(wǎng)絡(luò)的中文命名實體識別 [J]. 張海楠,伍大勇,劉悅,程學旗. 中文信息學報. 2017(04)
本文編號:3482307
本文鏈接:http://www.sikaile.net/kejilunwen/ruanjiangongchenglunwen/3482307.html
最近更新
教材專著