隨著互聯(lián)網(wǎng)的快速普及,像微博、論壇、微信公眾號(hào)、新聞網(wǎng)等已經(jīng)成為網(wǎng)絡(luò)輿情發(fā)生、發(fā)展與演化的重要傳播平臺(tái)。所以,在社交網(wǎng)絡(luò)高速發(fā)展的今天,如何做好相關(guān)網(wǎng)絡(luò)輿情發(fā)展趨勢(shì)的分析,已經(jīng)從傳統(tǒng)的方式過(guò)渡到了新興的網(wǎng)絡(luò)社交平臺(tái)。網(wǎng)絡(luò)輿情分析,一方面可以全面地、系統(tǒng)地反映部分網(wǎng)民的觀點(diǎn)與想法,體現(xiàn)社會(huì)輿論導(dǎo)向,有助于決策者快速識(shí)別突發(fā)事件,并對(duì)突發(fā)事件做出相應(yīng)的處理與應(yīng)對(duì)準(zhǔn)備;另一方面,當(dāng)出現(xiàn)與社會(huì)主義價(jià)值觀不相符的輿論風(fēng)向時(shí),可以做出“微調(diào)”,使社會(huì)穩(wěn)定團(tuán)結(jié)。針對(duì)現(xiàn)有網(wǎng)絡(luò)輿情分析系統(tǒng)存在的分析方法單一、數(shù)據(jù)采集困難等問(wèn)題,本文采用Scrapy分布式的數(shù)據(jù)爬取、數(shù)據(jù)預(yù)處理、分詞、關(guān)鍵特征提取、熱點(diǎn)識(shí)別、關(guān)鍵詞追蹤、智能監(jiān)控、基于短文本的情感分析等方法,研發(fā)了一套多功能的網(wǎng)絡(luò)輿情分析系統(tǒng),它面向的主要平臺(tái)為普及率最廣的新浪微博。本文所做的工作主要包括以下幾個(gè)方面:(1)數(shù)據(jù)采集模塊。通過(guò)對(duì)不同數(shù)據(jù)爬取技術(shù)的對(duì)比試驗(yàn)分析,本系統(tǒng)選取了分布式爬蟲(chóng)技術(shù)。針對(duì)全國(guó)34個(gè)省(區(qū))的新浪微博用戶數(shù)據(jù),設(shè)計(jì)并實(shí)現(xiàn)了從總體的框架、到整個(gè)分布式系統(tǒng)的調(diào)優(yōu)以及增量的數(shù)據(jù)存儲(chǔ)等分布式爬取數(shù)據(jù)采集模塊。與其他數(shù)據(jù)爬取技術(shù)相比...

【文章頁(yè)數(shù)】：75 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
Abstract
第1章 緒論
    1.1 課題背景及研究目的和意義
    1.2 國(guó)內(nèi)外研究現(xiàn)狀
        1.2.1 國(guó)外網(wǎng)絡(luò)輿情分析研究現(xiàn)狀
        1.2.2 國(guó)內(nèi)網(wǎng)絡(luò)輿情分析研究現(xiàn)狀
    1.3 本文的主要工作
    1.4 論文組織結(jié)構(gòu)
第2章 相關(guān)理論與技術(shù)
    2.1 網(wǎng)絡(luò)爬蟲(chóng)
        2.1.1 Scrapy數(shù)據(jù)采集框架
        2.1.2 Xpath與 BeautifulSoup
        2.1.3 Selenium與 WebDriver
        2.1.4 MongoDB數(shù)據(jù)庫(kù)
    2.2 文本情感分析
        2.2.1 基于SVM的短文本情感分析模型
        2.2.2 基于BI_LSTM的短文本情感分析模型
    2.3 熱點(diǎn)詞匯與事件挖掘
        2.3.1 LDA主題模型
        2.3.2 層次聚類
        2.3.3 數(shù)據(jù)相似度量
    2.4 本章小結(jié)
第3章 數(shù)據(jù)采集與預(yù)處理
    3.1 數(shù)據(jù)采集模塊
        3.1.1 爬取的主要內(nèi)容
        3.1.2 爬取數(shù)據(jù)流程
    3.2 數(shù)據(jù)預(yù)處理模塊
        3.2.1 處理“臟數(shù)據(jù)”
        3.2.2 分詞、去停用詞、新詞的處理
    3.3 數(shù)據(jù)采集與預(yù)處理的實(shí)現(xiàn)
        3.3.1 實(shí)驗(yàn)平臺(tái)與工具
        3.3.2 采集的原始數(shù)據(jù)展示
        3.3.3 數(shù)據(jù)預(yù)處理展示
    3.4 本章小結(jié)
第4章 情感分析算法的對(duì)比分析與實(shí)現(xiàn)
    4.1 文本特征向量化
        4.1.1 Word2Vec模型
        4.1.2 Doc2Num模型
    4.2 總體流程設(shè)計(jì)
        4.2.1 實(shí)驗(yàn)平臺(tái)與工具
        4.2.2 數(shù)據(jù)集
        4.2.3 評(píng)價(jià)指標(biāo)
        4.2.4 實(shí)驗(yàn)結(jié)果及分析
    4.3 情感分類模塊的實(shí)現(xiàn)
        4.3.1 數(shù)據(jù)的準(zhǔn)備
        4.3.2 數(shù)據(jù)庫(kù)表設(shè)計(jì)
        4.3.3 數(shù)據(jù)的分類與情感對(duì)比分析
    4.4 本章小結(jié)
第5章 熱點(diǎn)話題挖掘與智能監(jiān)控的分析與實(shí)現(xiàn)
    5.1 熱點(diǎn)話題的挖掘
        5.1.1 敏感詞的發(fā)現(xiàn)
        5.1.2 熱點(diǎn)話題聚類
        5.1.3 話題熱度和摘要
    5.2 微博的智能監(jiān)控
        5.2.1 智能監(jiān)控算法流程
    5.3 熱點(diǎn)話題挖掘與智能監(jiān)控的實(shí)現(xiàn)
        5.3.1 實(shí)驗(yàn)平臺(tái)與工具
        5.3.2 數(shù)據(jù)集
        5.3.3 關(guān)鍵詞展示
        5.3.4 熱點(diǎn)話題分析結(jié)果
        5.3.5 智能監(jiān)控分析結(jié)果
    5.4 本章小結(jié)
第6章 系統(tǒng)的總體實(shí)現(xiàn)與測(cè)試
    6.1 系統(tǒng)開(kāi)發(fā)環(huán)境
    6.2 系統(tǒng)邏輯架構(gòu)
    6.3 系統(tǒng)整體架構(gòu)
    6.4 系統(tǒng)特點(diǎn)
    6.5 系統(tǒng)各模塊展示
        6.5.1 登錄注冊(cè)模塊
        6.5.2 輿情總覽
        6.5.3 輿情分析及走勢(shì)
        6.5.4 輿情形象指數(shù)
        6.5.5 詞云
        6.5.6 熱點(diǎn)事件與微博監(jiān)控
        6.5.7 關(guān)鍵詞追蹤
        6.5.8 事件統(tǒng)計(jì)
        6.5.9 全部微博
    6.6 系統(tǒng)測(cè)試
        6.6.1 單元測(cè)試
        6.6.2 集成測(cè)試
        6.6.3 系統(tǒng)整體測(cè)試
        6.6.4 性能測(cè)試
    6.7 本章小結(jié)
第7章 總結(jié)與展望
    7.1 本文總結(jié)
    7.2 未來(lái)展望
參考文獻(xiàn)
致謝



本文編號(hào)：3843103