隨著互聯(lián)網(wǎng)的飛速發(fā)展,各類企業(yè)相關(guān)的輿情信息和行業(yè)動(dòng)態(tài)信息呈爆炸式增長,輿情信息對(duì)企業(yè)發(fā)展起著重要作用。因此,如何在海量信息中獲取對(duì)企業(yè)有價(jià)值的信息,具有一定的研究價(jià)值。企業(yè)輿情監(jiān)控系統(tǒng)經(jīng)過多年的發(fā)展,在幫助企業(yè)獲取、搜索、分析和監(jiān)控與企業(yè)相關(guān)的輿情信息方面取得了一定的進(jìn)展,得到了較廣泛的應(yīng)用。但面對(duì)越來越多的各類網(wǎng)站、論壇、微博和微信等自媒體數(shù)據(jù),如何有效地獲取相關(guān)信息,并在數(shù)據(jù)預(yù)處理的正文提取過程中,兼顧速度和質(zhì)量,快速有效地提取企業(yè)相關(guān)的信息;如何面向企業(yè)用戶個(gè)性化地推薦他們感興趣的信息依然是一個(gè)沒有解決好的問題�；谏鲜鰡栴},本文設(shè)計(jì)并實(shí)現(xiàn)了企業(yè)輿情系統(tǒng)POMS,其主要工作包括如下幾個(gè)方面:1.構(gòu)建了輿情監(jiān)控系統(tǒng)框架,設(shè)計(jì)并實(shí)現(xiàn)了輿情監(jiān)控系統(tǒng)POMS的數(shù)據(jù)采集模塊、事件分析模塊、全文檢索模塊、文章推薦模塊和用戶管理模塊。2.針對(duì)數(shù)據(jù)預(yù)處理中正文提取方法難以兼顧速度和質(zhì)量的問題,研究網(wǎng)頁正文提取算法,分析了基于標(biāo)簽路徑比率的網(wǎng)頁新聞提取算法和基于行塊分布的正文提取算法的優(yōu)缺點(diǎn),提出并實(shí)現(xiàn)了先探測(cè)網(wǎng)頁正文位置并將正文位置入庫,再提取正文的方法。3.針對(duì)輿情監(jiān)控系統(tǒng)中全文檢索模塊中檢...

【文章頁數(shù)】：75 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2-1Scrapy主要模塊之間的協(xié)同工作圖

圖2-1Scrapy主要模塊之間的協(xié)同工作圖Fig.2-1Scrapyworkflowpicture圖2-1為Scrapy主要模塊之間的協(xié)同工作圖。每個(gè)模塊的功能如下：1）Scrapy引擎：爬蟲的核心部分，是程序的入口和主要工作單元，負(fù)責(zé)與調(diào)度器、數(shù)據(jù)結(jié)構(gòu)化....

圖3-1搜狗微信接口Fig.3-1WebAPIofsogouweixin

圖3-1搜狗微信接口Fig.3-1WebAPIofsogouweixin在輿情監(jiān)控系統(tǒng)中提供了對(duì)新聞網(wǎng)站、論壇網(wǎng)站、新浪微博以及微信等網(wǎng)站上所發(fā)布的信息進(jìn)行爬取監(jiān)控的功能。本章主要介紹了輿情監(jiān)控系統(tǒng)中數(shù)據(jù)采集模塊如何對(duì)微信公眾號(hào)上的文章進(jìn)行爬取。數(shù)據(jù)采集模塊通過騰訊提....

圖3-2搜狗微信搜索結(jié)果圖

圖右邊為查詢結(jié)果列表在網(wǎng)頁中的XPATH信息。由于搜狗微信接口的網(wǎng)頁頁面時(shí)常會(huì)進(jìn)行更新，所以需要定期更新查詢結(jié)果列表的XPATH信息。本文將XPATH信息存儲(chǔ)于MySql關(guān)系型數(shù)據(jù)庫中，通過外部配置XPATH信息的方式定期更新XPATH信息。搜狗微信關(guān)鍵詞....

圖3-3采集文章示例

-25-圖3-3采集文章示例Fig.3-3Exampleofcrawlcontentresult

本文編號(hào)：3951820