本文選題：新聞采集　切入點：數(shù)據抓取　出處：《山東大學》2017年碩士論文

【摘要】：近年來,快速發(fā)展的移動互聯(lián)網技術為新聞傳播提供了更加豐富多彩的傳播環(huán)境。大量的傳統(tǒng)媒體開始逐漸的向基于互聯(lián)網的新媒體轉變,將其新聞傳播方式改成網絡新聞傳播。隨著傳播方式的改變,原有的新聞采集方式以及不能滿足網絡新聞傳播的需求,為此新聞采集方式也需要隨新聞傳播方式一塊更新?lián)Q代,變?yōu)閺幕ヂ?lián)網信息源中的大量新聞信息提取出新聞線索重新加以編輯加工�；谝陨媳尘�,本文設計并實現(xiàn)了一個智能新聞采集處理系統(tǒng),以協(xié)助新聞工作者在互聯(lián)網信息源中提取有效的新聞信息。該系統(tǒng)根據不同新聞網站的更新規(guī)律智能調節(jié)采集頻率,不斷地采集新聞工作者指定的網站、微博、貼吧中的信息,并將信息加以分析以及分類,然后將信息回饋給不同的新聞工作者當做新聞素材,讓新聞工作者根據這些信息編輯加工出新聞文章發(fā)布到網絡中。論文綜合智能新聞采集處理系統(tǒng)的的開發(fā)特點,圍繞軟件工程的核心理念,采MVC模式對系統(tǒng)進行設計。本論文從需求定位、概要分析、詳細設計和實現(xiàn)、系統(tǒng)測試等方面對智能新聞采集處理系統(tǒng)的做了全面敘述。系統(tǒng)采用B/S架構格式,開發(fā)平臺選用MyEclipse。在數(shù)據存儲過程中,服務器端的采用oracle數(shù)據庫作為數(shù)據存儲工具。本文的智能新聞采集處理系統(tǒng)包含前臺MIS部分和后臺服務部分兩個部分。前臺MIS部分的負責對要采集的新聞、微博、貼吧信息進行管理以及采集結果查詢并且支持用戶自定義新聞標簽以及標簽的匹配規(guī)則。后臺服務部分負責根據配置的采集規(guī)則進行數(shù)據采集,并對采集到的新聞進行自動分類,并根據采集數(shù)量智能調節(jié)采集頻率。
[Abstract]:In recent years, the rapid development of mobile Internet technology has provided a more colorful communication environment for news dissemination. A large number of traditional media began to gradually change to new media based on the Internet. With the change of communication mode, the original news collection method and the need of network news dissemination cannot be satisfied. Therefore, news collection mode also needs to be updated with the news communication mode. This paper designs and implements an intelligent news collection and processing system based on the above background. In order to assist journalists to extract effective news information from Internet information sources, the system intelligently adjusts the collection frequency according to the updating rules of different news websites, continuously collects information from websites designated by journalists, Weibo, and posts. And analyze and sort the information, and then give it back to different journalists as news material, According to these information, journalists can edit and process news articles to be published on the network. The paper synthesizes the development characteristics of intelligent news collection and processing system, and revolves around the core idea of software engineering. This paper describes the intelligent news collection and processing system from the aspects of requirement orientation, summary analysis, detailed design and implementation, system test and so on. The system adopts B / S structure format. The development platform is MyEclipse. In the data storage process, The oracle database is used as the data storage tool in the server. The intelligent news collection and processing system in this paper includes two parts: the front MIS part and the background service part. The front MIS part is responsible for the news to be collected, Weibo, Post information management and collection results query and support for user-defined news labels and label matching rules. The background service is responsible for data collection according to the configuration of the collection rules. The collected news is classified automatically and the frequency is adjusted intelligently according to the quantity collected.
【學位授予單位】：山東大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP311.52

【相似文獻】

相關期刊論文 前10條

1 文玉;;衛(wèi)星新聞采集的未來[J];衛(wèi)星電視與寬帶多媒體;2006年05期

2 張志堅;;論新聞采集的注意事項[J];科技傳播;2010年20期

3 劉興戎;;開發(fā)文化領域的經濟新聞[J];新聞通訊;1992年03期

4 蘇潤華;;3G新聞采集的應用[J];現(xiàn)代電視技術;2011年08期

5 周杰妮;;試論分線包片新聞采集制度的利弊[J];東南傳播;2009年05期

6 王保平;王子祥;;便攜式衛(wèi)星新聞采集系統(tǒng)設計要求[J];數(shù)字通信世界;2009年03期

7 熊能;;對傳統(tǒng)新聞采集機制的突破[J];新聞實踐;2002年07期

8 曾昭生;;衛(wèi)星新聞采集:從模擬轉向數(shù)字[J];廣播與電視技術;1998年01期

9 賴婧;;京廣滬三地媒體言論版之比較[J];新聞愛好者;2009年20期

10 劉興戎;大力開發(fā)文化領域的經濟新聞[J];新疆新聞界;1993年01期

相關會議論文 前2條

1 靖純;;手機短信在新聞采集中的應用[A];中國新聞技術工作者聯(lián)合會五屆二次理事會暨學術年會論文集（下篇）[C];2010年

2 范永紅;姚瑤;;從3G新聞傳輸系統(tǒng)看未來新聞采集[A];中國新聞技術工作者聯(lián)合會第六次會員代表大會、2014年學術年會暨第七屆《王選新聞科學技術獎》和優(yōu)秀論文獎頒獎大會論文集（三等獎）[C];2014年

相關碩士學位論文 前2條

1 張建林;智能新聞采集處理系統(tǒng)的設計與實現(xiàn)[D];山東大學;2017年

2 段穎群;網絡新聞采集研究[D];湖南大學;2008年

，

本文編號：1697236