【摘要】：隨著數(shù)據(jù)的不斷發(fā)展,人們對(duì)數(shù)據(jù)的需求量也與日俱增,對(duì)于個(gè)人或中小型企業(yè)需要的較小規(guī)模數(shù)據(jù)可以通過網(wǎng)絡(luò)爬蟲來獲取。網(wǎng)絡(luò)爬蟲程序通過URL地址讀取網(wǎng)頁信息,對(duì)網(wǎng)頁文本信息加以解析和篩選,以形成目標(biāo)數(shù)據(jù)。用Python編寫的網(wǎng)絡(luò)爬蟲可以使用多線程技術(shù)提高程序運(yùn)行效率,通過加鎖來保證所獲取數(shù)據(jù)的正確性,使用數(shù)據(jù)庫存儲(chǔ)爬取的大規(guī)模數(shù)據(jù)。爬蟲程序的主要應(yīng)用是實(shí)現(xiàn)信息的聚合,為用戶提供更多可選擇的信息。本設(shè)計(jì)中的爬蟲程序主要為用戶提供多個(gè)網(wǎng)站的圖書信息,最終以網(wǎng)頁的形式呈現(xiàn)給使用者。首先從數(shù)據(jù)庫讀取網(wǎng)頁地址以及相應(yīng)的規(guī)則,爬蟲程序結(jié)合網(wǎng)頁規(guī)則提取數(shù)據(jù),把數(shù)據(jù)存入到已連接的數(shù)據(jù)庫中,再把這些數(shù)據(jù)寫入到HTML文本中,這樣便完成了整個(gè)信息的聚合過程。
[Abstract]:With the continuous development of data, the demand for data is also increasing. The smaller scale data needed by individuals or small and medium-sized enterprises can be obtained through web crawlers. The web crawler reads the web page information through the URL address and parses and filters the web page text information to form the target data. The web crawler written in Python can use multithreading technology to improve the running efficiency of the program, guarantee the correctness of the acquired data by locking, and use the database to store the large scale data crawled. The main application of crawler program is to aggregate information to provide users with more optional information. The crawler program in this design mainly provides the user with the book information of many websites, and finally presents to the user in the form of web page. First, the address of the web page and the corresponding rules are read from the database. The crawler program extracts the data in combination with the rules of the web page, stores the data into the connected database, and then writes the data into the HTML text. This completes the whole process of information aggregation.
【學(xué)位授予單位】：吉林大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2016
【分類號(hào)】：TP311.52

【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 姚競;;面向項(xiàng)目的“Python程序設(shè)計(jì)”教學(xué)實(shí)踐與研究[J];福建電腦;2009年07期

2 透明;;關(guān)于Python[J];程序員;2002年03期

3 王寧,汪飛星;基于Python開發(fā)氣象服務(wù)器運(yùn)行系統(tǒng)界面[J];微機(jī)發(fā)展;2003年07期

4 湯韜;;Python庫簡介[J];程序員;2006年06期

5 高昂;;Python近況全接觸[J];程序員;2009年04期

6 郭芬;劉明;;Python垃圾收集器原理研究及應(yīng)用[J];信息技術(shù);2009年07期

7 王麗;;Python的元類編程研究[J];電腦編程技巧與維護(hù);2011年06期

8 李愛寧;唐勇;孫曉輝;劉昕彤;;基于Python語言的3DES算法優(yōu)化[J];計(jì)算機(jī)系統(tǒng)應(yīng)用;2011年08期

9 曾浩;;Python在其它語言中的應(yīng)用研究[J];大眾科技;2012年07期

10 鞠文飛;曾智銳;;使用Python開發(fā)跨平臺(tái)的單詞助記程序[J];電腦編程技巧與維護(hù);2012年24期

相關(guān)會(huì)議論文 前5條

1 ;Development of Python-based ArcGIS Tools for Spatially Balanced Forest Sampling Design[A];Information Technology and Computer Science—Proceedings of 2012 National Conference on Information Technology and Computer Science[C];2012年

2 伊鵬躍;于哲峰;汪海;;基于Abaqus/Python的三維復(fù)合材料層壓板有限元建模參數(shù)化開發(fā)[A];第17屆全國復(fù)合材料學(xué)術(shù)會(huì)議（復(fù)合材料結(jié)構(gòu)設(shè)計(jì)與性能表征分論壇）論文集[C];2012年

3 黃佳聰;高俊峰;;基于Python編程語言的空間動(dòng)態(tài)模型集成[A];自然地理學(xué)與生態(tài)安全學(xué)術(shù)論文摘要集[C];2012年

4 于文麗;;基于Python的空間自相關(guān)模式研究[A];中國地理學(xué)會(huì)百年慶典學(xué)術(shù)論文摘要集[C];2009年

5 郭霞;關(guān)志東;劉遂;陳萍;劉佳;王欣晶;邱太文;;基于Python的Abaqus二次開發(fā)在層壓板修理模擬中的應(yīng)用[A];計(jì)算機(jī)輔助工程及其理論研討會(huì)2013(CAETS2013)論文集[C];2013年

相關(guān)重要報(bào)紙文章 前6條

1 高壽福;無所不能的靈蛇——Python[N];中華讀書報(bào);2001年

2 ·特約作者 鄒肇輝;BT編程的王者[N];電腦報(bào);2005年

3 易水;IT新詞集錦（403）[N];計(jì)算機(jī)世界;2004年

4 本報(bào)記者 蒙克;顛覆傳統(tǒng)數(shù)據(jù)庫的“玩具”[N];網(wǎng)絡(luò)世界;2009年

5 ;Ruby on Rails[N];計(jì)算機(jī)世界;2006年

6 周蓉蓉;中低端Unix直指Linux[N];計(jì)算機(jī)世界;2006年

相關(guān)碩士學(xué)位論文 前10條

1 張正陽;基于Python的戶外通訊設(shè)備連接關(guān)系的挖掘研究[D];蘇州大學(xué);2015年

2 魏武斌;基于Python的灌區(qū)水情采集系統(tǒng)開發(fā)[D];西北農(nóng)林科技大學(xué);2015年

3 趙強(qiáng);用于PCB版圖審查的Python腳本子系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D];西安電子科技大學(xué);2014年

4 鄺洪勝;基于Python的電商導(dǎo)購APP設(shè)計(jì)與實(shí)現(xiàn)[D];華南理工大學(xué);2015年

5 代紅震;基于STAF和Python混合編程的自動(dòng)化測(cè)試系統(tǒng)的研究和實(shí)現(xiàn)[D];南京郵電大學(xué);2015年

6 劉志凱;基于Web的Python編程環(huán)境研究[D];新疆農(nóng)業(yè)大學(xué);2015年

7 趙明洪;Python程序設(shè)計(jì)題的查重研究[D];新疆農(nóng)業(yè)大學(xué);2015年

8 曹明君;基于Visual Studio與Python平臺(tái)開發(fā)有限元分析結(jié)果自動(dòng)后處理系統(tǒng)[D];青島理工大學(xué);2015年

9 周健;Python虛擬機(jī)內(nèi)存管理的研究[D];南京大學(xué);2014年

10 王衡;PaaS平臺(tái)上Python沙箱研究[D];南京大學(xué);2014年

，

本文編號(hào)：2173694