隨著政府采購工作的不斷深入,其信息化水平得以快速提升,在此過程中也沉淀了大量的政府采購相關(guān)數(shù)據(jù),如何對這些數(shù)據(jù)進(jìn)行合理充分利用,進(jìn)而為政府采購工作的決策與監(jiān)管提供有益幫助,是本文研究探索的目標(biāo)。本文研究內(nèi)容主要包含以下三個(gè)方面:首先,研究如何獲得大量公開的政府采購信息,本文中使用Python編寫了網(wǎng)絡(luò)爬蟲程序,并爬取了陜西、甘肅兩省的政府采購網(wǎng)站相關(guān)數(shù)據(jù);其次,研究了中文文本分詞、文本向量化、文本聚類以及數(shù)據(jù)降維等數(shù)據(jù)處理技術(shù),并通過這些技術(shù)將政府采購數(shù)據(jù)的文本型信息轉(zhuǎn)換成數(shù)值型數(shù)據(jù),之后通過K均值算法對其進(jìn)行聚類分析;最后,為了方便對分析結(jié)果進(jìn)行展示,本文還研究了數(shù)據(jù)可視化的相關(guān)技術(shù)。為體現(xiàn)文本研究的工程性,以上述研究為基礎(chǔ),本文開發(fā)了一個(gè)政府采購信息多源聚合與關(guān)聯(lián)分析平臺(tái),通過平臺(tái)可以將多源信息獲取、數(shù)據(jù)關(guān)聯(lián)分析以及分析結(jié)果可視化這些孤立的研究聯(lián)結(jié)成一個(gè)完整的數(shù)據(jù)處理系統(tǒng),實(shí)現(xiàn)了政府采購數(shù)據(jù)多源聚合與關(guān)聯(lián)分析的研究目標(biāo),能夠?yàn)檎诓少彿矫娴臎Q策提供一定參考。 

【文章來源】：西安石油大學(xué)陜西省

【文章頁數(shù)】：60 頁

【學(xué)位級別】：碩士

【部分圖文】：

政府采購數(shù)據(jù)處理過程圖

圖 2-2 可視化實(shí)現(xiàn)流程據(jù)分析平臺(tái)中的技術(shù)分析平臺(tái)的開發(fā)應(yīng)用 JavaEE 相關(guān)技術(shù)來實(shí)現(xiàn)。設(shè)計(jì)招標(biāo)單位、代理機(jī)構(gòu)、中標(biāo)公司、評審專家等方面示，實(shí)現(xiàn)了對陜西省和甘肅省政府采購項(xiàng)目的招投標(biāo)性的全面掌握。性備方面：為了進(jìn)行政府采購信息多源聚合與關(guān)聯(lián)分備和調(diào)研工作，而且本人的導(dǎo)師具有超過 10 年以上經(jīng)歷，熟悉政府采購業(yè)務(wù)流程，了解政府采購信息行性。政府采購數(shù)據(jù)的分析和可視化過程中，從數(shù)化，主要使用的開發(fā)語言是 Python、Java 較為主流可視化，使用 Python 實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲程序，這些技術(shù)務(wù)的完成奠定了良好的技術(shù)基礎(chǔ)。

它具有強(qiáng)大豐富的庫以及很多開源組件，同時(shí)，Python 的 re 模塊提供了各種正則表達(dá)式的匹配操作，這使得它在數(shù)據(jù)爬取方面有天然的優(yōu)勢，這為爬蟲程序的設(shè)計(jì)和實(shí)現(xiàn)提供了極大的便利。3.1 目標(biāo)網(wǎng)站結(jié)構(gòu)分析由于陜西、甘肅兩省的省政府采購系統(tǒng)（網(wǎng)站）的后臺(tái)數(shù)據(jù)庫的結(jié)構(gòu)和數(shù)據(jù)無法通過正常的途徑獲取，所以本次研究過程中采用反向分析的方式對兩個(gè)網(wǎng)站分別進(jìn)行分析，推測兩個(gè)網(wǎng)站信息的結(jié)構(gòu)規(guī)律和網(wǎng)頁結(jié)構(gòu)，從而得到所需要資源的有效信息，以便設(shè)計(jì)爬蟲程序。3.1.1 網(wǎng)站結(jié)構(gòu)解析通過Chrome瀏覽器打開并訪問陜西、甘肅兩省的省政府采購系統(tǒng)，通過查看Request界面觀察分析該系統(tǒng)的組成結(jié)構(gòu)。從網(wǎng)站首頁上發(fā)現(xiàn)，這兩個(gè)網(wǎng)站的采購信息公告主要分為若干個(gè)大模塊，包含了招標(biāo)公告（公開招標(biāo)）、中標(biāo)公告、談判公告、成交公告、詢價(jià)公告、磋商公告等模塊。主頁結(jié)構(gòu)如圖 3-1 所示。

【參考文獻(xiàn)】：
期刊論文
[1]我國政府采購制度及其變革吁求[J]. 丁會(huì)芬,孟彬.  廣西政法管理干部學(xué)院學(xué)報(bào). 2019(01)
[2]政府采購績效評價(jià)研究[J]. 王金秀,鄒良禹.  中國政府采購. 2018(10)
[3]關(guān)于可視化數(shù)據(jù)挖掘技術(shù)及其應(yīng)用的研究[J]. 李嘉恩.  科學(xué)技術(shù)創(chuàng)新. 2018(28)
[4]中國農(nóng)產(chǎn)品階段出口劃分——基于Kmeans聚類分析[J]. 朱偉林,劉合光,陳玨穎.  世界農(nóng)業(yè). 2018(09)
[5]面向空間信息網(wǎng)絡(luò)的多特征可視化方法綜述[J]. 于少波,吳玲達(dá),張喜濤,李超,馬海嬌.  中國電子科學(xué)研究院學(xué)報(bào). 2018(02)
[6]基于Python的網(wǎng)絡(luò)爬蟲程序設(shè)計(jì)[J]. 郭麗蓉.  電子技術(shù)與軟件工程. 2017(23)
[7]大數(shù)據(jù)可視化的挑戰(zhàn)與最新進(jìn)展[J]. 崔迪,郭小燕,陳為.  計(jì)算機(jī)應(yīng)用. 2017(07)
[8]主題網(wǎng)絡(luò)爬蟲抓取策略的研究[J]. 劉清.  科技廣場. 2017(04)
[9]基于K-均值算法的數(shù)據(jù)挖掘技術(shù)研究及應(yīng)用[J]. 穆榮斌,仲梁維.  軟件導(dǎo)刊. 2017(04)
[10]語義與統(tǒng)計(jì)相結(jié)合的中文微博相似度計(jì)算方法[J]. 李楚貞.  數(shù)字技術(shù)與應(yīng)用. 2017(03)

碩士論文
[1]基于Hadoop和Django的大數(shù)據(jù)可視化分析Web系統(tǒng)[D]. 吳義.東華大學(xué) 2016
[2]數(shù)據(jù)新聞的數(shù)據(jù)可視化研究[D]. 孫艷萍.南昌大學(xué) 2016
[3]大數(shù)據(jù)時(shí)代下的數(shù)據(jù)可視化研究[D]. 李希娟.河北大學(xué) 2014



本文編號：3091774