汽車產(chǎn)品缺陷信息采集與檢索系統(tǒng)

發(fā)布時間：2020-11-01 11:12

　　隨著我們國家國民經(jīng)濟一直快速的向前進步,老百姓對于汽車產(chǎn)品的需求量也大大增加起來,購車群體的數(shù)量每年都在持續(xù)不斷的增多。在各個汽車交易網(wǎng)站中,每款車型下面都有大量的車友對于該款車型的使用評價,這些評價信息包含了該款車型各方面使用體驗,比如外觀、加速、噪音和油耗等。這些有關(guān)車輛的評價信息對購車人群做出購車決策有極大的幫助。但是,目前人們獲取車輛評價信息的方式仍然是逐個瀏覽汽車交易網(wǎng)站,缺乏有效的方案來提取、整合某一款車型在所有汽車交易網(wǎng)站的車友評價信息。例如奧迪Q7汽車,在汽車之家、毛豆新車、人人車等汽車交易網(wǎng)站均有車友對該車的使用評價。不過這些車輛的車友評價信息并不集中存儲。針對這一現(xiàn)狀,我們設(shè)計并實現(xiàn)了面向汽車產(chǎn)品缺陷信息的的數(shù)據(jù)采集與檢索系統(tǒng),采用傳統(tǒng)技術(shù)的基礎(chǔ)上,進行采集技術(shù)和搜索引擎技術(shù)的創(chuàng)新,完成高質(zhì)量的汽車產(chǎn)品缺陷信息采集和檢索任務(wù),提取有效的車輛評價信息,幫助購車人群進行購車決策。在研究和開發(fā)系統(tǒng)的過程中我們看到,爬蟲作為數(shù)據(jù)采集領(lǐng)域的傳統(tǒng)技術(shù),在數(shù)據(jù)存儲、數(shù)據(jù)挖掘、數(shù)據(jù)分析等多個領(lǐng)域都取得了非常好的效果,在軟件系統(tǒng)開發(fā)中受到廣泛應(yīng)用。因此,我們選擇利用傳統(tǒng)的網(wǎng)絡(luò)爬蟲技術(shù)來完成車輛評價信息采集任務(wù),并且利用主機連接VPN代理服務(wù)器來隱藏本地IP地址,克服本地IP地址被封的難題。而且,考慮到Lucene在全文檢索處理中的強大功能,在信息檢索環(huán)節(jié)采用Java語言編程,開發(fā)基于Lucene工具庫的信息檢索模塊,進一步加快車輛評論信息的檢索速度�；谂老x和Lucene的汽車產(chǎn)品缺陷信息采集與檢索系統(tǒng),采用軟件系統(tǒng)開發(fā)中常用的模塊化設(shè)計手段。采用網(wǎng)絡(luò)爬蟲作為車輛評價信息采集技術(shù),并利用VPN隱藏本地主機IP地址的能力進一步加快爬蟲程序訪問汽車網(wǎng)頁過程,主要采用C/C++進行程序開發(fā),在該模塊會引入RAS函數(shù)庫保證VPN連接的穩(wěn)定,解決主機IP地址被封的問題。信息檢索采用開源的Lucene技術(shù),采用倒排索引方式進行汽車缺陷信息的索引建立,進一步加快檢索速度。和其他系統(tǒng)進行數(shù)據(jù)傳輸使用了網(wǎng)絡(luò)通信的手段,能夠作為后臺系統(tǒng)支持前臺查詢界面系統(tǒng)的信息查詢工作。本論文面向汽車缺陷信息檢索的使用目的,利用VPN、爬蟲和Lucene設(shè)計了相關(guān)的采集與檢索功能,解決了汽車交易市場上在汽車缺陷信息獲取方面的難題,讓購車人群可以更加有效的利用網(wǎng)絡(luò)上汽車產(chǎn)品評價信息,提升了購車人群對汽車優(yōu)劣的判斷能力,對于維護購車人群的利益具有實用價值。
【學(xué)位單位】：山東大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2018
【中圖分類】：U472;TP391.3
【部分圖文】：

架構(gòu)圖,系統(tǒng)整體,架構(gòu)

聲明一個ＩｎｄｅｘＷｒｉｔｅｒ的對象，這個類能夠?qū)崿F(xiàn)創(chuàng)建索引和添加索引。??最后，把文檔里我們選定的關(guān)鍵字拿出來，都保存到索引目錄里。??系統(tǒng)整體架構(gòu)圖如圖２－１所示。如圖，系統(tǒng)實現(xiàn)了多線程爬蟲程序，可以??同時采集多個汽車交易網(wǎng)站的車友評論信息，比如購車網(wǎng)、優(yōu)信二手車、汽車??之家等；采集的信息包括車輛型號關(guān)鍵字，油耗、外觀等車輛重要性能指標(biāo)；??將采集到的各個網(wǎng)站的車友評論數(shù)據(jù)先存儲到文本文檔中（．ｔｘｔ格式），這些??文檔位于本地同一個文件夾下，然后經(jīng)過數(shù)據(jù)整合再存儲進ＭｙＳｑｌ數(shù)據(jù)庫中；??最后，采用ＰＨＰ語言創(chuàng)建前臺查詢界面，可根據(jù)具體的車輛型號查詢某一款車??在油耗、外觀等方面的車友評論，幫助購車人群加強對目標(biāo)車型性能的了解。??購車網(wǎng)?優(yōu)信?汽車之家??■??????；?ｊ?ｊ?ｊ????????爬蟲?ＶＰＮ?呢蟲?ＶＰＮ?爬蟲?ＶＰＮ??！?１?１?；Ｉ?Ｌ—?？＾?Ｉ??１???５；???數(shù)據(jù)存儲??車輛型號、油??耗、外觀等評論??信息???＾?ｒ???數(shù)據(jù)庫??各大汽車交易網(wǎng)??丨站車輛評論信息????＿＿?、二??—??前臺查詢（搜索??引擎基于Ｌｕｃｅｎｅ

正則表達式,數(shù)據(jù)流向,模型,運輸層

述三個參數(shù)就能確定一個通信連接，再給這個連接分配一個Ｓｏｃｋｅｔ接口，應(yīng)用??層和傳輸層根據(jù)這個，分別不同的進程或者不同的網(wǎng)絡(luò)連接之間的數(shù)據(jù)傳輸，??同時進行多個通信。圖２－２是Ｓｏｃｋｅｔ在應(yīng)用層、運輸層、網(wǎng)絡(luò)層、鏈路層和多??個進程之間怎么進行通信。??丨用戶進ｉ丨用戶進丨?用戶進?Ｉ用戶進?心田尸??Ｉ程１?程２?程３?！程４?應(yīng)用層??Ｉ?１?Ｊ?Ｉ?Ｉ??：?４??Ａ?１１?？??￣Ｋ?一?４?．?｜??／?／??！?ｒ?▼??Ｉ??Ｓｏｃｋｅｔ抽象層??二?：：：■■：，．＝＿＿＿??＼?；?｜??Ｊｉｉ??＼?｜?Ｔ??；?ｆ?１?＝?！??＼?Ｉ??ＴＣＰ?ＵＤＰ?丨運輸層??＼?Ｉ?１?！?！???＼■■．二噘」????二?１??＼?ｊ?■??ＩＣＭＰ?—？?ＩＰ?ＩＧＭＰ?網(wǎng)絡(luò)層????Ｉ??????４?ｍ：?：??．．．．．．．．．?；：＝：ｉｚｚｚ＝ｒ－．．．．．．．?：＝＝＝—…：二???硬件栳??ＡＲＰ?ｇ?ＲＡＲＰ?鏈路層??媒體??圖２－２?Ｓｏｃｋｅｔ數(shù)據(jù)流向模型??３．正則表達式。??我們獲取到汽車評論信息頁面全部內(nèi)容后，要把車輛評論信息提取出來，??９??

工作原理圖,本地主機,碩士學(xué)位論文,山東大學(xué)