【摘要】：互聯(lián)網(wǎng)的信息大多以網(wǎng)頁(yè)形式進(jìn)行存儲(chǔ),通過(guò)超鏈接將網(wǎng)絡(luò)上的文檔鏈接起來(lái)。人們能夠理解文檔中的信息,但是計(jì)算機(jī)卻不能充分理解文檔信息。傳統(tǒng)的知識(shí)庫(kù)主要是幫助用戶直觀地理解處理,無(wú)法提供可以被計(jì)算機(jī)理解的語(yǔ)義信息,對(duì)知識(shí)服務(wù)與組織過(guò)程中的邏輯推理和智能聯(lián)想有很大的限制和局限性�；谥R(shí)圖譜,復(fù)雜的語(yǔ)義處理可以依據(jù)本體模型對(duì)信息實(shí)體進(jìn)行語(yǔ)義標(biāo)注,生成關(guān)于生物學(xué)科的知識(shí)網(wǎng)絡(luò),達(dá)到對(duì)知識(shí)語(yǔ)義層面的組織。基于知識(shí)圖譜,開(kāi)發(fā)此開(kāi)放空間知識(shí)采集系統(tǒng),為其他系統(tǒng)提供外部數(shù)據(jù)支持。本文主要工作如下:(1)對(duì)涉及的相關(guān)技術(shù)進(jìn)行介紹。主要包含資源描述框架、圖數(shù)據(jù)庫(kù)、MVC模式和網(wǎng)絡(luò)爬蟲(chóng)。(2)在充分進(jìn)行調(diào)研的基礎(chǔ)上,對(duì)系統(tǒng)進(jìn)行需求分析。主要包含系統(tǒng)的用戶需求、功能需求、性能需求和安全性需求。(3)在需求分析的基礎(chǔ)上,對(duì)系統(tǒng)進(jìn)行詳細(xì)設(shè)計(jì)。主要包含系統(tǒng)總體設(shè)計(jì)、系統(tǒng)具體模塊設(shè)計(jì)、系統(tǒng)數(shù)據(jù)庫(kù)和類設(shè)計(jì)。其中系統(tǒng)具體模塊設(shè)計(jì)包含詞條加工模塊、數(shù)據(jù)爬取模塊、數(shù)據(jù)加工模塊、數(shù)據(jù)存儲(chǔ)模塊、接口調(diào)用模塊和用戶管理模塊。系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)包含數(shù)據(jù)庫(kù)概念結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)庫(kù)物理結(jié)構(gòu)設(shè)計(jì)。(4)基于詳細(xì)設(shè)計(jì),采用MVC模式對(duì)系統(tǒng)進(jìn)行了開(kāi)發(fā)。前端采用JQuery、Bootstrap等框架實(shí)現(xiàn)頁(yè)面展示,BeetlSQL框架實(shí)現(xiàn)系統(tǒng)的增刪改查,JavaScript實(shí)現(xiàn)頁(yè)面交互,Apache Shiro安全框架保證系統(tǒng)的安全登錄和權(quán)限管理,完成系統(tǒng)的功能模塊開(kāi)發(fā)。其中采用NEO4J存儲(chǔ)RDF數(shù)據(jù),網(wǎng)絡(luò)爬蟲(chóng)為數(shù)據(jù)的爬取工具。(5)基于軟件測(cè)試的方法,對(duì)開(kāi)發(fā)的系統(tǒng)進(jìn)行了測(cè)試。對(duì)系統(tǒng)進(jìn)行用戶界面和功能模塊測(cè)試,測(cè)試結(jié)果表明系統(tǒng)界面簡(jiǎn)潔,功能滿足要求。
【圖文】：

半結(jié)構(gòu)化信息主要包括百科實(shí)體的屬性信息（主要是謂語(yǔ)信息盒infobox），非結(jié)構(gòu)化信息主要包括介紹實(shí)體摘要信息，實(shí)體描述文本等。對(duì)于百科頁(yè)面信息抽取內(nèi)容分析如下：對(duì)于結(jié)構(gòu)化數(shù)據(jù)，抽取實(shí)體名稱、實(shí)體屬性信息，對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，主要抽取實(shí)體摘要信息及實(shí)體描述性文本信息。如圖 4.3 所示。

圖 5.1 詞條導(dǎo)入頁(yè)面5.2.2 數(shù)據(jù)爬取數(shù)據(jù)的爬取主要是根據(jù)詞條訓(xùn)練形成的詞條，通過(guò)爬蟲(chóng)對(duì)百度百科數(shù)據(jù)進(jìn)行爬取。 本采集系統(tǒng)的開(kāi)發(fā)主要是基于 SpringMVC 框架實(shí)現(xiàn)的，用戶通過(guò)瀏覽器登錄系統(tǒng)后，發(fā)送采集請(qǐng)求，前端控制器對(duì)請(qǐng)求進(jìn)行攔截，，調(diào)用映射處理器查找控制器，分發(fā)給采集系統(tǒng)控制層。采集系統(tǒng)控制層調(diào)用相應(yīng)的函數(shù)，進(jìn)行網(wǎng)絡(luò)爬取，返回?cái)?shù)據(jù)給系統(tǒng)。系統(tǒng)能夠?qū)Π俣劝倏祈?yè)面進(jìn)行有效爬取，并能實(shí)時(shí)監(jiān)控任務(wù)狀態(tài)。系統(tǒng)新增詞條后，需要對(duì)新增的詞條進(jìn)行搜索、抓取信息。抓取成功后，系統(tǒng)依照相應(yīng)的爬取規(guī)則，對(duì)百度百科實(shí)體內(nèi)容進(jìn)行解析，形成如圖 5.2 所示的詞條解析頁(yè)面。
【學(xué)位授予單位】：中南民族大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP274.2

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 曹倩;趙一鳴;;知識(shí)圖譜的技術(shù)實(shí)現(xiàn)流程及相關(guān)應(yīng)用[J];情報(bào)理論與實(shí)踐;2015年12期

2 鄭志蘊(yùn);劉博;李倫;王振飛;;基于關(guān)鍵詞的RDF數(shù)據(jù)圖查詢模型研究[J];計(jì)算機(jī)科學(xué);2015年07期

3 康杰華;羅章璇;;基于圖形數(shù)據(jù)庫(kù)Neo4j的RDF數(shù)據(jù)存儲(chǔ)研究[J];信息技術(shù);2015年06期

4 杜亞軍;吳越;;微博知識(shí)圖譜構(gòu)建方法研究[J];西華大學(xué)學(xué)報(bào)(自然科學(xué)版);2015年01期

5 宦臣;;Java Web開(kāi)發(fā)中MVC模式的研究[J];時(shí)代教育;2012年21期

6 薛峰;梁鋒;徐書(shū)勛;王彪任;;基于Spring MVC框架的Web研究與應(yīng)用[J];合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版);2012年03期

7 張彥超;劉云;李勇;沈波;;基于自動(dòng)生成模板的Web信息抽取技術(shù)[J];北京交通大學(xué)學(xué)報(bào);2009年05期

8 唐波;;網(wǎng)絡(luò)爬蟲(chóng)的設(shè)計(jì)與實(shí)現(xiàn)[J];電腦知識(shí)與技術(shù);2009年11期

9 陳悅;劉則淵;陳勁;侯劍華;;科學(xué)知識(shí)圖譜的發(fā)展歷程[J];科學(xué)學(xué)研究;2008年03期

10 賀智平;徐學(xué)洲;李愛(ài)玲;;一種基于信息熵的Web頁(yè)面主題信息抽取方法[J];計(jì)算機(jī)工程與應(yīng)用;2007年04期

相關(guān)碩士學(xué)位論文 前2條

1 李紅亮;基于規(guī)則的百科人物屬性抽取算法的研究[D];西南交通大學(xué);2013年

2 吉向文;標(biāo)簽樹(shù)模板在網(wǎng)頁(yè)關(guān)鍵信息抽取及話題識(shí)別中的應(yīng)用[D];復(fù)旦大學(xué);2009年

本文編號(hào)：2695307