網絡信息采集及數(shù)據(jù)分析結果可視化的研究與實現(xiàn)
發(fā)布時間:2021-10-13 19:35
在當今“信息爆炸”的時代,如何快速有效地為數(shù)據(jù)處理采集大量外部網頁信息資源,并將數(shù)據(jù)分析結果以可視化的方式呈現(xiàn),從而提高使用者的決策和指揮效率,是目前網絡信息研究的熱點問題。這涉及到信息采集、信息抽取、相似度計算、數(shù)據(jù)可視化等多個領域的研究內容。本文根據(jù)跨域數(shù)據(jù)語義共享平臺項目的要求,研究了網絡信息采集和數(shù)據(jù)分析結果可視化的研究和實現(xiàn)。論文在闡述了信息采集和可視化的基本概念、原理和方法的基礎上,分別詳細介紹了信息采集和可視化的相關技術;在網絡信息采集中,采取了深度和廣度相結合的策略模式,應用了DOM樹、HTML解析器和模板技術實現(xiàn)網頁信息的采集和抽取,并通過改進了句子的語義相似度計算算法,對已抽取的信息進行過濾;在可視化展現(xiàn)中,獨立開發(fā)了Spruce組件,實現(xiàn)了本體關系的可視化展現(xiàn),利用Carrot2可視化組件和ZedGraph類庫,實現(xiàn)了聚類結果和語義搜索結果的可視化展現(xiàn)。最后,通過實驗驗證了信息采集的可行性、信息過濾算法的高效性以及可視化展現(xiàn)的直觀性,并對整個項目系統(tǒng)的I/O部分進行了功能測試,實驗證明系統(tǒng)達到了設計要求。
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景和意義
1.2 國內外研究現(xiàn)狀
1.2.1 信息采集
1.2.2 信息抽取
1.2.3 可視化
1.3 論文工作內容
1.4 論文的組織結構
第二章 相關理論與技術
2.1 網頁介紹
2.1.1 網頁類型
2.1.2 網頁噪音
2.2 信息采集
2.2.1 爬蟲技術
2.2.2 信息抽取
2.3 詞語語義相似度計算
2.3.1 知網結構
2.3.2 知網詞語相似度計算
2.3.3 改進的知網詞匯語義相似度計算
2.4 可視化技術
2.4.1 信息可視化
2.4.2 數(shù)據(jù)可視化
2.4.3 可視化模型
2.5 本章小結
第三章 網絡信息采集及抽取技術研究
3.1 網絡信息采集
3.1.1 需求分析
3.1.2 策略選擇
3.1.3 模塊分析
3.1.4 測試分析
3.2 網絡信息抽取
3.2.1 抽取與過濾問題分析
3.2.2 信息抽取技術
3.2.3 語義相似度計算
3.2.4 測試分析
3.3 本章小結
第四章 數(shù)據(jù)分析結果可視化技術研究
4.1 應用問題分析
4.2 本體可視化模塊的設計
4.2.1 本體介紹
4.2.2 架構設計
4.2.3 詳細設計
4.2.4 測試分析
4.3 聚類可視化模塊的設計
4.3.1 聚類介紹
4.3.2 需求分析
4.3.3 算法設計
4.3.4 概要設計
4.3.5 測試分析
4.4 語義搜索結果可視化模塊設計
4.4.1 需求分析
4.4.2 插件介紹
4.4.3 設計步驟
4.5 本章小結
第五章 平臺 I/O 系統(tǒng)的設計與實現(xiàn)
5.1 應用需求分析
5.2 系統(tǒng)詳細設計與實現(xiàn)
5.2.1 總體結構
5.2.2 信息采集模塊的設計
5.2.3 信息抽取模塊的設計
5.2.4 語義相似度計算模塊的設計
5.2.5 信息過濾模塊的設計與實現(xiàn)
5.2.6 本體可視化模塊的設計
5.2.7 聚類可視化模塊的設計
5.2.8 語義搜索結果可視化的設計
5.3 本章小結
第六章 測試及結果分析
6.1 實驗設計與環(huán)境
6.1.1 實驗設計
6.1.2 實驗環(huán)境
6.2 測試過程與結果
6.2.1 網絡信息采集測試
6.2.2 網絡信息抽取測試
6.2.3 本體關系可視化測試
6.2.4 聚類結果可視化測試
6.2.5 語義搜索結果可視化測試
6.3 結果分析與結論
6.4 本章小結
第七章 結論與展望
致謝
參考文獻
在研期間研究成果
【參考文獻】:
期刊論文
[1]專題新聞文本集信息可視化研究[J]. 安海忠,崔娜. 圖書情報工作. 2009(12)
[2]國外Web信息抽取研究綜述[J]. 龍麗,龐弘燊. 圖書館學刊. 2008(05)
[3]一種改進的基于《知網》的詞語語義相似度計算[J]. 江敏,肖詩斌,王弘蔚,施水才. 中文信息學報. 2008(05)
[4]信息可視化的發(fā)展趨勢研究[J]. 周寧,程紅莉,吳佳鑫. 圖書情報工作. 2008(08)
[5]信息可視化應用研究進展[J]. 李綱,鄭重. 圖書情報知識. 2008(04)
[6]大型層次信息可視化方法研究[J]. 景民昌,孫潔麗. 情報科學. 2008(04)
[7]信息可視化技術在軍事中的應用[J]. 王鴻玲,糜玉林. 艦船電子工程. 2008(03)
[8]基于Web的信息抽取技術研究綜述[J]. 蒲筱哥. 現(xiàn)代情報. 2007(10)
[9]基于Venn圖的層次信息可視化[J]. 王威信,明春英,王宏安,戴國忠. 計算機學報. 2007(09)
[10]復雜網絡可視化研究綜述[J]. 王柏,吳巍,徐超群,吳斌. 計算機科學. 2007(04)
本文編號:3435286
【文章來源】:西安電子科技大學陜西省 211工程院校 教育部直屬院校
【文章頁數(shù)】:79 頁
【學位級別】:碩士
【文章目錄】:
摘要
Abstract
第一章 緒論
1.1 研究背景和意義
1.2 國內外研究現(xiàn)狀
1.2.1 信息采集
1.2.2 信息抽取
1.2.3 可視化
1.3 論文工作內容
1.4 論文的組織結構
第二章 相關理論與技術
2.1 網頁介紹
2.1.1 網頁類型
2.1.2 網頁噪音
2.2 信息采集
2.2.1 爬蟲技術
2.2.2 信息抽取
2.3 詞語語義相似度計算
2.3.1 知網結構
2.3.2 知網詞語相似度計算
2.3.3 改進的知網詞匯語義相似度計算
2.4 可視化技術
2.4.1 信息可視化
2.4.2 數(shù)據(jù)可視化
2.4.3 可視化模型
2.5 本章小結
第三章 網絡信息采集及抽取技術研究
3.1 網絡信息采集
3.1.1 需求分析
3.1.2 策略選擇
3.1.3 模塊分析
3.1.4 測試分析
3.2 網絡信息抽取
3.2.1 抽取與過濾問題分析
3.2.2 信息抽取技術
3.2.3 語義相似度計算
3.2.4 測試分析
3.3 本章小結
第四章 數(shù)據(jù)分析結果可視化技術研究
4.1 應用問題分析
4.2 本體可視化模塊的設計
4.2.1 本體介紹
4.2.2 架構設計
4.2.3 詳細設計
4.2.4 測試分析
4.3 聚類可視化模塊的設計
4.3.1 聚類介紹
4.3.2 需求分析
4.3.3 算法設計
4.3.4 概要設計
4.3.5 測試分析
4.4 語義搜索結果可視化模塊設計
4.4.1 需求分析
4.4.2 插件介紹
4.4.3 設計步驟
4.5 本章小結
第五章 平臺 I/O 系統(tǒng)的設計與實現(xiàn)
5.1 應用需求分析
5.2 系統(tǒng)詳細設計與實現(xiàn)
5.2.1 總體結構
5.2.2 信息采集模塊的設計
5.2.3 信息抽取模塊的設計
5.2.4 語義相似度計算模塊的設計
5.2.5 信息過濾模塊的設計與實現(xiàn)
5.2.6 本體可視化模塊的設計
5.2.7 聚類可視化模塊的設計
5.2.8 語義搜索結果可視化的設計
5.3 本章小結
第六章 測試及結果分析
6.1 實驗設計與環(huán)境
6.1.1 實驗設計
6.1.2 實驗環(huán)境
6.2 測試過程與結果
6.2.1 網絡信息采集測試
6.2.2 網絡信息抽取測試
6.2.3 本體關系可視化測試
6.2.4 聚類結果可視化測試
6.2.5 語義搜索結果可視化測試
6.3 結果分析與結論
6.4 本章小結
第七章 結論與展望
致謝
參考文獻
在研期間研究成果
【參考文獻】:
期刊論文
[1]專題新聞文本集信息可視化研究[J]. 安海忠,崔娜. 圖書情報工作. 2009(12)
[2]國外Web信息抽取研究綜述[J]. 龍麗,龐弘燊. 圖書館學刊. 2008(05)
[3]一種改進的基于《知網》的詞語語義相似度計算[J]. 江敏,肖詩斌,王弘蔚,施水才. 中文信息學報. 2008(05)
[4]信息可視化的發(fā)展趨勢研究[J]. 周寧,程紅莉,吳佳鑫. 圖書情報工作. 2008(08)
[5]信息可視化應用研究進展[J]. 李綱,鄭重. 圖書情報知識. 2008(04)
[6]大型層次信息可視化方法研究[J]. 景民昌,孫潔麗. 情報科學. 2008(04)
[7]信息可視化技術在軍事中的應用[J]. 王鴻玲,糜玉林. 艦船電子工程. 2008(03)
[8]基于Web的信息抽取技術研究綜述[J]. 蒲筱哥. 現(xiàn)代情報. 2007(10)
[9]基于Venn圖的層次信息可視化[J]. 王威信,明春英,王宏安,戴國忠. 計算機學報. 2007(09)
[10]復雜網絡可視化研究綜述[J]. 王柏,吳巍,徐超群,吳斌. 計算機科學. 2007(04)
本文編號:3435286
本文鏈接:http://www.sikaile.net/guanlilunwen/ydhl/3435286.html
最近更新
教材專著