本文關鍵詞：面向天文學領域的大數據管理的研究與實現(xiàn)　出處：《哈爾濱工業(yè)大學》2013年碩士論文　論文類型：學位論文

  更多相關文章： 甲骨文真正應用集群 數據庫 索引 分區(qū) 數據庫優(yōu)化 并行查詢

【摘要】：近年來，隨著云計算，云存儲等概念的提出，在人們的日常生活及各方面的專業(yè)領域中會產生大量的數據。在天文學領域，近年來提出一個新的項目叫做大型綜合巡天望遠鏡，旨在持續(xù)觀測整個天空數十年，將相關數據記錄下來以供分析研究。在項目持續(xù)的十年中，大約會將項目產生的60PB數據存儲到服務器中供大眾以及天文學家分析以揭示新的天空，對整個宇宙做出新的發(fā)現(xiàn)。相應地，60千萬億字節(jié)相對于現(xiàn)存的各種大型數據庫管理系統(tǒng)來說是一項巨大的挑戰(zhàn)。 傳統(tǒng)的主流數據庫管理軟件如Microsoft SQL Server，MySQL等已不適用于大數據處理業(yè)務，因此，出現(xiàn)了一些新的技術以提高對大數據的處理。一種可行的方案是將數個成本腳較低的計算機組成集群以提供并行服務如Oracle的Real Application Cluster，，IBM DB2，Hive，HadoopDB等，這種手段雖然具有相對較低的成本，但是卻增加了運行環(huán)境的復雜程度，以及用于并行的額外開銷。在分析此項目對于數據庫管理系統(tǒng)的需求，以及學習，理解甲骨文數據庫管理系統(tǒng)中提供的索引，分區(qū)，并行查詢等技術后，本文將會對甲骨文真正應用程序集群的數據庫性能進行一番優(yōu)化，測試以觀測現(xiàn)存的甲骨文真正應用程序集群是否能滿足項目的需求。另外，本文還將對比查詢語句在甲骨文真正應用程序集群以及在相同情況下其他數據庫管理系統(tǒng)中的表現(xiàn)。本文還將就甲骨文真正應用程序集群的可擴展性進行一番測試，以觀測甲骨文真正應用程序集群是否能很好的支持添加，擴展集群，以及其容錯性，可伸縮性，可用性。相應地，為了更好的測試查詢語句在甲骨文數據庫管理系統(tǒng)中的性能，一個輔助的軟件將會被開發(fā)出來以便簡化測試查詢性能的流程，減小工作量。 在實際應用當中，本文會提供結合索引，分區(qū)，并行等技術的策略來對現(xiàn)存的數據庫進行優(yōu)化。而且，作為大型巡天望遠鏡項目的一部分，此部分優(yōu)化策略對大型巡天望遠鏡現(xiàn)存的數據庫管理系統(tǒng)來說也會有一定的意義。輔助測試數據庫性能的軟件也將可以被本項目組測試其他數據庫系統(tǒng)性能的工程師直接使用。
[Abstract]:In recent years, with the introduction of cloud computing, cloud storage and other concepts, in the daily life of people and in all aspects of the professional field will produce a lot of data, in the field of astronomy. In recent years, a new project, called the large Integrated Sky Survey Telescope, has been proposed to continuously observe the entire sky for tens of years and record the relevant data for analysis and research. Approximately 60 PB of data generated by the project will be stored in servers for public and astronomer analysis to reveal new skies and make new discoveries across the universe. 60 trillion bytes is a huge challenge compared to existing large database management systems. The traditional mainstream database management software such as Microsoft SQL Server MySQL is no longer suitable for big data processing business. New technologies have emerged to improve the handling of big data. A viable solution would be to cluster several lower-cost computers to provide parallel services such as Oracle's Real. Application Cluster. Although IBM DB2Hiveer Hadoop DB and so on, this method has relatively low cost, but it increases the complexity of the running environment. After analyzing the requirements of the project for the database management system, and learning, understanding the Oracle database management system provided in the index, partition, parallel query and other technologies. This article will optimize the database performance of Oracle's real application cluster to test whether the existing Oracle real application cluster can meet the requirements of the project. This article will also compare the performance of query statements in Oracle real application cluster and other database management systems in the same situation. We will also test the extensibility of Oracle real application cluster. Try. To see if Oracle's real application cluster supports addition, extension, and fault tolerance, scalability, availability, and so on. In order to better test the performance of query statements in Oracle database management system, an auxiliary software will be developed to simplify the process of testing query performance and reduce the workload. In practical applications, this article will provide a combination of indexing, partitioning, parallelism and other techniques to optimize existing databases, and as part of a large survey telescope project. This part of the optimization strategy will also have some significance for the existing database management system of the large survey telescope. The software to assist in testing database performance will also be able to be used by the project team to test the performance of other database systems. The teacher uses it directly.
【學位授予單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位授予年份】：2013
【分類號】：P11;TP311.52

【相似文獻】

相關期刊論文 前10條

1 吳宗成，朱自強，陳澤民;一種交互式分區(qū)網格的生成方法和軟件[J];航空學報;1999年03期

2 張錦明,何成;利用分區(qū)思路優(yōu)化拓撲關系自動生成算法[J];測繪學院學報;2000年02期

3 屠其璞,鄧自旺,周曉蘭;中國氣溫異常的區(qū)域特征研究[J];氣象學報;2000年03期

4 郜邦勛;銅仁地區(qū)夏季降水的環(huán)流成因分析及預報[J];貴州氣象;2000年06期

5 王秀紅,何書金,張鐿鋰,羅明;基于因子分析的中國西部土地利用程度分區(qū)[J];地理研究;2001年06期

6 張俠,葛向東,彭補拙;土地經營適度規(guī)模的初步研究[J];經濟地理;2002年03期

7 槐瑞托,牛麗靜,管振龍;大鼠中腦導水管周圍灰質的分區(qū)及其細胞構筑特點[J];河北師范大學學報(自然科學版);2002年04期

8 牛麗靜,槐瑞托,管振龍;大鼠前庭核群亞核界定及其投射聯(lián)系[J];河北師范大學學報(自然科學版);2002年06期

9 徐濤;三明旅游資源的定量評價與分區(qū)[J];三明高等�？茖W校學報;2002年02期

10 田潤暹,胡膠臍;山西省巖溶大泉主要特征及其開發(fā)利用程度分區(qū)[J];山西水利;2002年S1期

相關會議論文 前10條

1 ;Storage of XML in Compressed Relational Database[A];第二十二屆中國數據庫學術會議論文集（技術報告篇）[C];2005年

2 Grace wai-yue Leung;;Databases as Virtual XML Documents:an Interoperable Approach[A];第十八屆全國數據庫學術會議論文集（技術報告篇）[C];2001年

3 Leong Long Kam;;Database Technology Development[A];數據庫研究進展97——第十四屆全國數據庫學術會議論文集（上）[C];1997年

4 黃志敏;;ASD:a comprehensive database of allosteric proteins and modulators[A];第十一屆全國計算（機）化學學術會議論文摘要集[C];2011年

5 宮秀軍;趙菲菲;;DM-TIGER:A Database of Tissue-Specific Genes Expression and Regulatory Factors for Data Mining[A];第四屆全國生物信息學與系統(tǒng)生物學學術大會論文集[C];2010年

6 ;Technology for Creating XML Views of Relational Database[A];第二十一屆中國數據庫學術會議論文集（技術報告篇）[C];2004年

7 張延松;張宇;薛永生;;基于XML DATABASE的網格數據庫物化查詢緩存機制[A];第二十二屆中國數據庫學術會議論文集（研究報告篇）[C];2005年

8 楊曉勤;梁爽;;VeryGene:a database linking tissue specific genes to diseases,drugs and beyond[A];第四屆全國生物信息學與系統(tǒng)生物學學術大會論文集[C];2010年

9 秦燕峰;劉亞軍;;基于多文檔和動態(tài)鏈接庫技術的軟件開發(fā)方法研究與實現(xiàn)[A];第十八屆全國數據庫學術會議論文集（技術報告篇）[C];2001年

10 ;The Role of Historical Database in Geological Engineering[A];中國科學院地質與地球物理研究所二○○三學術論文匯編·第三卷(地球環(huán)境·工程地質與災害)[C];2003年

相關重要報紙文章 前10條

1 ;區(qū)域、不分區(qū)“立委”提名皆可談[N];團結報;2011年

2 南京市食品藥品監(jiān)督局白下分局 焦利萍 江蘇省人民政府法制辦公室 馬太建;分區(qū)立法的可行性分析[N];江蘇法制報;2010年

3 記者 王麗;黔“兩屏五帶”將“分區(qū)保護”[N];新華每日電訊;2011年

4 記者 羅錚;中國與有關各方就分區(qū)護航國際合作達成原則共識[N];解放軍報;2010年

5 記者 魏廣軍　實習生 何思遠;我市將分區(qū)創(chuàng)建國家衛(wèi)生城市[N];平頂山日報;2009年

6 本報記者 周強　本報通訊員 祝賀;瞄準深部外圍 分區(qū)分批推進[N];中國國土資源報;2010年

7 記者 魏廣軍;我市強力推進分區(qū)創(chuàng)建[N];平頂山日報;2010年

8 本報記者 畢玉娟 張恭;分區(qū)治水破瓶頸 潤澤塞上新天府[N];中國水利報;2010年

9 伍_g_g;第三屆山西品牌節(jié)太原分區(qū)展示商標興市魅力[N];中國知識產權報;2009年

10 CBN記者 王佑;金山、奉賢兩化工分區(qū)并入上�；^(qū)[N];第一財經日報;2009年

相關博士學位論文 前10條

1 魯萬;數據挖掘環(huán)境中隱私保護數據共享混合方法研究[D];大連海事大學;2013年

2 劉艷艷;基于數據庫集群的海洋環(huán)境數據優(yōu)化存儲與分布式管理[D];中國海洋大學;2008年

3 劉培強;兩元矩陣聚類算法研究[D];山東大學;2013年

4 王新宇;大型遺留系統(tǒng)再工程研究[D];浙江大學;2007年

5 邵曉梅;黃河流域節(jié)水農業(yè)關鍵問題的區(qū)域特征研究[D];中國農業(yè)科學院;2005年

6 樓向雄;Mass-Storage SOC片上集成系統(tǒng)研究與實現(xiàn)[D];浙江大學;2004年

7 高云君;時空數據庫查詢處理關鍵技術研究[D];浙江大學;2008年

8 劉棣華;網絡入侵檢測系統(tǒng)及其自適應性的研究與實現(xiàn)[D];東華大學;2009年

9 張臻;西南季節(jié)性干旱區(qū)農業(yè)資源與環(huán)境要素數據庫設計與應用[D];西南大學;2011年

10 李洪寧;萬維網地理信息系統(tǒng)分布式理論體系研究與實現(xiàn)[D];中國地質大學（北京）;2003年

相關碩士學位論文 前10條

1 姚菁華;面向天文學領域的大數據管理的研究與實現(xiàn)[D];哈爾濱工業(yè)大學;2013年

2 薩姆松;[D];東華大學;2012年

3 阿廖娜（Buga Alena）;一個電子商務應用系統(tǒng)的實現(xiàn)[D];哈爾濱工業(yè)大學;2013年

4 楊錦濤;電力系統(tǒng)環(huán)境下的網絡時間同步系統(tǒng)的研究與實現(xiàn)[D];湖南大學;2011年

5 張靜偉;網絡能耗監(jiān)測系統(tǒng)管理端的研究與實現(xiàn)[D];北京郵電大學;2012年

6 劉軍;基于SIP協(xié)議的可視終端與服務器的研究與實現(xiàn)[D];北京郵電大學;2012年

7 程林;面向用戶體驗的無線網優(yōu)指標展現(xiàn)模塊的研究與實現(xiàn)[D];北京郵電大學;2012年

8 馬少兵;數字圖書館私有云基礎設施的構建和應用研究與實現(xiàn)[D];北京郵電大學;2012年

9 魏斌;農村信息化中虹終端交互設備的研究與實現(xiàn)[D];山東大學;2011年

10 王楠;Openflow網絡中路由機制的研究與實現(xiàn)[D];北京郵電大學;2012年

本文編號：1358036