人社數(shù)據實時采集與異構存儲的設計與實現(xiàn)
本文選題:人社一體化 + 數(shù)據異構同步; 參考:《山東大學》2017年碩士論文
【摘要】:隨著互聯(lián)網等信息技術的飛速發(fā)展,人力資源與社會保障業(yè)務辦理方式的改變,辦事流程的簡化以及處理效率的提高成為了必然。而人力資源和社會保障業(yè)務涵蓋社會保險、公共就業(yè)、勞動關系、人事人才等諸多領域,涉及到的面非常廣,伴隨而來的業(yè)務量也非常大,這使得業(yè)務辦理流程十分復雜,進而導致效率低下。所以,為了適應時代發(fā)展,給人們提供高效便捷的人社業(yè)務服務,人力資源和社會保障局提出了人社一體化建設的方針政策。人社一體化建設以人社數(shù)據省集中一體化建設為基礎;而人社數(shù)據省集中一體化建設的過程中存在數(shù)據共享、業(yè)務協(xié)同、生產交換公共服務間的數(shù)據同步、服務交換等需求,需要實現(xiàn)人社領域生產區(qū)、交換區(qū)、公共服務區(qū)內部及之間的海量數(shù)據的高效同步復制和增量同步轉換等目標;谏鲜龅谋尘,本文充分考慮了人社數(shù)據省集中一體化建設過程中對于人社業(yè)務數(shù)據在實時采集以及異構存儲等方面的各種需求,針對其開發(fā)了人社大數(shù)據集成平臺中的數(shù)據異構同步功能子系統(tǒng)。該功能子系統(tǒng)包含了異構復制配置,轉換規(guī)則管理,數(shù)據庫和服務資源管理以及轉換流程配置等功能模塊。人社數(shù)據異構同步功能系統(tǒng)允許用戶根據業(yè)務需求選擇需要進行增量數(shù)據異構同步的數(shù)據庫以及其中相應的數(shù)據表。同時,系統(tǒng)為用戶提供了轉換規(guī)則開發(fā)接口、開發(fā)規(guī)范,以及相應的開發(fā)示例;用戶可根據自身轉換需求自定義對應的轉換邏輯,并將開發(fā)的轉換邏輯通過系統(tǒng)上傳,以便在數(shù)據庫異構同步過程中進行調用。而且,該系統(tǒng)可以將源數(shù)據庫某個表的增量變更記錄通過調用不同的轉換邏輯同時進行不同的格式和內容的轉換,并在轉換完成后成功應用到一個或多個目標端。最后,系統(tǒng)為數(shù)據異構同步過程提供了相應的監(jiān)控功能,以保證數(shù)據異構同步過程可查可控,進而實現(xiàn)了系統(tǒng)的可用性穩(wěn)定性和異構同步的數(shù)據一致性。本論文從系統(tǒng)的需求定位、概要分析、詳細設計以及實現(xiàn)測試等方面進行了全面詳細的敘述。系統(tǒng)采用B/S架構格式,以基于OSGI規(guī)范的Karaf系統(tǒng)作為基礎平臺,運用插件式開發(fā)的方式搭建而成。開發(fā)平臺選用EclipseIDE;源數(shù)據庫數(shù)據實時采集采用Oracle Streams技術,數(shù)據轉換邏輯、相關數(shù)據庫以及相關服務作為資源在系統(tǒng)中發(fā)布,并采用Apache Camel技術通過設計相應的數(shù)據轉換應用路由實現(xiàn)數(shù)據的讀取、轉換和應用過程;系統(tǒng)界面開發(fā)采用Vaadin技術;運行平臺支持Windows和Linux操作系統(tǒng)。系統(tǒng)經過了充分的測試,在實現(xiàn)了數(shù)據異構同步的功能性需求外,也實現(xiàn)了軟件易用性可靠性可維護性等非功能需求。
[Abstract]:With the rapid development of information technology such as the Internet, the change of human resources and social security business management, the simplification of work flow and the improvement of processing efficiency become inevitable. Human resources and social security services cover many fields, such as social insurance, public employment, labor relations, personnel, and so on. They involve a wide range of areas, and the accompanying volume of business is also very large. This makes the business process very complex. This leads to inefficiency. Therefore, in order to adapt to the development of the times and provide people with efficient and convenient service, the Bureau of Human Resources and Social Security put forward the principles and policies of the integration of people and society. The integration construction of human society is based on the centralized integration of data province and data province, and there are some requirements such as data sharing, business cooperation, data synchronization between production and exchange of public services, service exchange and so on. It is necessary to achieve the goals of efficient synchronous replication and incremental synchronous conversion of mass data within and between the production area, exchange area and public service area. Based on the above background, this paper gives full consideration to the needs of real-time collection and heterogeneous storage of human society business data in the process of centralized integration of human society data province. The data heterogeneous synchronization subsystem in the human society big data integration platform is developed. The functional subsystem includes heterogeneous replication configuration, transformation rule management, database and service resource management, and transformation process configuration. The human society data heterogeneous synchronization system allows users to select the databases and the corresponding data tables that need to synchronize the increment data according to the needs of the business. At the same time, the system provides the user with the interface of conversion rule development, the development specification, and the corresponding development example, the user can customize the corresponding transformation logic according to his own conversion requirements, and upload the developed transformation logic through the system. In order to make calls in the database heterogeneous synchronization process. Furthermore, the system can transform the incremental change record of a table in the source database into different formats and contents simultaneously by calling different transformation logic, and it can be successfully applied to one or more target terminals after the conversion is completed. Finally, the system provides the corresponding monitoring function for the data heterogeneous synchronization process, to ensure that the data heterogeneous synchronization process can be checked and controllable, thus realizing the usability stability of the system and the data consistency of heterogeneous synchronization. In this paper, the requirements of the system positioning, summary analysis, detailed design and implementation of testing and other aspects of a comprehensive and detailed description. The system adopts the B / S architecture format, takes the Karaf system based on OSGI specification as the basic platform, and uses the plug-in development method to build the system. The development platform is Eclipse IDE, the source database data real-time collection adopts the Oracle Streams technology, the data conversion logic, the related database and the related service are released in the system as the resources. The Apache Camel technology is used to realize the data reading, conversion and application process by designing the corresponding data conversion application route; the system interface development adopts Vaadin technology; the running platform supports the Windows and Linux operating system. In addition to the functional requirements of heterogeneous data synchronization, the system also realizes the non-functional requirements such as ease of use, reliability, maintainability and so on.
【學位授予單位】:山東大學
【學位級別】:碩士
【學位授予年份】:2017
【分類號】:TP311.52
【相似文獻】
相關期刊論文 前4條
1 張濟環(huán);;“指尖上”的政務新格局——成都人社著力打造聯(lián)系服務群眾新媒體集群[J];四川勞動保障;2014年01期
2 ;以一卡通為重點全面推進人社信息化建設[J];電子政務;2011年07期
3 濟人;;推動三個轉變 給力新聞宣傳——濟源市人社局開展新聞宣傳工作的做法與成效[J];人才資源開發(fā);2011年08期
4 ;廣西人社廳領導與駐邕主要新聞單位座談[J];人事天地;2012年02期
相關重要報紙文章 前10條
1 通訊員 馮勛 孫義;市人社局創(chuàng)衛(wèi)迎檢工作再添新舉措[N];安康日報;2010年
2 本報記者 劉亞媚;推動人社事業(yè)實現(xiàn)新跨越[N];寶雞日報;2010年
3 廣西柳州市人社局 崔宏;促進創(chuàng)新 確保人社事業(yè)健康發(fā)展[N];中國勞動保障報;2012年
4 揚州市江都區(qū)勞動就業(yè)管理處 陳家增;繁榮人社文化 催生人社系統(tǒng)“四力”[N];中國勞動保障報;2012年
5 上海市嘉定區(qū)人社局 任憲華;對加強人社文化建設的3點認識[N];中國勞動保障報;2012年
6 湖南省桃源縣人社局 傅義華 楊勝英 李永祥;打造基層人社隊伍 夯實民生保障基礎[N];中國勞動保障報;2012年
7 記者 陳明芳;總局人社系統(tǒng)全面開展“樹正氣、守紀律、嚴管理”主題年活動[N];北大荒日報;2012年
8 記者 王輝;積極探索加強人社法制工作有效途徑[N];中國勞動保障報;2012年
9 通訊員 劉寅;魏建鋒檢查指導市人社局工作[N];漢中日報;2012年
10 記者 馬欽麟 實習生 李婧睿;人社部13.15億支持我區(qū)發(fā)展[N];寧夏日報;2012年
相關碩士學位論文 前9條
1 邱一龍;佳木斯市人社系統(tǒng)政府信息公開情況調查研究[D];黑龍江大學;2015年
2 吳智鵬;葫蘆島市人社局精細化管理研究[D];大連海事大學;2016年
3 黃濤;人社大數(shù)據分析系統(tǒng)設計與實現(xiàn)[D];山東大學;2016年
4 羅穎;成都人社電子政務微信平臺優(yōu)化及運營研究[D];西南交通大學;2017年
5 楊東;人社大數(shù)據指標管理系統(tǒng)的設計與實現(xiàn)[D];山東大學;2017年
6 于淑麗;人社數(shù)據實時采集與異構存儲的設計與實現(xiàn)[D];山東大學;2017年
7 謝深泉;云南省人社廳大部門制改革運行研究[D];云南大學;2015年
8 姜可;南昌市人社局公共服務供給績效的影響因素研究[D];江西財經大學;2015年
9 陳璐;基于勝任力的人社系統(tǒng)青年干部培訓優(yōu)化研究[D];上海交通大學;2014年
,本文編號:1906069
本文鏈接:http://www.sikaile.net/guanlilunwen/renliziyuanguanlilunwen/1906069.html