第一章 緒 論

隨著信息時代的到來，數(shù)據(jù)信息的眾多問題越來越突出，其在工業(yè)生產(chǎn)過程中也占據(jù)著越來越重要的地位。作為工業(yè)生產(chǎn)系統(tǒng)的重要組成部分，生產(chǎn)過程中的數(shù)據(jù)報表作用日益被各大企業(yè)所看重。工業(yè)數(shù)據(jù)報表同時也是一種瀏覽信息、分析數(shù)據(jù)的重要工具[1]。但是，現(xiàn)有工業(yè)數(shù)據(jù)報表系統(tǒng)中的一些問題一直困擾著使用者，，如海量數(shù)據(jù)的存儲、不支持多種數(shù)據(jù)報表格式、歸檔查詢功能簡單不能滿足要求等。因此，分析目前現(xiàn)有各種組態(tài)及工業(yè)報表系統(tǒng)的優(yōu)缺點，開發(fā)適合我國國情并具有通用性的工業(yè)數(shù)據(jù)報表系統(tǒng)是必要的。

1.1 課題研究的背景
目前 DCS(Distributed Control System)系統(tǒng)廣泛應(yīng)用于工農(nóng)業(yè)生產(chǎn)的各個領(lǐng)域，其中服務(wù)器端通常采用組態(tài)軟件進行設(shè)計，如國外的 WinCC、Citech、ASPEN-tech；國內(nèi)的力控、組態(tài)王、世紀(jì)星等。它們都是在自動控制系統(tǒng)監(jiān)控層一級的軟件平臺和開發(fā)環(huán)境，使用靈活的組態(tài)方式，為用戶提供具有快速構(gòu)建工業(yè)自動控制系統(tǒng)監(jiān)控功能的，且具有一定層次的軟件工具。其中報表系統(tǒng)是組態(tài)軟件的一個重要功能，承擔(dān)著對工業(yè)生產(chǎn)過程中產(chǎn)生的數(shù)據(jù)進行歸檔、查詢，為管理人員提供數(shù)據(jù)分析依據(jù)的重任。但是報表中信息在實際存儲中卻受到很多限制[2]：報表系統(tǒng)多是組態(tài)軟件自帶的報表工具，當(dāng)存儲數(shù)據(jù)量過大時，報表系統(tǒng)存儲數(shù)據(jù)仍然是按照順序進行存儲，不對數(shù)據(jù)進行壓縮處理，這樣會造成存儲空間需求增大，系統(tǒng)運行緩慢等一系列問題。
.......

1.2 課題來源
石家莊橋東污水處理廠是總投資 9.6 億的省重點項目，也是“河北省利用世界銀行貸款河北城市環(huán)境項目”的子項目之一，目前已投入運營，使得市區(qū)京廣鐵路以東的城市污水得到了有效的處理。石家莊橋東污水處理廠采用的是國際上領(lǐng)先的網(wǎng)絡(luò)控制系統(tǒng)，其監(jiān)測網(wǎng)絡(luò)拓撲結(jié)構(gòu)圖如圖 1-1 所示：使用德國西門子公司的網(wǎng)絡(luò)控制系統(tǒng)來對全廠各個污水處理端口進行檢測控制，同時通過廠內(nèi)光纖環(huán)網(wǎng)將采集到的數(shù)據(jù)進行上傳，傳送至中控室內(nèi)，由中控室內(nèi)的數(shù)據(jù)服務(wù)器進行處理、存儲。中控室各個終端采用西門子公司的 WinCC 軟件。從圖 1-1 中可以看出，整個監(jiān)測網(wǎng)絡(luò)結(jié)構(gòu)分為三級冗余結(jié)構(gòu)：(1)一級：現(xiàn)場控制級�，F(xiàn)場控制終端采用西門子公司的 PLC S7-300 和 S7-200相結(jié)合的監(jiān)測、控制方式，接受上一級的控制指令，對現(xiàn)場設(shè)備進行監(jiān)測和控制；并將在現(xiàn)場設(shè)備監(jiān)測端口采集的數(shù)據(jù)進行上傳、匯總，送往上一級服務(wù)器。(2)二級：現(xiàn)場管理子站。采用西門子公司的 PLC S7-400 作為子站服務(wù)器，分別對污水處理廠的進水泵站、鼓風(fēng)機站、變電站、污泥控制室等 4 大部分的現(xiàn)場設(shè)備和儀表進行監(jiān)測和管理。三級現(xiàn)場控制單元檢測采集的數(shù)據(jù)經(jīng)過匯總，會集中到各自對應(yīng)的子站服務(wù)器中，等待上位機進行數(shù)據(jù)交換操作。
.......

第二章 行程編碼和聚類算法相結(jié)合的數(shù)據(jù)壓縮算法研究

2.1 數(shù)據(jù)庫的數(shù)據(jù)組織及訪問方式
數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織、存儲和管理數(shù)據(jù)的倉庫。隨著信息技術(shù)和市場的發(fā)展，特別是二十世紀(jì)九十年代以后，數(shù)據(jù)管理不再僅僅是存儲和管理數(shù)據(jù)，而轉(zhuǎn)變成用戶所需要的各種數(shù)據(jù)管理的方式。數(shù)據(jù)庫有很多種類型，從最簡單的存儲有各種數(shù)據(jù)的表格到能夠進行海量數(shù)據(jù)存儲的大型數(shù)據(jù)庫系統(tǒng)，他們都在各個方面得到了廣泛的應(yīng)用。二維表在數(shù)據(jù)庫存儲中占有重要地位，因為數(shù)據(jù)庫中多數(shù)數(shù)據(jù)都是存儲在像二維表這樣的關(guān)系表中。當(dāng)對數(shù)據(jù)庫中數(shù)據(jù)進行查詢時，二維表也是一個基本單位，二維表的結(jié)構(gòu)特點決了二維表在關(guān)系數(shù)據(jù)庫中的地位。二維表的行稱為一個元組，列稱為屬性。二維表中的記錄數(shù)隨實體的增減而變化，但字段個數(shù)卻是相對固定的，因此所有記錄的長度都是相同的。二維表之間的數(shù)據(jù)聯(lián)系通過一個表的碼與另一個表的外碼的連接來體現(xiàn)[14]。
.......

2.2 關(guān)系數(shù)據(jù)庫的數(shù)據(jù)冗余與冗余的度量

2.2.1 關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)冗余類型
冗余的存在是運行壓縮的條件之一。通常情況下，冗余主要是指數(shù)據(jù)的重復(fù)，包括在時間上、數(shù)據(jù)量上、空間上的重復(fù)。關(guān)系數(shù)據(jù)庫的數(shù)據(jù)重復(fù)主要有表的重復(fù)、屬性的重復(fù)、元組的重復(fù)等,其具體含義為：(1)為了數(shù)據(jù)安全的需要制作備份表，當(dāng)主表被破壞時可用此恢復(fù)數(shù)據(jù)。分布式數(shù)據(jù)庫為減少數(shù)據(jù)通訊開銷也常重復(fù)放表，這種數(shù)據(jù)冗余在這里是必需數(shù)據(jù)冗余，不能刪除。若是因其他原因產(chǎn)生的非必要的重復(fù)表則應(yīng)予以刪除。(2)屬性重復(fù)有不同表的屬性重復(fù)和同一表內(nèi)屬性重復(fù)兩種情況：不同表的屬性重復(fù)常用來建立表之間聯(lián)系，這只需要一個公共屬性，這是必需數(shù)據(jù)冗余，不能刪除；各表間的多于一個的屬性應(yīng)當(dāng)刪除。同一表內(nèi)有相同屬性內(nèi)容的多個屬性，若非數(shù)據(jù)安全檢查的需要，應(yīng)當(dāng)刪除。(3)表內(nèi)不同記錄內(nèi)容有時會完全相同，若非必要，應(yīng)予以刪除。元組的重復(fù)所引起的數(shù)據(jù)冗余的消除由記錄級的操作完成。上面數(shù)據(jù)庫的重復(fù)方式基本相類似，但還有另外一種冗余存在方式。這樣的冗余重復(fù)在數(shù)據(jù)庫的存儲中也占有很大部分，也是數(shù)據(jù)壓縮時經(jīng)常處理的一種壓縮形式。
.......

第三章 工業(yè)數(shù)據(jù)報表系統(tǒng)的功能與實現(xiàn)研究.....32
3.1 工業(yè)數(shù)據(jù)報表研究開發(fā)環(huán)境及語言 ....32
3.2 工業(yè)數(shù)據(jù)報表總體功能介紹 ........34
3.3 登錄功能實現(xiàn) ........37
3.4 主窗體導(dǎo)航模塊功能實現(xiàn) ....38
3.5 基于聚類算法和行程編碼的歷史數(shù)據(jù)模塊功能實現(xiàn) ........39
3.6 基于聚類算法和行程編碼的數(shù)據(jù)曲線模塊功能實現(xiàn) ........42
3.7 基于聚類算法和行程編碼的階段查詢模塊功能實現(xiàn) ........44
3.8 基于聚類算法和行程編碼的報警查詢模塊功能實現(xiàn) ........48
3.9 變量管理模塊功能實現(xiàn) ........50
3.10 用戶管理模塊功能實現(xiàn) ......55
3.11 本章小結(jié).......60
第四章 數(shù)據(jù)壓縮算法在報表系統(tǒng)中的應(yīng)用及測試.....61
4.1 基于行程編碼算法的時間標(biāo)簽的壓縮 ........61
4.2 基于聚類差分壓縮算法的數(shù)據(jù)庫數(shù)據(jù)元組壓縮 ........64
4.3 數(shù)據(jù)查詢解壓縮操作 ....66
4.4 本章小結(jié) ........67
第五章 結(jié)論與展望.........68

第四章 數(shù)據(jù)壓縮算法在報表系統(tǒng)中的應(yīng)用及測試

本章將數(shù)據(jù)聚類壓縮算法代入到數(shù)據(jù)庫數(shù)據(jù)存儲壓縮中，對數(shù)據(jù)庫中的歷史數(shù)據(jù)及新采集上來的數(shù)據(jù)進行壓縮處理，同時根據(jù)數(shù)據(jù)時間標(biāo)簽的特點，將行程編碼壓縮算法運用到數(shù)據(jù)對應(yīng)時間標(biāo)簽的壓縮處理中。

4.1 基于行程編碼算法的時間標(biāo)簽的壓縮
時間標(biāo)簽作為數(shù)據(jù)庫中歷史數(shù)據(jù)的時間標(biāo)志，表明了采集的歷史數(shù)據(jù)的時間點，是查詢歷史數(shù)據(jù)的一項重要依據(jù)，同時工程人員也可通過此項記錄來查看過去某一時間點設(shè)備運行情況，故障發(fā)生時間。若數(shù)據(jù)按采集時間排列，也就顯示出數(shù)據(jù)的發(fā)展趨勢，為工藝改進、設(shè)備維護、策劃管理提供了重要依據(jù)。時間標(biāo)簽基本是按照固定時間間隔的時間點，因為時間標(biāo)簽記錄的就是采集數(shù)據(jù)時的時間點，一般來說工業(yè)生產(chǎn)過程中數(shù)據(jù)的采集周期是固定的，可能是 1 s，或是 0.5 s。雖然因為某些原因會使數(shù)據(jù)采集時間差生微小偏差，但基本不妨礙工程人員從數(shù)據(jù)中獲取信息，因此可以對數(shù)據(jù)產(chǎn)生的時間標(biāo)簽進行預(yù)處理，使得時間標(biāo)簽周期為固定時間，這樣就可以把時間標(biāo)簽調(diào)整為上一個時間標(biāo)簽和差值組合的形式存儲。經(jīng)過初步處理后，時間標(biāo)簽之間的差值基本為同一數(shù)值，只有在采集數(shù)據(jù)缺失時才會使時間差值為原來的整數(shù)倍。由此一來，時間標(biāo)簽之間的相似性就非常大，特別是相鄰兩個時間標(biāo)簽之間，為時間標(biāo)簽的壓縮提供了可能。對于時間標(biāo)簽的這一特性，可以采用較為簡單有效的行程編碼壓縮算法對其進行壓縮處。

結(jié)論

本文的工作是對基于聚類算法和行程編碼的工業(yè)數(shù)據(jù)報表系統(tǒng)的研究，在充分考慮系統(tǒng)的功能、成本、實現(xiàn)難易程度的基礎(chǔ)上，根據(jù)現(xiàn)場調(diào)研，獲取現(xiàn)場工業(yè)查詢要求。選擇 VisualStudio 2008 作為程序的開發(fā)環(huán)境，C#為開發(fā)語言，利用 Visual Studio 2008 便捷強大的軟件開發(fā)能力，設(shè)計出符合工業(yè)要求的工業(yè)數(shù)據(jù)報表，并且采用 SQL2005 作為系統(tǒng)數(shù)據(jù)庫，將工業(yè)報表與數(shù)據(jù)庫相連。同時將聚類壓縮算法和 RLE 文本壓縮算法引入到工業(yè)報表數(shù)據(jù)壓縮處理中，減少數(shù)據(jù)存儲所占空間，取得較好的壓縮效果。本文的主要工作：
(1)根據(jù)現(xiàn)場工業(yè)具體功能要求，提出了基于數(shù)據(jù)壓縮的工業(yè)數(shù)據(jù)報表系統(tǒng)研究方案，并對整個工業(yè)數(shù)據(jù)報表進行了詳細的設(shè)計。在 Visual Studio 2008 編程環(huán)境下，采用 C#語言，對工業(yè)數(shù)據(jù)報表進行了實現(xiàn)，設(shè)計出具有歷史數(shù)據(jù)查詢、曲線查詢、變量管理、用戶管理等滿足工業(yè)需求的報表工具。
(2)對歷史數(shù)據(jù)庫數(shù)據(jù)特性進行了分析，介紹了聚類壓縮算法的優(yōu)點和它的整體運算流程。采用排序的方式進行分組及選取中心元組，可有效的降低對孤立點的敏感度，且具有有序性和全面性；利用經(jīng)驗規(guī)則和代價函數(shù)選擇最優(yōu) k值，較好的減少了測試次數(shù)，無需人工干預(yù)。確定這兩大參數(shù)即可完成元組聚類分組。最后進行參照關(guān)系的討論和差分壓縮處理。進過上面一系列步驟，可以對數(shù)據(jù)庫中數(shù)據(jù)進行較好的壓縮處理。同時針對時間標(biāo)簽的特性，對行程編碼壓縮算法也進行了詳細研究。
(3)將經(jīng)過討論、優(yōu)化的聚類壓縮算法和行程編碼壓縮算法結(jié)合起來，引入到工業(yè)數(shù)據(jù)報表系統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)壓縮中。用行程編碼壓縮算法對時間標(biāo)簽進行壓縮；聚類壓縮算法對數(shù)據(jù)庫中數(shù)值數(shù)據(jù)進行壓縮處理，通過這兩種壓縮算法的相結(jié)合，可以對數(shù)據(jù)庫中數(shù)據(jù)進行良好的壓縮處理。并且在數(shù)據(jù)查詢時可達到較快速的解壓縮操作。
............
參考文獻（略）