隨著互聯(lián)網(wǎng)與信息技術(shù)的不斷發(fā)展，信息系統(tǒng)規(guī)模變得越來越龐大，如何對(duì)系統(tǒng)運(yùn)行時(shí)的性能、業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)負(fù)載等情況進(jìn)行監(jiān)控分析成為了當(dāng)前迫切需要解決的問題。而計(jì)算機(jī)日志作為系統(tǒng)的真實(shí)寫照，記錄了系統(tǒng)運(yùn)行過程中發(fā)生的各種事件以及其對(duì)應(yīng)的時(shí)間和產(chǎn)生的結(jié)果，因此，通過對(duì)日志進(jìn)行分析，可以挖掘日志中蘊(yùn)含的關(guān)鍵信息，為用戶提供各方面的數(shù)據(jù)服務(wù)。 日志分析系統(tǒng)作為日志分析的一整套解決方案由多臺(tái)服務(wù)器構(gòu)成，通過網(wǎng)絡(luò)的協(xié)調(diào)同步共同完成日志分析。其面向海量的日志信息，通過實(shí)時(shí)的對(duì)日志進(jìn)行分析為用戶提供服務(wù)。日志分析系統(tǒng)周期性的產(chǎn)生眾多日志分析任務(wù)，它們?cè)谙到y(tǒng)的調(diào)度下分派到適合的計(jì)算節(jié)點(diǎn)執(zhí)行。日志分析任務(wù)具有計(jì)算量大、時(shí)效性強(qiáng)、準(zhǔn)確性高等特點(diǎn)，其性能決定著整個(gè)系統(tǒng)的成敗。 本文通過日志分析系統(tǒng)的模塊結(jié)構(gòu)介紹，明確了任務(wù)調(diào)度模塊在整個(gè)系統(tǒng)中的核心作用，并提出完成一個(gè)高效任務(wù)調(diào)度模塊需要實(shí)現(xiàn)的目標(biāo)。本文從任務(wù)調(diào)度理論與作者親身參與開發(fā)的一款日志分析系統(tǒng)出發(fā)，總結(jié)了現(xiàn)階段系統(tǒng)任務(wù)調(diào)度模塊存在的缺陷，并在此基礎(chǔ)上提出一種改進(jìn)型的日志分析系統(tǒng)任務(wù)調(diào)度方案。方案分別從架構(gòu)和算法兩方面展開設(shè)計(jì)，其中架構(gòu)方面借鑒集中式調(diào)度思想...

【文章頁數(shù)】：65 頁

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景
    1.2 日志分析系統(tǒng)任務(wù)調(diào)度概述
        1.2.1 日志分析任務(wù)概述
        1.2.2 任務(wù)調(diào)度模塊的地位
        1.2.3 日志分析系統(tǒng)任務(wù)調(diào)度目標(biāo)
    1.3 研究現(xiàn)狀
        1.3.1 任務(wù)調(diào)度架構(gòu)
        1.3.2 任務(wù)調(diào)度算法
        1.3.3 日志分析系統(tǒng)的任務(wù)調(diào)度
    1.4 研究?jī)?nèi)容與意義
    1.5 論文的結(jié)構(gòu)安排
第二章 相關(guān)理論介紹
    2.1 任務(wù)調(diào)度理論概述
        2.1.1 任務(wù)調(diào)度目標(biāo)
        2.1.2 任務(wù)調(diào)度標(biāo)準(zhǔn)過程
        2.1.3 任務(wù)調(diào)度分類
    2.2 蟻群算法介紹
        2.2.1 蟻群算法概述
        2.2.2 蟻群算法規(guī)則
        2.2.3 蟻群算法思想
        2.2.4 蟻群算法在 TSP 問題中的應(yīng)用
    2.3 其他相關(guān)技術(shù)介紹
        2.3.1 Master-Slave 結(jié)構(gòu)
        2.3.2 Zookeeper
        2.3.3 MINA 通訊框架
    2.4 本章小結(jié)
第三章 日志分析系統(tǒng)任務(wù)調(diào)度設(shè)計(jì)
    3.1 設(shè)計(jì)改進(jìn)方向
    3.2 架構(gòu)設(shè)計(jì)方案
        3.2.1 任務(wù)收集器（Collector）
        3.2.2 調(diào)度器（Master）
        3.2.3 計(jì)算節(jié)點(diǎn)（Slave）
        3.2.4 集群管理（Zookeeper）
    3.3 算法設(shè)計(jì)方案
        3.3.1 蟻群算法的改進(jìn)
        3.3.2 數(shù)學(xué)模型的改進(jìn)
    3.4 調(diào)度執(zhí)行流程
    3.5 任務(wù)調(diào)度方案特點(diǎn)與優(yōu)勢(shì)
    3.6 本章小結(jié)
第四章 任務(wù)調(diào)度實(shí)現(xiàn)與性能測(cè)評(píng)
    4.1 節(jié)點(diǎn)間通信實(shí)現(xiàn)
    4.2 調(diào)度架構(gòu)實(shí)現(xiàn)
    4.3 調(diào)度算法實(shí)現(xiàn)
    4.4 性能測(cè)評(píng)
第五章 總結(jié)與展望
參考文獻(xiàn)
致謝
在學(xué)期間的研究成果及發(fā)表的學(xué)術(shù)論文
附錄： 任務(wù)調(diào)度運(yùn)行截圖



本文編號(hào)：3802221