隨著數(shù)據(jù)化時(shí)代的變革,人工智能技術(shù)已經(jīng)深入人心,深度學(xué)習(xí)技術(shù)也隨著人工智能技術(shù)而興起。深度學(xué)習(xí)的成功在于其能夠解決神經(jīng)網(wǎng)絡(luò)方面的一系列問(wèn)題。在處理深度神經(jīng)網(wǎng)絡(luò)及卷積神經(jīng)網(wǎng)絡(luò)方面,往往離不開梯度下降算法的支持。深度學(xué)習(xí)中的梯度算法可應(yīng)用于許多問(wèn)題的求解,比如線性回歸模型、矩陣分解、區(qū)塊鏈核心技術(shù)去中心化的共識(shí)算法。區(qū)塊鏈技術(shù)的核心問(wèn)題是節(jié)點(diǎn)之間的共識(shí)問(wèn)題,在各個(gè)礦工節(jié)點(diǎn)之間往往會(huì)有拜占庭故障節(jié)點(diǎn)擾亂當(dāng)前交易系統(tǒng),解決這些拜占庭節(jié)點(diǎn)問(wèn)題的方法我們稱其為拜占庭容錯(cuò)技術(shù)（或拜占庭彈性技術(shù)）。在應(yīng)對(duì)拜占庭共識(shí)問(wèn)題時(shí),各個(gè)節(jié)點(diǎn)間往往存在任意數(shù)量的拜占庭節(jié)點(diǎn)。在近幾年里,拜占庭容錯(cuò)問(wèn)題引起了研究人員的高度重視,成為業(yè)界的熱點(diǎn)研究話題。拜占庭節(jié)點(diǎn)的存在,會(huì)導(dǎo)致節(jié)點(diǎn)間信息交流的不可靠,因而會(huì)干擾算法的正常運(yùn)作,甚至可能會(huì)導(dǎo)致服務(wù)器的癱瘓。在深度學(xué)習(xí)中利用隨機(jī)梯度下降算法處理拜占庭共識(shí)問(wèn)題是有效的方法之一�？v觀最近兩年時(shí)間,Blanchard首先提出利用隨機(jī)梯度法來(lái)處理拜占庭故障模型,并提出經(jīng)典拜占庭模型（Classical Byzantine model）�；诮�(jīng)典拜占庭模型,Blanchard在迭代過(guò)... 

【文章來(lái)源】：浙江師范大學(xué)浙江省

【文章頁(yè)數(shù)】：67 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
1 緒論
    1.1 課題研究背景、意義及研究現(xiàn)狀
        1.1.1 課題研究背景及意義
        1.1.2 深度學(xué)習(xí)梯度下降法的國(guó)內(nèi)外研究現(xiàn)狀與發(fā)展
    1.2 本文的主要工作
    1.3 本文的章節(jié)安排
2 深度學(xué)習(xí)中的梯度下降算法
    2.1 引言
    2.2 梯度下降算法
        2.2.1 相關(guān)概念
        2.2.2 代數(shù)及矩陣表示方法及推導(dǎo)過(guò)程
        2.2.3 梯度下降的種類
        2.2.4 深度學(xué)習(xí)中基于隨機(jī)梯度下降法的改進(jìn)
    2.3 梯度下降法與最小二乘法的對(duì)比
    2.4 本章小結(jié)
3 拜占庭恢復(fù)模型
    3.1 引言
    3.2 拜占庭節(jié)點(diǎn)分布模型
    3.3 基于隨機(jī)梯度下降的拜占庭系統(tǒng)迭代模型
    3.4 基于隨機(jī)梯度下降拜占庭恢復(fù)能力(拜占庭彈性)
    3.5 拜占庭中逃避鞍點(diǎn)的梯度下降法
    3.6 本章小結(jié)
4 基于隨機(jī)梯度下降的拜占庭聚合規(guī)則
    4.1 引言
    4.2 基于隨機(jī)梯度下降的拜占庭聚合規(guī)則
        4.2.1 基于經(jīng)典拜占庭模型下的聚合規(guī)則:Krum函數(shù)
        4.2.2 m-Krum
        4.2.3 基于中值的聚合規(guī)則
        4.2.4 基于一般均值的聚合規(guī)則
        4.2.5 基于截尾均值的聚合規(guī)則
    4.3 時(shí)間復(fù)雜度
    4.4 基于截尾均值聚合規(guī)則的收斂分析
        4.4.1 強(qiáng)凸環(huán)境下的收斂分析
        4.4.2 非凸環(huán)境下的收斂證明
    4.5 拜占庭節(jié)點(diǎn)攻擊下聚合規(guī)則魯棒性檢測(cè)實(shí)驗(yàn)
        4.5.1 實(shí)驗(yàn)設(shè)置
        4.5.2 不存在拜占庭故障時(shí)收斂情況
        4.5.3 高斯攻擊法
        4.5.4 全方位攻擊法
        4.5.5 多服務(wù)器共同攻擊
        4.5.6 實(shí)驗(yàn)小結(jié)
    4.6 本章小結(jié)
5 工作總結(jié)及展望
    5.1 目前所做工作總結(jié)
    5.2 未來(lái)工作展望
參考文獻(xiàn)
附錄
攻讀學(xué)位期間取得的研究成果
致謝


【參考文獻(xiàn)】：
期刊論文
[1]梯度下降法在機(jī)器學(xué)習(xí)中的應(yīng)用[J]. 孫婭楠,林文斌.  蘇州科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2018(02)
[2]基于卷積神經(jīng)網(wǎng)絡(luò)的隨機(jī)梯度下降算法[J]. 王功鵬,段萌,牛常勇.  計(jì)算機(jī)工程與設(shè)計(jì). 2018(02)

碩士論文
[1]分布式隨機(jī)梯度下降算法研究[D]. 唐淳.電子科技大學(xué) 2018
[2]深度學(xué)習(xí)中優(yōu)化算法的研究與改進(jìn)[D]. 張慧.北京郵電大學(xué) 2018



本文編號(hào)：3167078