深度學(xué)習(xí)通過(guò)多層網(wǎng)絡(luò)結(jié)構(gòu)提取大數(shù)據(jù)中的層次化特征表示,這種層次化的特征表示使計(jì)算機(jī)可通過(guò)學(xué)習(xí)較簡(jiǎn)單的概念來(lái)構(gòu)建復(fù)雜的概念。深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別在于,深度學(xué)習(xí)可從大數(shù)據(jù)中抽取有效的特征表示,從而得到較高的處理性能。由于深度學(xué)習(xí)具有從大數(shù)據(jù)中提取有效信息表示的能力,它已在圖像分類、語(yǔ)音識(shí)別、視頻識(shí)別、自然語(yǔ)言處理等領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)量的增長(zhǎng)和深度學(xué)習(xí)模型復(fù)雜度的提高,大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的優(yōu)化成為重要挑戰(zhàn)。從計(jì)算科學(xué)的角度看,高性能計(jì)算技術(shù)中的異構(gòu)并行優(yōu)化技術(shù)在深度學(xué)習(xí)崛起的過(guò)程中發(fā)揮了重要作用。近年來(lái),跨節(jié)點(diǎn)的并行優(yōu)化技術(shù)在深度學(xué)習(xí)模型優(yōu)化領(lǐng)域受到越來(lái)越多的關(guān)注。然而,由于主流深度學(xué)習(xí)優(yōu)化算法———隨機(jī)梯度下降算法本身的特性,深度學(xué)習(xí)并行優(yōu)化算法的可擴(kuò)展能力不足,深度學(xué)習(xí)并行優(yōu)化技術(shù)進(jìn)展緩慢。本文對(duì)多種深度學(xué)習(xí)并行優(yōu)化技術(shù)以及訓(xùn)練加速技術(shù)進(jìn)行分析研究,提出一系列深度學(xué)習(xí)并行優(yōu)化算法,為各種深度學(xué)習(xí)應(yīng)用提供支撐。本文的主要工作及創(chuàng)新點(diǎn)概括如下:（1）提出一種面向深度神經(jīng)網(wǎng)絡(luò)的延遲補(bǔ)償異步并行Adam算法。本文提出了一種深度學(xué)習(xí)的帶延遲補(bǔ)償異步并行Adam算法,稱為DC-Ad... 

【文章來(lái)源】：國(guó)防科技大學(xué)湖南省 211工程院校 985工程院校

【文章頁(yè)數(shù)】：133 頁(yè)

【學(xué)位級(jí)別】：博士

【文章目錄】：
摘要
Abstract
符號(hào)使用說(shuō)明
第一章 緒論
    1.1 研究背景及意義
    1.2 研究問(wèn)題定義
    1.3 研究現(xiàn)狀
        1.3.1 串行優(yōu)化算法
        1.3.2 并行優(yōu)化算法
        1.3.3 同步并行隨機(jī)梯度下降
        1.3.4 異步并行隨機(jī)梯度下降
    1.4 研究?jī)?nèi)容及創(chuàng)新點(diǎn)
    1.5 論文的組織結(jié)構(gòu)
第二章 面向深度神經(jīng)網(wǎng)絡(luò)的延遲補(bǔ)償異步并行Adam算法
    2.1 引言
    2.2 相關(guān)工作
        2.2.1 并行SGD算法
        2.2.2 Adam算法
        2.2.3 延遲補(bǔ)償算法
    2.3 延遲補(bǔ)償異步并行Adam算法
        2.3.1 異步并行Adam
        2.3.2 延遲補(bǔ)償異步并行Adam算法
        2.3.3 收斂性分析
        2.3.4 DC-Adam與 DC-ASGD對(duì)比分析
    2.4 實(shí)驗(yàn)
        2.4.1 MNIST實(shí)驗(yàn)結(jié)果
        2.4.2 CIFAR-10實(shí)驗(yàn)結(jié)果
        2.4.3 加速比和測(cè)試準(zhǔn)確率
    2.5 本章小結(jié)
第三章 面向深度學(xué)習(xí)的兩級(jí)并行優(yōu)化算法
    3.1 引言
    3.2 相關(guān)研究
        3.2.1 同步并行隨機(jī)梯度下降(SSGD)算法
        3.2.2 兩級(jí)并行框架
    3.3 異同步結(jié)合兩級(jí)并行優(yōu)化算法
        3.3.1 兩級(jí)并行系統(tǒng)框架
        3.3.2 異同步兩級(jí)并行算法
        3.3.3 算法收斂性分析
    3.4 實(shí)驗(yàn)
        3.4.1 MNIST實(shí)驗(yàn)結(jié)果
        3.4.2 CIFAR-10實(shí)驗(yàn)結(jié)果
        3.4.3 加速比和測(cè)試準(zhǔn)確率
    3.5 本章小結(jié)
第四章 異步并行一致化隨機(jī)梯度下降算法
    4.1 引言
        4.1.1 問(wèn)題的提出
        4.1.2 一致化梯度
    4.2 相關(guān)工作
        4.2.1 SVRG算法
        4.2.2 Asy SVRG算法
    4.3 異步并行一致化隨機(jī)梯度下降算法
        4.3.1 ACSGD算法
        4.3.2 收斂性分析
    4.4 實(shí)驗(yàn)
        4.4.1 MNIST實(shí)驗(yàn)結(jié)果
        4.4.2 CIFAR-10實(shí)驗(yàn)結(jié)果
        4.4.3 加速比和測(cè)試準(zhǔn)確率
    4.5 本章小結(jié)
第五章 深度學(xué)習(xí)算法異構(gòu)并行加速技術(shù)
    5.1 引言
    5.2 基于MIC的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練異構(gòu)并行加速
        5.2.1 CNN訓(xùn)練計(jì)算分析
        5.2.2 線程設(shè)置
    5.3 實(shí)驗(yàn)
        5.3.1 實(shí)驗(yàn)設(shè)置
        5.3.2 訓(xùn)練時(shí)間評(píng)估
        5.3.3 加速比評(píng)估
    5.4 本章小結(jié)
第六章 面向圖像-文本跨模態(tài)檢索的并行優(yōu)化技術(shù)
    6.1 引言
    6.2 DCMH模型
    6.3 DCMH模型訓(xùn)練過(guò)程
    6.4 面向跨模態(tài)檢索的并行優(yōu)化技術(shù)
    6.5 實(shí)驗(yàn)結(jié)果
        6.5.1 數(shù)據(jù)集
        6.5.2 訓(xùn)練收斂性
        6.5.3 訓(xùn)練加速比
        6.5.4 平均準(zhǔn)確率和平均召回率
    6.6 本章小結(jié)
第七章 結(jié)論與展望
    7.1 工作總結(jié)
    7.2 工作展望
致謝
參考文獻(xiàn)
作者在學(xué)期間取得的學(xué)術(shù)成果



本文編號(hào)：3223651