發(fā)布時(shí)間：2020-03-20 04:58

【摘要】：現(xiàn)如今人工智能已經(jīng)滲透到人們生活的各個(gè)角落,很多行業(yè)都通過人工智能實(shí)現(xiàn)了巨大的發(fā)展。人工智能的核心技術(shù)是人工神經(jīng)網(wǎng)絡(luò),人工智能的廣泛應(yīng)用離不開神經(jīng)網(wǎng)絡(luò)技術(shù)的巨大進(jìn)步。但是,神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)一步發(fā)展仍然面臨很多挑戰(zhàn)。目前,人工神經(jīng)網(wǎng)絡(luò)應(yīng)用面臨的主要挑戰(zhàn)之一就是訓(xùn)練,其實(shí)質(zhì)是一個(gè)基于大量數(shù)據(jù)反復(fù)迭代優(yōu)化的過程。該過程需要極高的計(jì)算能力和高效的最優(yōu)解搜尋方法。本文針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中面對(duì)的問題,進(jìn)行了詳細(xì)的探索與分析,并憑借異構(gòu)計(jì)算平臺(tái)的強(qiáng)大計(jì)算能力,設(shè)計(jì)并實(shí)現(xiàn)了三種并行優(yōu)化算法。首先,針對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間較長(zhǎng)的問題,實(shí)現(xiàn)了并行BFGS擬牛頓算法;其次,針對(duì)傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法易陷入局部收斂的問題,設(shè)計(jì)并實(shí)現(xiàn)了一種多群體PSO并行算法;最后,為了提升神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的收斂速度,將BFGS擬牛頓算法與PSO算法相結(jié)合,實(shí)現(xiàn)了BFGS-PSO混合算法。實(shí)驗(yàn)結(jié)果顯示,與傳統(tǒng)的基于CPU的串行算法相比,本文設(shè)計(jì)的并行BFGS擬牛頓算法最高獲得了430倍的加速;本文設(shè)計(jì)的并行PSO算法與基于CPU的多線程PSO算法相比,獲得了35倍的加速;在超寬帶天線的實(shí)驗(yàn)中,與BFGS擬牛頓算法相比,相同迭代次數(shù)下,訓(xùn)練誤差縮小到了1.52%;并且,將二者結(jié)合而成的BFGS-PSO混合算法也展現(xiàn)了較強(qiáng)的收斂性,其收斂速度是BFGS擬牛頓算法的5.5倍,并且在相同訓(xùn)練時(shí)間下,三種算法中BFGS-PSO混合算法的訓(xùn)練誤差最小,僅為1.12%。
【圖文】：

圖 2-1 通用可編程 GPU 架構(gòu)簡(jiǎn)圖GPU 與 CPU 的區(qū)別在通用計(jì)算領(lǐng)域，CPU 作為最傳統(tǒng)的計(jì)算設(shè)備，其性能提升主要依賴于理器主頻，而主頻的提升主要依賴于制作工藝的改進(jìn)。然而，制作工藝是有限的，晶體管尺寸的降低逐漸趨緩，電路集成度的增長(zhǎng)也逐漸趨于過提高處理器主頻來提升 CPU 性能遇到了前所未有的困境。因此，一 供應(yīng)商嘗試改變 CPU 架構(gòu)來獲得性能的提升，在單塊芯片內(nèi)集成更多器核心，使 CPU 朝多核的方向發(fā)展成為了主要趨勢(shì)。自 2005 年第一款PU 的問世，時(shí)至今日，增加 CPU 核心數(shù)依然是提升 CPU 性能的主題。況下，單核 CPU 只能同時(shí)處理一個(gè)線程，而增加 CPU 的核心數(shù)可以使多個(gè)線程，因此，現(xiàn)在的 CPU 同樣可以做并行計(jì)算。雖然 CPU 架構(gòu)的優(yōu)化使其可以支持多線程并行處理，但它與 GPU 在并

13圖 2-2 OpenCL 內(nèi)存模型示意圖2.5.3 OpenCL 編程過程為了將上述框架有效整合在一起以實(shí)現(xiàn)我們想要的功能，需要一系列繁雜的操作，這個(gè)過程稱為 OpenCL 的編程過程。使用 OpenCL 編程過程如下：(1) 發(fā)現(xiàn)并初始化平臺(tái)；(2) 發(fā)現(xiàn)并初始化計(jì)算設(shè)備；(3) 創(chuàng)建上下文；(4) 創(chuàng)建命令隊(duì)列；(5) 創(chuàng)建內(nèi)存對(duì)象；(6) 將數(shù)據(jù)由主機(jī)端傳入設(shè)備端；(7) 創(chuàng)建并編譯程序?qū)ο螅?
【學(xué)位授予單位】：天津大學(xué)
【學(xué)位級(jí)別】：碩士
【學(xué)位授予年份】：2018
【分類號(hào)】：TP183

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 陳貴云;張江;;基于擬牛頓算法神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)系統(tǒng)的研究[J];計(jì)算機(jī)安全;2014年01期

2 劉道華;張禮濤;曾召霞;孫文蕭;;基于正交最小二乘法的徑向基神經(jīng)網(wǎng)絡(luò)模型[J];信陽(yáng)師范學(xué)院學(xué)報(bào)(自然科學(xué)版);2013年03期

3 王海峰;陳慶奎;;圖形處理器通用計(jì)算關(guān)鍵技術(shù)研究綜述[J];計(jì)算機(jī)學(xué)報(bào);2013年04期

4 魏明生;童敏明;訾斌;唐守鋒;;基于粒子群-擬牛頓混合算法的管道機(jī)器人定位[J];儀器儀表學(xué)報(bào);2012年11期

5 林琳;黃南天;高興泉;;基于DFP校正擬牛頓法的傅里葉神經(jīng)網(wǎng)絡(luò)[J];計(jì)算機(jī)工程;2012年10期

6 陳瑩瑩;;Quasi-Newton Method相關(guān)綜述[J];黑龍江科技信息;2012年10期

7 李熙銘;歐陽(yáng)丹彤;白洪濤;;基于GPU的混合精度平方根共軛梯度算法[J];儀器儀表學(xué)報(bào);2012年01期

8 耿紅梅;;BFGS算法綜述[J];大眾科技;2011年11期

9 盧風(fēng)順;宋君強(qiáng);銀福康;張理論;;CPU/GPU協(xié)同并行計(jì)算研究綜述[J];計(jì)算機(jī)科學(xué);2011年03期

10 夏俊峰;楊帆;李靜;鄭秀玉;;基于GPU的電力系統(tǒng)并行潮流計(jì)算的實(shí)現(xiàn)[J];電力系統(tǒng)保護(hù)與控制;2010年18期

，

本文編號(hào)：2591287