本文選題：主成分分析 + 奇異值分解��； 參考：《計算機科學》2017年02期

【摘要】：隨著MapReduce并行化框架的流行,各種數(shù)據(jù)挖掘算法的并行化也成為了當下研究的熱點。主成分分析(Principle Components Analysis,PCA)算法的并行化也得到了越來越多的關注。通過對目前PCA算法的并行化研究的成果進行總結,發(fā)現(xiàn)這些PCA算法并行程度并不完全,特別是特征值計算過程。整個PCA算法流程分為兩個階段:相關系數(shù)矩陣求解階段和矩陣的奇異值分解(Singular Value Decomposition,SVD)階段。通過當前最流行的并行框架MapReduce,融合矩陣的QR分解,提出了一種奇異值分解的并行實現(xiàn)方法。利用隨機產(chǎn)生的不同維度大小的雙浮點矩陣比較并行奇異值分解相對傳統(tǒng)串行環(huán)境下的算法效率的提升情況,并分析算法效率。之后,將并行奇異值分解融合到PCA算法中,同時提出相關系數(shù)矩陣的并行計算過程,將PCA計算的兩個部分完全并行化。利用不同維度的矩陣對提出的并行PCA算法與已存在的未完全并行PCA算法、常規(guī)的PCA算法的運算速度進行比較,分析完全并行化PCA算法的加速比,最終得出所提算法在處理一定規(guī)模的大數(shù)據(jù)情況下的時間消耗要少許多。
[Abstract]:With the popularity of the MapReduce parallelization framework, the parallelization of various data mining algorithms has become a hot topic in the present research. The parallelization of the Principle Components Analysis (PCA) algorithm has also been paid more and more attention. By summarizing the achievements of the parallel research of the current PCA algorithm, the PCA algorithms are found. The parallel degree is not complete, especially the eigenvalue calculation process. The whole PCA algorithm process is divided into two stages: the correlation coefficient matrix solution phase and the matrix singular value decomposition (Singular Value Decomposition, SVD) stage. A singular value decomposition is proposed through the current most popular parallel framework MapReduce, the QR decomposition of the fusion matrix. The parallel singular value decomposition is used to compare the efficiency of parallel singular value decomposition (SVD) to the efficiency of the algorithm in the traditional serial environment, and the algorithm efficiency is analyzed. Then, the parallel singular value decomposition is fused into the PCA algorithm, and the parallel computation process of the correlation coefficient matrix is proposed, and the PCA is calculated. The two parts of the calculation are completely parallelized. Using the matrix of different dimensions, the proposed parallel PCA algorithm is compared with the existing incomplete parallel PCA algorithm and the conventional PCA algorithm, and the acceleration ratio of the fully parallelized PCA algorithm is analyzed. Finally, the time consumption of the proposed algorithm is obtained under the large data conditions at a certain scale. A lot less.
【作者單位】： 東北大學計算機科學與工程學院;東北大學軟件學院;
【基金】：國家杰出青年科學基金資助項目(61225012,71325002) 國家自然科學基金資助項目(61572123) 高等學校博士學科點專項科研基金優(yōu)先發(fā)展領域資助課題(20120042130003)資助
【分類號】：TP301.6

【相似文獻】

相關期刊論文 前10條

1 王蘊紅,譚鐵牛,朱勇;基于奇異值分解和數(shù)據(jù)融合的臉像鑒別[J];計算機學報;2000年06期

2 高仕龍;;矩陣奇異值分解的圖像性質及其應用[J];樂山師范學院學報;2008年05期

3 孫靜靜;張宏飛;孫昌;;一種基于奇異值分解的人臉識別新方法[J];科學技術與工程;2010年25期

4 曹長修;;自適應消除干擾的新算法(使用矩陣奇異值分解)[J];自動化學報;1986年02期

5 M.穆倫;張俊芳;;修正的奇異值分解并行實現(xiàn)[J];雷達與對抗;1992年04期

6 戴偉輝，呂維雪，段云所，楊芙清;多準則優(yōu)化圖象重建方法的奇異值分解研究[J];計算機學報;1997年07期

7 任蕾;施朝健;冉鑫;;應用奇異值分解的海上場景顯著性檢測[J];計算機工程與應用;2012年23期

8 李曉軍;吳辰文;;基于奇異值分解的流量矩陣估算研究[J];蘭州交通大學學報;2012年06期

9 張友民，李慶國，戴冠中，，張洪才;基于奇異值分解的遞推辨識方法[J];控制理論與應用;1995年02期

10 羅鐵堅;程福興;周佳;;融合奇異值分解和動態(tài)轉移鏈的學術資源推薦模型(英文)[J];中國科學院大學學報;2014年02期

相關會議論文 前10條

1 張友民;陳洪亮;戴冠中;;基于奇異值分解的固定區(qū)間平滑新方法[A];1995年中國控制會議論文集（上）[C];1995年

2 何田;王立清;劉獻棟;朱永波;;基于奇異值分解的信號處理機理及其應用[A];2008年航空試驗測試技術峰會論文集[C];2008年

3 張霄;林鴻飛;楊志豪;;基于奇異值分解的蛋白質關系抽取[A];第五屆全國信息檢索學術會議論文集[C];2009年

4 曹云麗;郭勤濤;徐堯;周瑾;;基于奇異值分解響應面方法的磁軸承轉子參數(shù)識別[A];第11屆全國轉子動力學學術討論會（ROTDYN2014）論文集（上冊）[C];2014年

5 吳曉穎;吳俊;董濱江;;TK方法在γ譜分析中的應用[A];第7屆全國核電子學與核探測技術學術年會論文集（三）[C];1994年

6 林原;林鴻飛;蘇綏;;一種應用奇異值分解的RankBoost排序學習方法[A];中國計算機語言學研究前沿進展（2007-2009）[C];2009年

7 金宋友;趙志文;;一種基于奇異值分解盲水印算法[A];圖像圖形技術與應用進展——第三屆圖像圖形技術與應用學術會議論文集[C];2008年

8 趙衛(wèi)國;翟自勇;王子君;;基于奇異值分解和神經(jīng)網(wǎng)絡的數(shù)字圖像水印算法[A];Proceedings of 2010 Chinese Control and Decision Conference[C];2010年

9 岳紅;蔣慰孫;;基于奇異值分解的改進Bayes集員辨識遞推算法[A];1995中國控制與決策學術年會論文集[C];1995年

10 張景瑞;;基于奇異值分解的SGCMGs輸出誤差分析及操縱律設計[A];第三屆全國動力學與控制青年學者研討會論文摘要集[C];2009年

相關碩士學位論文 前10條

1 相桂芳;MFA與SVD模糊融合的人臉識別研究[D];合肥工業(yè)大學;2015年

2 聶振國;基于奇異值分解的信號處理關鍵技術研究[D];華南理工大學;2016年

3 夏玉丹;基于S變換和奇異值分解的自動癲癇檢測算法[D];山東大學;2016年

4 關曉勇;基于奇異值分解的狀態(tài)監(jiān)測與故障診斷方法研究[D];大連理工大學;2005年

5 王鋼;基于奇異值分解的機織物瑕疵檢測算法研究[D];東華大學;2014年

6 Charles Alpha Bangura;[D];湖南大學;2011年

7 鄭安總;奇異值分解在微弱信號檢測中的應用[D];天津大學;2014年

8 趙慧琳;奇異值分解的人臉識別算法[D];上海海運學院;2002年

9 李科;基于沙米爾和奇異值分解的小波域數(shù)字圖像水印算法研究[D];南昌大學;2010年

10 賈換霞;基于奇異值分解和神經(jīng)網(wǎng)絡的人臉識別方法的研究[D];東北大學;2005年

本文編號：1939604