這篇文章的研究目標(biāo)是在Apache Spark平臺上實(shí)現(xiàn)權(quán)重張量近似法（Weighted Tensor Approximation,WTA）,同時(shí)使得張量壓縮時(shí)間盡可能地短。與一般張量近似法（Tensor Approximation,TA）不同的是,在數(shù)據(jù)壓縮過程中,本文對輸入數(shù)據(jù)的有效性進(jìn)行了考量,即通過給原始數(shù)據(jù)中的無效數(shù)據(jù)和有效數(shù)據(jù)分別賦予不同的權(quán)重來消除無效數(shù)據(jù)對于有效數(shù)據(jù)的干擾,從而得到更好的近似結(jié)果。同時(shí),由于原始數(shù)據(jù)非常大,單一節(jié)點(diǎn)壓縮不僅需要很長時(shí)間,對硬件也是一個(gè)巨大的挑戰(zhàn),因此提出將數(shù)據(jù)壓縮過程變成平行化計(jì)算過程從而提高壓縮速度。由于與Apache Hadoop相比,Apache Spark平臺具有更快的平行化運(yùn)算速度,故選擇在Spark平臺上進(jìn)行實(shí)作。最重要的是,在設(shè)計(jì)權(quán)重張量近似法的算法時(shí),為了妥善加速Spark平臺上的權(quán)重張量近似法,我們將原本權(quán)重張量近似法的多重線性問題轉(zhuǎn)化為了一般線性問題,同時(shí)還設(shè)計(jì)將原始數(shù)據(jù)切分成小區(qū)塊,并在實(shí)驗(yàn)過程中建立了一套適合在Spark平臺上進(jìn)行快速運(yùn)算的方法,從而達(dá)到了進(jìn)一步減少壓縮時(shí)間的目的。實(shí)驗(yàn)結(jié)果證明,權(quán)重張量近似法的渲染... 

【文章來源】：天津大學(xué)天津市 211工程院校 985工程院校 教育部直屬院校

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1張量分解示意圖

非線性優(yōu)化方法快速可靠。之后的幾十年里，研究學(xué)者在擬牛頓法的基礎(chǔ)之上又研究出 DFP 方法、BFGS 方法和 L-BFGS 等算法，使得擬牛頓法得到了蓬勃發(fā)展。擬牛頓法的優(yōu)化模型通常可以歸結(jié)為最小化一個(gè)多元函數(shù) ( )，其中輸入 是一個(gè)多維向量，如果求解出(2-6)式，那么 就是優(yōu)化結(jié)果。 ( ) (2-6)擬牛頓法通過實(shí)現(xiàn)對Hessian矩陣[34]的近似從而解決了在大數(shù)據(jù)集的情況下難以計(jì)算和存儲(chǔ)海森矩陣的問題，由此實(shí)現(xiàn)了對牛頓法的改進(jìn)；接著 Davidon 提出、Fletcher 和 Powell 改進(jìn)了 Hessian 矩陣逆的近似方法，提出了 DFP 算法；BFGS 算法是對 DFP 的進(jìn)一步改進(jìn)，由于具有及時(shí)矯正近似 Hessian 矩陣的能力，相比于 DFP，BFGS 具有更好的性能；L-BFGS 是從節(jié)約機(jī)器內(nèi)存方面來對 BFGS算法進(jìn)行優(yōu)化，通過只保留最近的幾次迭代信息來擬合 Hessian 矩陣，從而達(dá)到了節(jié)約內(nèi)存的目的。圖 2-4 是 L-BFGS 算法的簡要流程圖，其中循環(huán)求解步驟求解的是目標(biāo)函數(shù)值和梯度函數(shù)值。在本文中使用的是 Spark Mllib 中的 L-BFGS機(jī)器學(xué)習(xí)函數(shù)，L-BFGS 的具體原理和在 Spark 上的應(yīng)用可參考[6][35]。

圖 2-6 Spark 組成圖xtWorker NodeExecutorCTask TWorker NodeExecutorCTask TCluster Manager


本文編號：2994881