自從19世紀(jì)初勒讓德提出線性最小二乘問題以來,諸多數(shù)學(xué)家已經(jīng)就它的意義、誤差分析及解法進(jìn)行了廣泛的研究,但基于高等代數(shù)理論的解法在許多資料上只有零散的討論,為此提出了一種基于高等代數(shù)理論的線性最小二乘問題的解法。基于嚴(yán)格的證明,得到了適用于數(shù)據(jù)集為列滿秩和非列滿秩時(shí)的解法,并進(jìn)一步推算出解集中的最優(yōu)最小二乘解。實(shí)驗(yàn)證明該算法確實(shí)可以得到最優(yōu)最小二乘解,并且在數(shù)據(jù)集屬性數(shù)較少的情況下優(yōu)于負(fù)梯度下降法。 

【文章來源】：東莞理工學(xué)院學(xué)報(bào). 2020,27(05)

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

算法流程圖

不同特征占比的時(shí)間開銷

圖4展示了兩種算法在數(shù)據(jù)集記錄數(shù)為1 000的前提下，不同數(shù)據(jù)集屬性數(shù)的時(shí)間開銷結(jié)果。由圖4可知屬性數(shù)小于355時(shí)高代法更快，大于355時(shí)負(fù)梯度下降法更快，說明高代法適用于數(shù)據(jù)集屬性數(shù)較少的情況，這驗(yàn)證了本文的復(fù)雜度分析。應(yīng)該注意的是兩種算法的分界點(diǎn)不是固定的，與數(shù)據(jù)集、負(fù)梯度下降法的循環(huán)次數(shù)以及學(xué)習(xí)率有關(guān)。圖5展示了兩種算法在數(shù)據(jù)集屬性數(shù)為350的前提下，不同數(shù)據(jù)集記錄數(shù)的時(shí)間開銷結(jié)果，由曲線的增長(zhǎng)趨勢(shì)可知，兩種算法的記錄數(shù)與時(shí)間開銷呈線性增長(zhǎng)關(guān)系。圖4 不同屬性數(shù)的時(shí)間開銷對(duì)比

【參考文獻(xiàn)】：
期刊論文
[1]線性方程組求解及應(yīng)用[J]. 石擎天,黃坤陽.  教育教學(xué)論壇. 2020(12)
[2]歐氏空間的子空間的正交系與正交補(bǔ)[J]. 陳之輝,于榮格.  滄州師范學(xué)院學(xué)報(bào). 2019(01)
[3]線性流形上埃爾米特自反矩陣反問題的最小二乘解及其最佳逼近[J]. 王學(xué)鋒,王江濤.  東莞理工學(xué)院學(xué)報(bào). 2015(05)
[4]初等變換的關(guān)系及可逆矩陣的分解[J]. 張新發(fā).  大學(xué)數(shù)學(xué). 2003(02)
[5]非線性最小二乘問題的一種迭代解法[J]. 鄭洲順,普樂.  數(shù)學(xué)理論與應(yīng)用. 2002(01)
[6]最小二乘法的歷史回顧與現(xiàn)狀[J]. 陳希孺.  中國(guó)科學(xué)院研究生院學(xué)報(bào). 1998(01)



本文編號(hào)：3484692