本文關鍵詞：基于AUC的分類器性能評估問題研究

  更多相關文章： 機器學習 AUC 分類模型 錯誤代價 實例得分

【摘要】：近幾十年來,隨著計算機技術的飛速發(fā)展,人工智能被人們廣泛關注和深入研究,其分支機器學習也快速崛起并已經(jīng)滲透到社會的各個領域。其中,分類模型是其重要研究方向,分類模型的性能一般用準確率和召回率來衡量。然而,當數(shù)據(jù)集的類別分布不平衡時,準確率和召回率并不能保證分類模型性能評估的準確性。ROC(Receiver Operating Characteristic,接收者操作特征曲線)評估算法衡量了分類模型在任何數(shù)據(jù)集類別分布情況下的性能,并用AUC(area under the curve,曲線下方面積)量化ROC曲線性能。由于數(shù)據(jù)集類別分布比例的不確定性,ROC曲線在分類模型性能評估中變得越來越重要。ROC和AUC在分類模型性能評估中已經(jīng)得到廣泛應用,但普通的AUC和ROC卻存在一些缺陷:首先是公認的AUC的計算只利用得分排序而忽略了得分值;然后是AUC對分類錯誤代價是弱敏感的,分類模型性能會因為錯誤代價而存在很大差別。所以,本文將分兩部分進行討論。第一部分針對得分值提出了切割點和切割函數(shù)的概念,進而提出sor ROC曲線和sor AUC:根據(jù)P-N對設置切割點和切割函數(shù),最終得到sor ROC曲線,sor AUC即為sor ROC曲線下方面積;第二部分基于假正例和假負例,從不同錯誤代價的角度提出v AUC和v ROC的概念:將v AUC看做一塊厚度均勻且各個區(qū)域密度不同的1*1的板子,用ROC對其進行切割,剩下板子質(zhì)量即為v AUC。在提出新算法之后,本文提出算法相關的幾條定義,然后從理論上推導證明了算法的若干性質(zhì)并用一個簡單的實例說明了新算法和普通AUC、ROC的優(yōu)劣。最后,本文使用UCI數(shù)據(jù)集對新算法和AUC進行對比實驗。實驗分為兩個部分:第一部分將sor AUC和AUC、s AUC、p AUC作對比實驗,實驗表明sor AUC比AUC更精確,并且與s AUC、p AUC具有相同的性能評估能力,而且sor ROC曲線的繪制比p ROC曲線更簡單、可靠;第二部分將v AUC和AUC、s AUC、p AUC進行對比實驗,實驗表明:v AUC充分利用了樣本實例的錯誤代價,使其對分類模型的評估更精確,也更具針對性。在錯分代價不同的情況下,v AUC具有更好的性能評估能力,也更接近于真實的結(jié)果。
【關鍵詞】：機器學習 AUC 分類模型 錯誤代價 實例得分
【學位授予單位】：吉林大學
【學位級別】：碩士
【學位授予年份】：2016
【分類號】：TP181
【目錄】：

• 摘要4-6
• Abstract6-10
• 第1章 緒論10-17
• 1.1 研究背景及選題意義10-12
• 1.2 國內(nèi)外研究現(xiàn)狀12-15
• 1.2.1 關于分類器的研究12-14
• 1.2.2 關于分類模型評估算法的研究14-15
• 1.3 論文結(jié)構(gòu)15-17
• 第2章 ROC曲線及AUC17-27
• 2.1 混淆矩陣17-18
• 2.2 ROC曲線18-19
• 2.3 曲線下方面積19-22
• 2.4 ROC的生成及AUC的計算22-25
• 2.5 ROC曲線生成算法25-27
• 第3章 基于得分的ROC和AUC27-33
• 3.1 考慮得分的AUC27-28
• 3.2 sor AUC定義28-30
• 3.3 sor ROC的繪制和sor AUC的計算30-33
• 第4章 基于誤分代價的ROC和AUC33-41
• 4.1 誤分代價AUC33-34
• 4.2 v AUC定義34-38
• 4.3 vROC繪制及v AUC計算38-41
• 第5章 實驗結(jié)果與分析41-50
• 5.1 sor AUC實驗結(jié)果與分析41-45
• 5.1.1 數(shù)據(jù)集及參數(shù)設置41
• 5.1.2 評估算法比較41-45
• 5.2 vAUC實驗結(jié)果與分析45-50
• 5.2.1 數(shù)據(jù)集及參數(shù)設置45-46
• 5.2.2 評估算法比較46-48
• 5.2.3 假正例代價和假負例代價48-50
• 第6章 結(jié)論與展望50-52
• 參考文獻52-55
• 作者簡介及在學期間所取得的科研成果55-56
• 致謝56

【相似文獻】

中國碩士學位論文全文數(shù)據(jù)庫 前1條

1 蔣帥;基于AUC的分類器性能評估問題研究[D];吉林大學;2016年

，

本文編號：515571