基于WEB的某社交網(wǎng)站SPAM評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
本文關(guān)鍵詞:基于WEB的某社交網(wǎng)站SPAM評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),由筆耕文化傳播整理發(fā)布。
【摘要】:隨著網(wǎng)絡(luò)的大規(guī)模普及,國(guó)內(nèi)外涌現(xiàn)出了大量的社交網(wǎng)站平臺(tái),其中以face book、微博、百度貼吧、天涯社區(qū)等為代表。這些網(wǎng)站有一個(gè)共同點(diǎn),那就是都屬于UGC (User Generated Content)—用戶原創(chuàng)內(nèi)容類型的網(wǎng)站平臺(tái)。這類網(wǎng)站上內(nèi)容主要是依賴用戶創(chuàng)造生成,每一個(gè)網(wǎng)站用戶都可以隨心所欲的生成發(fā)表自己的內(nèi)容。利用這種產(chǎn)出方式,這類網(wǎng)站的內(nèi)容會(huì)迅速膨脹,形成一個(gè)多、廣、專的局面,有力地促進(jìn)了知識(shí)的積累和傳播。 以目前全球最大的中文社區(qū)網(wǎng)站-百度貼吧為例,百度貼吧經(jīng)過(guò)10年的發(fā)展,已經(jīng)擁有幾億的注冊(cè)用戶,創(chuàng)建的貼吧數(shù)量有上百萬(wàn)個(gè),每天新增的話題貼近億。貼吧有如此巨大的用戶群體,并且由于屬于UGC類社交網(wǎng)站,每一個(gè)用戶都可以生成自己個(gè)性化的內(nèi)容,所以在有效進(jìn)行知識(shí)傳播的同時(shí),不可避免的會(huì)出現(xiàn)大量不健康(色情、暴力、反動(dòng))、廣告?zhèn)麂N、虛假欺詐等令用戶反感、侵害正常用戶權(quán)益甚至違法犯罪的垃圾內(nèi)容。在互聯(lián)網(wǎng)行業(yè),人們稱這些垃圾內(nèi)容為‘'spam"或者“作弊內(nèi)容”;那些在網(wǎng)上發(fā)布這些spam的人被稱為“作弊者”;如果一個(gè)正常用戶在瀏覽網(wǎng)頁(yè)的過(guò)程中,看到了這些垃圾內(nèi)容,那么我們稱用戶的這次瀏覽行為“被污染”了。 為了盡可能既快又準(zhǔn)的從上億條的數(shù)據(jù)中發(fā)現(xiàn)識(shí)別出垃圾內(nèi)容,以保證網(wǎng)站的正常用戶在使用網(wǎng)站服務(wù)時(shí)能更快更便捷的獲取自己的所求,就需要能及時(shí)準(zhǔn)確地掌握這些垃圾內(nèi)容在網(wǎng)站上所占的比例(作弊率)、對(duì)正常用戶的影響程度(污染率)以及作弊者所發(fā)垃圾內(nèi)容的共同特征和所屬類型。這樣才能以很小的人力成本及時(shí)高效地清理掉這些垃圾內(nèi)容,減少其對(duì)正常用戶的負(fù)面影響,提高用戶的產(chǎn)品體驗(yàn)。 目前,以貼吧為例,人工評(píng)估一次作弊率大約需要1天/人次,包括評(píng)估數(shù)據(jù)的獲取,人工審查數(shù)據(jù),手工計(jì)算作弊率。用戶污染率更是無(wú)法評(píng)估。而統(tǒng)計(jì)一次垃圾內(nèi)容的共同特征(如帶有文字廣告、圖片等),再將其分類,這個(gè)過(guò)程更是需要幾天的時(shí)間。這種評(píng)估方式不僅繁瑣耗時(shí)耗人力,而且評(píng)估統(tǒng)計(jì)出的結(jié)果準(zhǔn)確率不高,也不能保證時(shí)效性,致使工程師們不能及時(shí)準(zhǔn)確地掌握作弊率和新出現(xiàn)的各種垃圾內(nèi)容的特征類別,從而不能及時(shí)高效地調(diào)整應(yīng)對(duì)策略清除這些垃圾內(nèi)容數(shù)據(jù)。即使統(tǒng)計(jì)出來(lái)了,作弊者也已經(jīng)發(fā)布了大量的垃圾內(nèi)容到網(wǎng)站上,已經(jīng)對(duì)正常用戶造成了不可挽回的身心權(quán)益?zhèn)?大大影響了正常用戶的體驗(yàn),有可能導(dǎo)致正常用戶的流失。 為了解決評(píng)估周期長(zhǎng)、成本高、準(zhǔn)確率低的問(wèn)題,本論文基于WEB設(shè)計(jì)并實(shí)現(xiàn)一個(gè)可快速準(zhǔn)確的評(píng)估出各項(xiàng)指標(biāo)的貼吧SPAM評(píng)估系統(tǒng)。本系統(tǒng)采用B/S模式,使用MVC開(kāi)發(fā)框架結(jié)構(gòu),基于PHP+Mysql+Apache+Linux設(shè)計(jì)并實(shí)現(xiàn)一個(gè)集數(shù)據(jù)抽取、評(píng)估功能、統(tǒng)計(jì)報(bào)表于一體的系統(tǒng)。 本論文設(shè)計(jì)實(shí)現(xiàn)的評(píng)估系統(tǒng),將會(huì)大大簡(jiǎn)化人工評(píng)估的繁瑣過(guò)程,縮短評(píng)估的周期,將評(píng)估周期由原來(lái)的2天縮短為2小時(shí)/人次。系統(tǒng)實(shí)現(xiàn)了評(píng)估數(shù)據(jù)獲取和統(tǒng)計(jì)的自動(dòng)化,評(píng)估的各項(xiàng)指標(biāo)可由報(bào)表自動(dòng)生成,同時(shí)保證了評(píng)估統(tǒng)計(jì)結(jié)果的準(zhǔn)確性。為工程師及時(shí)掌握SPAM情況、制定相應(yīng)的策略手段清理垃圾內(nèi)容提供準(zhǔn)確完備的數(shù)據(jù)支持。
【關(guān)鍵詞】:垃圾內(nèi)容 評(píng)估系統(tǒng) 作弊率 PV污染率
【學(xué)位授予單位】:山東大學(xué)
【學(xué)位級(jí)別】:碩士
【學(xué)位授予年份】:2014
【分類號(hào)】:TP393.092
【目錄】:
- 摘要8-10
- ABSTRACT10-12
- 第1章 緒論12-18
- 1.1 SPAM評(píng)估系統(tǒng)開(kāi)發(fā)背景12-13
- 1.2 當(dāng)前現(xiàn)狀13-14
- 1.3 解決的主要問(wèn)題14-16
- 1.4 本文的主要工作16-17
- 1.5 論文的組織結(jié)構(gòu)17-18
- 第2章 SPAM評(píng)估系統(tǒng)需求分析18-27
- 2.1 SPAM評(píng)估系統(tǒng)概述18-19
- 2.1.1 SPAM評(píng)估系統(tǒng)項(xiàng)目背景18
- 2.1.2 SPAM評(píng)估系統(tǒng)項(xiàng)目說(shuō)明18-19
- 2.2 SPAM評(píng)估系統(tǒng)項(xiàng)目目標(biāo)和需解決的問(wèn)題19-20
- 2.2.1 SPAM評(píng)估系統(tǒng)項(xiàng)目目標(biāo)19
- 2.2.2 開(kāi)發(fā)SPAM評(píng)估系統(tǒng)項(xiàng)目需解決的問(wèn)題19-20
- 2.3 SPAM評(píng)估系統(tǒng)項(xiàng)目需求問(wèn)題描述20-27
- 2.3.1 項(xiàng)目需求獲取來(lái)源20
- 2.3.2 項(xiàng)目功能性需求20-25
- 2.3.3 項(xiàng)目非功能性需求25-27
- 第3章 SPAM評(píng)估系統(tǒng)總體設(shè)計(jì)27-31
- 3.1 SPAM評(píng)估系統(tǒng)設(shè)計(jì)原則和目標(biāo)27
- 3.2 SPAM評(píng)估系統(tǒng)整體架構(gòu)設(shè)計(jì)27-28
- 3.3 SPAM評(píng)估系統(tǒng)功能架構(gòu)設(shè)計(jì)28-31
- 3.3.1 SPAM評(píng)估系統(tǒng)功能組成28-29
- 3.3.2 SPAM評(píng)估系統(tǒng)功能模塊劃分29-31
- 第4章 SPAM評(píng)估系統(tǒng)詳細(xì)設(shè)計(jì)31-47
- 4.1 SPAM評(píng)估系統(tǒng)建模31-34
- 4.1.1 SPAM評(píng)估系統(tǒng)整體模型結(jié)構(gòu)設(shè)計(jì)31-32
- 4.1.2 SPAM評(píng)估系統(tǒng)邏輯分層結(jié)構(gòu)設(shè)計(jì)32-34
- 4.2 SPAM評(píng)估系統(tǒng)數(shù)據(jù)庫(kù)設(shè)計(jì)34-39
- 4.2.1 SPAM評(píng)估系統(tǒng)數(shù)據(jù)庫(kù)E-R圖設(shè)計(jì)34-35
- 4.2.2 SPAM評(píng)估系統(tǒng)數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)35-39
- 4.3 SPAM評(píng)估系統(tǒng)功能模塊詳細(xì)設(shè)計(jì)39-47
- 4.3.1 SPAM評(píng)估系統(tǒng)數(shù)據(jù)獲取模塊設(shè)計(jì)39-41
- 4.3.2 SPAM評(píng)估系統(tǒng)數(shù)據(jù)評(píng)估模塊設(shè)計(jì)41-44
- 4.3.3 SPAM評(píng)估系統(tǒng)統(tǒng)計(jì)分析模塊設(shè)計(jì)44-47
- 第5章 SPAM評(píng)估系統(tǒng)實(shí)現(xiàn)47-61
- 5.1 SPAM評(píng)估系統(tǒng)開(kāi)發(fā)工具和部署環(huán)境47-50
- 5.1.1 SPAM評(píng)估系統(tǒng)開(kāi)發(fā)工具47-50
- 5.1.2 SPAM評(píng)估系統(tǒng)部署環(huán)境50
- 5.2 SPAM評(píng)估系統(tǒng)代碼結(jié)構(gòu)50-53
- 5.3 SPAM評(píng)估系統(tǒng)總體實(shí)現(xiàn)效果53-61
- 第6章 總結(jié)61-62
- 參考文獻(xiàn)62-64
- 致謝64-65
- 攻讀學(xué)位期間取得的科研成果65-66
- 學(xué)位論文評(píng)閱及答辯情況表66
【參考文獻(xiàn)】
中國(guó)期刊全文數(shù)據(jù)庫(kù) 前6條
1 李步升;胡靜芳;;基于Web的高校運(yùn)動(dòng)會(huì)管理信息系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J];電腦編程技巧與維護(hù);2011年16期
2 劉永增;張曉景;李先毅;;基于Hadoop/Hive的web日志分析系統(tǒng)的設(shè)計(jì)[J];廣西大學(xué)學(xué)報(bào)(自然科學(xué)版);2011年S1期
3 譚力;楊宗源;謝瑾奎;;Ajax技術(shù)的數(shù)據(jù)響應(yīng)優(yōu)化[J];計(jì)算機(jī)工程;2010年07期
4 仰燕蘭;金曉雪;葉樺;;ASP.NET AJAX框架研究及其在Web開(kāi)發(fā)中的應(yīng)用[J];計(jì)算機(jī)應(yīng)用與軟件;2011年06期
5 王云;郭外萍;陳承歡;;Web項(xiàng)目中的SQL注入問(wèn)題研究與防范方法[J];計(jì)算機(jī)工程與設(shè)計(jì);2010年05期
6 劉華星;楊庚;;HTML5——下一代Web開(kāi)發(fā)標(biāo)準(zhǔn)研究[J];計(jì)算機(jī)技術(shù)與發(fā)展;2011年08期
本文關(guān)鍵詞:基于WEB的某社交網(wǎng)站SPAM評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn),由筆耕文化傳播整理發(fā)布。
,本文編號(hào):320323
本文鏈接:http://www.sikaile.net/wenyilunwen/guanggaoshejilunwen/320323.html