本文選題：HSK考試 + 協(xié)同過濾�。� 參考：《江蘇大學(xué)》2017年碩士論文

【摘要】：HSK是指漢語水平等級考試,其目的是為測試母語為非漢語者的漢語水平而建立的官方國家級標(biāo)準(zhǔn)化考試。為此我們課題組于2013年開發(fā)了HSK漢語考試系統(tǒng),在北美、歐洲的多家孔子學(xué)院獲得應(yīng)用。經(jīng)過3年多的運(yùn)行,由于系統(tǒng)積累了大量的歷史用戶數(shù)據(jù),組卷速度在高并發(fā)條件下逐漸變慢,且當(dāng)時設(shè)計的HSK漢語系統(tǒng)對考生的個性化特征考慮不多,動態(tài)組卷的功能不強(qiáng)。針對上述問題,我們采用基于Hadoop生態(tài)圈的分布式存儲計算并行化地實(shí)現(xiàn)協(xié)同過濾推薦算法,通過分析考生行為數(shù)據(jù)進(jìn)行個性化的組卷。本文的主要研究內(nèi)容和工作如下:1.在分析了HSK漢語考試系統(tǒng)的功能需求的基礎(chǔ)上,采用B/S分層,規(guī)劃整體設(shè)計目標(biāo)、邏輯結(jié)構(gòu),實(shí)現(xiàn)了系統(tǒng)的核心模塊。2.針對HSK漢語考試系統(tǒng)中隨機(jī)組卷的不足,提出了基于物品的協(xié)同過濾組卷算法,為考生推薦個性化的試題。設(shè)計并實(shí)現(xiàn)了基于Hadoop平臺的協(xié)同過濾組卷,將計算任務(wù)分解為一系列MapReduce作業(yè)流程,在Hadoop平臺上進(jìn)行分布式處理。3.為了降低組卷模塊與系統(tǒng)其他模塊的邏輯耦合,設(shè)計并實(shí)現(xiàn)了基于消息隊列和Spark Streaming框架的數(shù)據(jù)收集系統(tǒng),通過Kafka消息隊列完成了考生實(shí)時評分記錄的轉(zhuǎn)換,并通過Streaming實(shí)時流處理模塊完成考生評分記錄的收集。
[Abstract]:HSK refers to the Chinese proficiency level examination, which is an official national standardized test established for the purpose of testing the Chinese proficiency of non-native speakers. Therefore, our team developed the HSK Chinese examination system in 2013, which has been applied to many Confucius institutes in North America and Europe. After running for more than three years, because the system has accumulated a large amount of historical user data, the speed of test paper formation has gradually become slower under the condition of high concurrency, and the HSK Chinese language system designed at that time has not considered many individualized features of examinees, and the function of dynamic composition test paper is not strong. To solve the above problems, we use distributed storage computing based on Hadoop ecosystem to implement collaborative filtering and recommendation algorithm, and analyze the data of examinee behavior to form individual test papers. The main contents and work of this paper are as follows: 1. Based on the analysis of the functional requirements of the HSK Chinese examination system, this paper adopts the B / S stratification, the overall design goal, the logical structure, and realizes the core module of the system. In order to solve the problem of random test composition in HSK Chinese examination system, a collaborative filtering algorithm based on articles is proposed to recommend individualized test questions for examinees. In this paper, we design and implement the collaborative filtering based on Hadoop platform, decompose the computing task into a series of MapReduce workflow, and process .3on the Hadoop platform. In order to reduce the logical coupling between the test paper generating module and other modules of the system, a data collection system based on message queue and Spark Streaming framework is designed and implemented. Through the Kafka message queue, the candidates' real-time score record conversion is completed. And through the Streaming real-time stream processing module to complete the examinee score record collection.
【學(xué)位授予單位】：江蘇大學(xué)
【學(xué)位級別】：碩士
【學(xué)位授予年份】：2017
【分類號】：TP311.52

【參考文獻(xiàn)】

相關(guān)期刊論文 前10條

1 肖剛;王昌達(dá);張文莉;;基于項目反應(yīng)理論的HSK自適應(yīng)分級考試系統(tǒng)[J];電子設(shè)計工程;2014年20期

2 刁雪強(qiáng);謝志偉;;基于WEB的在線考試系統(tǒng)設(shè)計與實(shí)現(xiàn)[J];黑龍江科技信息;2014年21期

3 龔建華;;JSON格式數(shù)據(jù)在Web開發(fā)中的應(yīng)用[J];辦公自動化;2013年20期

4 程小揚(yáng);丁樹良;朱隆尹;巫華芳;;等級評分模型下的最大信息量分層選題策略[J];江西師范大學(xué)學(xué)報(自然科學(xué)版);2012年05期

5 肖強(qiáng);朱慶華;鄭華;吳克文;;Hadoop環(huán)境下的分布式協(xié)同過濾算法設(shè)計與實(shí)現(xiàn)[J];現(xiàn)代圖書情報技術(shù);2013年01期

6 田軍;;淺談jQuery技術(shù)在Web開發(fā)中的應(yīng)用[J];電子世界;2012年24期

7 劉軍霞;熊選東;付建丹;;基于發(fā)布/訂閱的推模式服務(wù)調(diào)用[J];計算機(jī)系統(tǒng)應(yīng)用;2012年12期

8 張文濤;常紅星;;基于ASP.NET的B/S架構(gòu)下的項目管理系統(tǒng)的網(wǎng)絡(luò)安全模式設(shè)計[J];計算機(jī)科學(xué);2008年02期

9 袁敏;黃志球;馬瀟瀟;;一種主動式有狀態(tài)的Web時效索引機(jī)制[J];計算機(jī)應(yīng)用研究;2007年07期

10 王振操;;系統(tǒng)測試的應(yīng)用[J];信息技術(shù)與標(biāo)準(zhǔn)化;2007年07期

相關(guān)博士學(xué)位論文 前1條

1 譚昶;基于面向?qū)ο笏枷牒偷湫陀脩羧航M的個性化推薦方法研究[D];中國科學(xué)技術(shù)大學(xué);2014年

相關(guān)碩士學(xué)位論文 前5條

1 路小瑞;基于Hadoop平臺的職位推薦系統(tǒng)的設(shè)計與實(shí)現(xiàn)[D];上海交通大學(xué);2015年

2 郭韋昱;基于用戶行為分析的個性化推薦系統(tǒng)設(shè)計與實(shí)現(xiàn)[D];南京大學(xué);2012年

3 姜文;基于Hadoop平臺的數(shù)據(jù)分析和應(yīng)用[D];北京郵電大學(xué);2011年

4 徐江濤;基于遺傳算法的試題庫智能組卷研究[D];湖南師范大學(xué);2007年

5 姜火文;基于Web的自適應(yīng)考試系統(tǒng)的研究與實(shí)現(xiàn)[D];電子科技大學(xué);2006年

，

本文編號：1968529