隨著Web3.0時代的逐步到來,去中心化的互聯(lián)網(wǎng)應用對人工智能和搜索引擎技術(shù)提出了更高的要求。自然語言處理作為人工智能與搜索引擎的基礎步驟之一,需保證處理過程的正確性、快速性及穩(wěn)定性。但自然語言處理本質(zhì)是一個多邊緣的交叉學科,在理論與實踐方面均有相當?shù)膹碗s性,大大增加了相關應用的開發(fā)難度。通過借鑒開放平臺的服務理念,將復用程度較高的算法抽象出來,形成功能分明的能力,以Open API（Application Programming Interface）的形態(tài)提供給第三方開發(fā)者使用,可以顯著降低自然語言處理應用的開發(fā)門檻,從而提升工業(yè)界的生產(chǎn)力。本文將自然語言處理與開放平臺相結(jié)合,設計并實現(xiàn)了自然語言處理能力開放平臺。本文將開放平臺劃分成了服務接入層、平臺層、算法層、通信層與門戶系統(tǒng)。在服務接入層,基于Oauth2.0標準實現(xiàn)了鑒權(quán)機制,通過HTTPS協(xié)議保證了網(wǎng)絡安全通信,著重對比了漏桶算法與令牌桶算法在解決流控問題時的基本思想與適用場景,并基于令牌桶算法實現(xiàn)了服務維度與調(diào)用方維度的限頻策略、限時策略與白名單過濾策略;在平臺層,首先采用REST（Representational Sta... 

【文章來源】：北京郵電大學北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：91 頁

【學位級別】：碩士

【部分圖文】：

圖２－１?ＲＰＣ執(zhí)行流程［ｎ］??首先業(yè)務程序調(diào)用ｃｌｉｅｎｔ?ｆｕｎｃｔｉｏｎｓ發(fā)起ＲＰＣ請求，再由客戶端句柄ｃｌｉｅｎｔ?ｓｔｕｂ??

Ｐｒｏｄｕｃｅｒ?將?Ｍｅｓｓａｇｅ?發(fā)送至?Ｂｒｏｋｅｒ，再由?Ｃｏｎｓｕｍｅｒ??從Ｂｒｏｋｅｒ中拉取數(shù)據(jù)消息??上述組件互相依賴與交互構(gòu)成了?Ｋａｋｆａ集群架構(gòu)，如圖２－２所示，由位于前??端的Ｐｒｏｄｕｃｅｒ節(jié)點通過ｐｕｓｈ的方式將消息發(fā)送至Ｂｒｏｋｅｒ節(jié)點，位于后端的??Ｃｏｎｓｕｍｅｒ節(jié)點主動ｐｕｌｌ的方式拉取Ｂｒｏｋｅｒ節(jié)點上的消息進行消費，并由??ＺｏｏＫｅｅｐｅｒ負責協(xié)調(diào)Ｂｒｏｋｅｒ與Ｃｏｎｓｕｍｅｒ的動態(tài)加入與離開，也管理Ｔｏｐｉｃ與??Ｂｒｏｋｅｒ的映射關系，提供給Ｐｒｏｄｕｃｅｒ注冊Ｗａｔｃｈｅｒ以便實時推送Ｔｏｐｉｃ的Ｐａｒｔｉｔｉｏｎ??信息，同時維護所有節(jié)點的心跳。?????Ｐｒｏｄｕｃｅｒ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｎｔ?Ｅｎｄ?Ｆｒｏｍ?Ｅｎｄ??ｐｕｓｈ＼?一一一一?／?ｐｕｓｉｒ＂??Ｂｒｏｋｅｒ?（?Ｋａｆｋａ?）?丨ＩＣａｆｋａＪ?（＾ＫａｆｋａＪ?ＺｏｏＫｅｅｐｅｒ?Ｕ??ｐｕｌｌ?ｐｕｌｌ?／?＾＼ｐｕｌｌ?＼＾ｐｕｌｌ?，?、、、｜?＼??ｒ?Ｈａｄｏｏｐ?Ｒｅａｌ－ｔｉｍｅ?Ｏｔｈｅｒ?Ｄａｔａ?／?／?／?／??ｏｎｓｕｍｅｒ?Ｃｌｕｓｔｅｒ?ｍｏｎｉｔｏｒｉｎｇ?Ｓｅｒｖｉｃｅ?Ｗａｒｅｈｏｕｓｅ?ｙ?／?／?／??—?ｔ－?——ｒ?？?

從計算機視角對漏桶算法的描述為：到達的流量首先進入緩存隊列，再隊列以恒定的出隊速率放行流量，累積緩存的流量大小不超過隊列容量，滿，則對超出部分的流量進行降級處理。需要說明的是，流量既可表示數(shù)可表示請求，具體視業(yè)務需求而定，在本平臺中均針對請求。假設漏桶總５，當前容量為流量的平均到達速率為／？，恒定放行速率為７＼則當１位的流量到達時的算法執(zhí)行流程為：??Ｓｔｅｐｌ若＆?＋?１＞５，轉(zhuǎn)Ｓｔｅｐ３；若Ｚ７?＋?１Ｓ５，流量入隊，等至放行后轉(zhuǎn)ＳｔｅｐＳｔｅｐ２流量出隊并放行，緩存隊列容量減１，轉(zhuǎn)Ｓｔｅｐ４；??ＳｔｅＰ３按業(yè)務場景選擇降級策略？．丟棄流量、緩存至等待隊列待令牌桶夠時處理、對流量做特殊標記當網(wǎng)絡過載時丟棄。轉(zhuǎn)Ｓｔｅｐ４；??Ｓｔｅｐ４處理后續(xù)到達的流量，轉(zhuǎn)Ｓｔｅｐｌ。??從漏桶算法的流程可以總結(jié)出：理想情況下，當時，漏桶的當前持為６?＝?０，即不產(chǎn)生流量堆積，全過程的放行速率固定為ｒ；當時，當長的時間段內(nèi)，漏桶的當前容量由變化至即從未滿變出，全過程的放行速率固定為ｒ。因此無論網(wǎng)絡流量的到達速率如何，漏

【參考文獻】：
期刊論文
[1]深度學習原理及應用綜述[J]. 付文博,孫濤,梁藉,閆寶偉,范福新.  計算機科學. 2018(S1)
[2]自然語言處理中的深度學習:方法及應用[J]. 林奕歐,雷航,李曉瑜,吳佳.  電子科技大學學報. 2017(06)
[3]基于Spark Streaming的實時數(shù)據(jù)分析系統(tǒng)及其應用[J]. 韓德志,陳旭光,雷雨馨,戴永濤,張肖.  計算機應用. 2017(05)
[4]基于keepalived的高可用性應用研究[J]. 汪海洋,凌永興,包麗紅,姚萌萌.  電子技術(shù). 2014(07)
[5]開放平臺解決方案及其安全策略研究[J]. 朱蔚恒,周偉,龍舜.  計算機工程. 2012(12)
[6]開放平臺:運營模式與技術(shù)架構(gòu)研究綜述[J]. 馬琳,宋俊德,宋美娜.  電信科學. 2012(06)
[7]基于OAuth2.0的認證授權(quán)技術(shù)[J]. 時子慶,劉金蘭,譚曉華.  計算機系統(tǒng)應用. 2012(03)
[8]Linux系統(tǒng)中網(wǎng)絡I/O性能改進方法的研究[J]. 李濤,房鼎益,陳曉江,馮健.  計算機工程. 2008(23)
[9]基于Web應用的性能測試與優(yōu)化[J]. 蘇波,李克文.  計算機工程與設計. 2007(18)
[10]基于Java的對象池技術(shù)的設計和實現(xiàn)[J]. 刁冬坡,陳平,張立勇,杜軍朝.  計算機應用與軟件. 2006(02)

碩士論文
[1]基于Nginx的高并發(fā)訪問服務器的研究與應用[D]. 陳大才.中國科學院大學(中國科學院沈陽計算技術(shù)研究所) 2018
[2]基于令牌桶算法的流量控制服務的設計與實現(xiàn)[D]. 仲思惠.大連理工大學 2016
[3]自然語言處理平臺化軟件的設計與實現(xiàn)[D]. 劉桐仁.東南大學 2015
[4]分布式日志系統(tǒng)的設計與實現(xiàn)[D]. 楊華輝.北京郵電大學 2015
[5]基于ZooKeeper的分布式處理框架的研究與實現(xiàn)[D]. 譚玉靖.北京郵電大學 2014



本文編號：3415998