發(fā)布時(shí)間：2021-08-07 23:07

　　近年來(lái),自動(dòng)駕駛技術(shù)飛速發(fā)展,但自動(dòng)駕駛系統(tǒng)目前仍存在較大不穩(wěn)定性,需要通過(guò)海量的駕駛場(chǎng)景庫(kù)數(shù)據(jù)來(lái)構(gòu)建虛擬場(chǎng)景,以進(jìn)行全面嚴(yán)格的測(cè)試評(píng)價(jià)。業(yè)內(nèi)各公司機(jī)構(gòu)受限于數(shù)據(jù)采集、維護(hù)成本較高,缺乏一個(gè)提供統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)的自動(dòng)駕駛數(shù)據(jù)平臺(tái)。國(guó)汽智能網(wǎng)聯(lián)汽車研究院為此牽頭業(yè)內(nèi)多家公司,設(shè)計(jì)并實(shí)現(xiàn)了自動(dòng)駕駛場(chǎng)景庫(kù)數(shù)據(jù)系統(tǒng)。該系統(tǒng)集成了對(duì)采集數(shù)據(jù)的預(yù)處理、存儲(chǔ)、標(biāo)注和統(tǒng)計(jì)分析等功能,為相關(guān)算法提供訓(xùn)練、測(cè)試數(shù)據(jù)集,為虛擬仿真環(huán)境提供測(cè)試用例數(shù)據(jù)。本文主要分析了自動(dòng)駕駛場(chǎng)景庫(kù)數(shù)據(jù)系統(tǒng)的業(yè)務(wù)需求,闡述了系統(tǒng)數(shù)據(jù)校驗(yàn)提交、數(shù)據(jù)標(biāo)注和數(shù)據(jù)統(tǒng)計(jì)分析三個(gè)功能模塊的設(shè)計(jì)和實(shí)現(xiàn)。系統(tǒng)基于B/S結(jié)構(gòu)模式,采用前后端分離的開發(fā)方式,分層次設(shè)計(jì)實(shí)現(xiàn)。數(shù)據(jù)校驗(yàn)提交模塊負(fù)責(zé)校驗(yàn)采集數(shù)據(jù)的格式,對(duì)校驗(yàn)通過(guò)并提交的采集數(shù)據(jù)進(jìn)行預(yù)處理,清洗異常值和缺失值,最后將處理后的數(shù)據(jù)整合存儲(chǔ)。該模塊基于Spark計(jì)算平臺(tái)執(zhí)行數(shù)據(jù)預(yù)處理和整合的計(jì)算任務(wù),針對(duì)不同數(shù)據(jù)的特性整合FastDFS、ElasticSearch和HBase組件實(shí)現(xiàn)數(shù)據(jù)分布式存儲(chǔ)。數(shù)據(jù)標(biāo)注模塊負(fù)責(zé)對(duì)圖像、點(diǎn)云等數(shù)據(jù)執(zhí)行目標(biāo)檢測(cè)、語(yǔ)義分割等多種標(biāo)注任務(wù),執(zhí)行過(guò)程采用先算法預(yù)標(biāo)注,... 

【文章來(lái)源】：南京大學(xué)江蘇省 211工程院校 985工程院校 教育部直屬院校

【文章頁(yè)數(shù)】：80 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖２．１?ＦａｓｔＤＦＳ系統(tǒng)架構(gòu)圖??２．１．２?ＦａｓｔＤＦＳ文件上傳??ＦａｓｔＤＦＳ上傳文件時(shí)，流程如圖２．２所示

?／??＼?／??圖２．１?ＦａｓｔＤＦＳ系統(tǒng)架構(gòu)圖??２．１．２?ＦａｓｔＤＦＳ文件上傳??ＦａｓｔＤＦＳ上傳文件時(shí)，流程如圖２．２所示�？蛻舳耸紫刃枰�(qǐng)求跟蹤服務(wù)器??獲取可用的存儲(chǔ)服務(wù)器ｉｐ地址和ｐｏｒｔ端口號(hào)，然后客戶端根據(jù)返回信息，向存??儲(chǔ)服務(wù)器發(fā)出上傳文件請(qǐng)求，存儲(chǔ)服務(wù)器接收到請(qǐng)求后生成ｆｉｌｅＪｄ，并且將文件??內(nèi)容寫入磁盤，將ｆｉｌｅＪｄ、文件名、路徑信息等信息返回給客戶端，客戶端存儲(chǔ)??７??

可以將索引中的數(shù)據(jù)劃分為多個(gè)分片。默認(rèn)情況下，一個(gè)索引會(huì)創(chuàng)建??五個(gè)分片。為了提供系統(tǒng)可用性，每個(gè)分片可以配置多個(gè)副本分片，當(dāng)主分片出??現(xiàn)故障，會(huì)從副本分片中重新選舉主分片。如圖２．３所示，該集群有三個(gè)節(jié)點(diǎn)，??數(shù)據(jù)劃分為三個(gè)分片，每個(gè)數(shù)據(jù)分片各有兩個(gè)副本分片。根據(jù)主分片和副本分片??１０??

【參考文獻(xiàn)】：
期刊論文
[1]車載終端信息安全測(cè)評(píng)指標(biāo)體系研究[J]. 朱科屹,宋娟,葉璐,路鵬飛.  工業(yè)技術(shù)創(chuàng)新. 2018(06)
[2]基于Spark的飛機(jī)試驗(yàn)數(shù)據(jù)預(yù)處理技術(shù)研究[J]. 李利榮,孫立偉,楊浩,王曉棟,房紅征.  計(jì)算機(jī)測(cè)量與控制. 2018(12)
[3]基于FastDFS的數(shù)字媒體系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)技術(shù)研究[J]. 張祥俊,伍衛(wèi)國(guó).  計(jì)算機(jī)技術(shù)與發(fā)展. 2019(05)
[4]國(guó)內(nèi)外智能網(wǎng)聯(lián)汽車公共道路測(cè)試現(xiàn)狀和發(fā)展趨勢(shì)研究[J]. 和福建,石娟,秦孔建.  中國(guó)汽車. 2018(12)
[5]智能網(wǎng)聯(lián)汽車路測(cè)制度發(fā)展現(xiàn)狀與影響分析[J]. 左培文,臧金環(huán).  時(shí)代汽車. 2018(12)
[6]基于Spark的大數(shù)據(jù)分析工具Hive的研究[J]. 楊寧,黃婷婷.  計(jì)算機(jī)時(shí)代. 2018(11)
[7]利用Elastic Stack構(gòu)建集中運(yùn)維日志分析平臺(tái)[J]. 張鵬.  電子技術(shù)與軟件工程. 2018(15)
[8]基于ELK的日志分析系統(tǒng)研究及應(yīng)用[J]. 姚攀,馬玉鵬,徐春香.  計(jì)算機(jī)工程與設(shè)計(jì). 2018(07)
[9]Spark SQL優(yōu)化器系統(tǒng)Catalyst的深入解析和應(yīng)用[J]. 鄒學(xué)利.  決策咨詢. 2018(03)
[10]智能網(wǎng)聯(lián)汽車（ICV）技術(shù)的發(fā)展現(xiàn)狀及趨勢(shì)[J]. 李克強(qiáng),戴一凡,李升波,邊明遠(yuǎn).  汽車安全與節(jié)能學(xué)報(bào). 2017(01)

博士論文
[1]大數(shù)據(jù)處理技術(shù)與系統(tǒng)研究[D]. 顧榮.南京大學(xué) 2016



本文編號(hào)：3328713