飲食記錄是飲食管理的關(guān)鍵環(huán)節(jié)。為了簡化記錄過程,研究者提出了基于食物圖片的食譜檢索技術(shù),通過拍攝的圖片檢索到對應(yīng)食譜,并據(jù)此生成營養(yǎng)信息,從而提高了記錄的便捷性。食譜檢索是典型的跨模態(tài)檢索問題,但與一般問題相比,其主要難點(diǎn)是食譜描述了從原材料到成品的一系列變化過程,而非直接可見的特征,因此模型需要深入理解原材料的處理過程。而當(dāng)前食譜檢索研究工作采用線性方式處理文本,導(dǎo)致其捕捉食譜處理過程中的遠(yuǎn)距離依賴現(xiàn)象的能力較差。針對這個問題,設(shè)計了一種基于自注意力機(jī)制的跨模態(tài)食譜檢索模型。該模型借助Transformer模型中的自注意力機(jī)制,捕捉食譜中遠(yuǎn)距離的依賴關(guān)系,同時改進(jìn)了傳統(tǒng)方法中的注意力機(jī)制,可以更好地挖掘食譜中的語義。實(shí)驗(yàn)結(jié)果表明,該模型在食譜檢索任務(wù)的召回率上比基線方法提高了22%。

【文章頁數(shù)】：11 頁

【文章目錄】：
1 引言
2 相關(guān)工作
    2.1 跨模態(tài)檢索
    2.2 食譜檢索
3 模型設(shè)計
    3.1 模型框架概覽
    3.2 文字編碼模塊
        3.2.1 Transformer模型
        3.2.2 標(biāo)題編碼
        3.2.3 原材料編碼
        3.2.4 步驟編碼
        3.2.5 環(huán)境向量的選擇
        3.2.6 文字整體編碼
    3.3 圖片編碼模塊
    3.4 聯(lián)合嵌入模塊
    3.5 損失函數(shù)
    3.6 模型訓(xùn)練
4 實(shí)驗(yàn)驗(yàn)證
    4.1 數(shù)據(jù)集
    4.2 實(shí)驗(yàn)設(shè)置
        4.2.1 實(shí)現(xiàn)細(xì)節(jié)
        4.2.2 評價指標(biāo)
    4.3 結(jié)果比較
    4.4 對照實(shí)驗(yàn)
        4.4.1 注意力機(jī)制
        4.4.2 消融研究
        4.4.3 參數(shù)靈敏度實(shí)驗(yàn)
5 總結(jié)與期望



本文編號：3802483