視覺常識推理VCR (Visual Commonsense Reasoning )是人工智能領(lǐng)域的前沿熱點問題，從處理類型單一的數(shù)據(jù)到跨媒體認知、學(xué)習和推理的“跨媒體智能”被認為是五大智能方向。

近日，騰訊微視視頻理解團隊在多模態(tài)理解領(lǐng)域最權(quán)威排行榜之一VCR任務(wù)中榮登榜首。該團隊提出的BLENDer(BimodaL ENcoDer)模型超越多家研究機構(gòu)的模型效果，一舉成為單、多模型的三項指標第一，值得注意的是，BLENDer僅憑單模型效果便超越了此前榜單上的多模型最好效果，賦予了機器更強大的理解和認知能力，并深度應(yīng)用到短視頻領(lǐng)域。

VisualCommonsense Reasoning (VCR)任務(wù)于2018年由華盛頓大學(xué)的研究人員首次提出，任務(wù)旨在將圖像和自然語言理解二者結(jié)合，驗證多模態(tài)模型高階認知和常識推理的能力，讓機器擁有“看圖說話”的能力,例如VCR能夠通過圖片中人物的行為，進一步推理出其動機、情緒等信息。VCR榜單是多模態(tài)理解領(lǐng)域最權(quán)威的排行榜之一，也是當前圖像理解和多模態(tài)領(lǐng)域?qū)哟巫钌?、門檻最高的任務(wù)之一，吸引了微軟、谷歌、Facebook、百度、UCLA等國內(nèi)外公司和研究機構(gòu)紛紛參與。

據(jù)相關(guān)負責人介紹，BLENDer模型賦予了平臺更強大的認知能力，使得包含文本、音頻、視頻等多種媒體信息在內(nèi)的短視頻內(nèi)容，能夠更好的做到分類和識別，更加精準理解和挖掘這些海量的跨媒體信息。

在BLENDer模型中，第一階段以NLP中的Bert模型為起點，結(jié)合海量數(shù)據(jù)中抽取得到的數(shù)百萬張圖片和對應(yīng)描述文本作為BLENDer的輸入進行多模態(tài)訓(xùn)練;第二階段，在視覺常識推理數(shù)據(jù)集上學(xué)習電影中的場景和情節(jié)，使模型在新數(shù)據(jù)上獲得更好的遷移能力;第三階段，引入最終問答任務(wù)，讓BLENDer利用已有的知識和常識對現(xiàn)有問題進行人物-人物、人物-場景之間關(guān)系的挖掘和關(guān)聯(lián)進行推理，得到最終的答案。

未來，人工智能將具備更加多元、深度的交流學(xué)習能力，而技術(shù)的創(chuàng)新和精進將進一步推動AI技術(shù)在短視頻業(yè)務(wù)中智能交互場景的落地。(張銘陽)

關(guān)鍵詞： 中國團隊 視覺常識推理