今日,火山引擎發(fā)布豆包語音識(shí)別模型2.0(Doubao-Seed-ASR-2.0),依托Seed混合專家大語言模型架構(gòu)構(gòu)建。
據(jù)介紹,2.0版本模型推理能力提升,可以通過深度理解上下文完成精準(zhǔn)識(shí)別,上下文整體關(guān)鍵詞召回率提升20%。
同時(shí)支持多模態(tài)視覺識(shí)別,不僅“聽懂字”還能“看懂圖”,通過單圖和多圖等視覺信息輸入讓文字識(shí)別更精準(zhǔn)。
此外,2.0版本還支持日語、韓語、德語、法語等 13 種海外語種的精準(zhǔn)識(shí)別。
并且重點(diǎn)針對(duì)專有名詞、人名、地名、品牌名稱及易混淆多音字等復(fù)雜場(chǎng)景進(jìn)行了升級(jí)。
以歷史人物生平討論場(chǎng)景為例,當(dāng)用戶提及蘇轍貶謫地“筠(yún)州”時(shí),如果模型缺乏推理能力會(huì)易將其誤識(shí)別為同音的“云州”“鄆州”等。
而豆包語音識(shí)別模型2.0可依托“當(dāng)前討論蘇軾、蘇轍”這一背景,即便上下文從沒出現(xiàn)過“筠州”,也能通過邏輯推理鎖定用戶所指的特定地名,最終實(shí)現(xiàn)對(duì)多音字地名的精準(zhǔn)識(shí)別。
目前,豆包語音識(shí)別模型2.0已上線火山方舟體驗(yàn)中心并對(duì)外提供API服務(wù)。