記者從杭州瞳行科技公司獲悉,該公司日前發(fā)布AI助盲眼鏡。該眼鏡基于通義千問Qwen-VL等系列模型打造,具有出行避障、找物讀物、語音助手和一鍵求助親友等功能。在出行場景,該眼鏡可實(shí)現(xiàn)300毫秒的超低延遲,佩戴者每邁出一步,眼鏡即可給出道路提示。
出行是視障人士特別關(guān)注的問題。據(jù)統(tǒng)計,我國有超過1700萬名視障人士,其出行高度依賴導(dǎo)航軟件及人工幫助,經(jīng)常遇到最后十米導(dǎo)航無法找到目的地、服務(wù)人員無法及時響應(yīng)等問題。助盲出行工具較少,客觀上抑制了視障人士的出行意愿。
據(jù)介紹,該眼鏡產(chǎn)品由4部分組成,分別是眼鏡主體、手機(jī)、遙控指環(huán)、盲杖。杭州瞳行科技公司將自研視覺模型與通義千問結(jié)合,配合121度超廣角雙攝像頭等硬件,著重打造AI助盲眼鏡的低延遲避障能力,并根據(jù)不同場景對眼鏡搭載的大模型進(jìn)行針對性調(diào)優(yōu)。
比如,在避障場景,大模型會簡單概括周邊環(huán)境,識別公交車牌、路牌等,做出及時響應(yīng);在找店點(diǎn)餐等場景,大模型會對文本、環(huán)境進(jìn)行總結(jié)和詳細(xì)播報,幫助用戶找到目的地并閱讀特定段落。
杭州瞳行科技公司市場及技術(shù)總監(jiān)陳剛說:“大模型出現(xiàn)之前,做AI助盲產(chǎn)品比較難。算力成本的大幅降低,讓AI初創(chuàng)企業(yè)能夠快速發(fā)展起來。利用通義千問,我們通過‘基模復(fù)用+微調(diào)優(yōu)化’即可快速實(shí)現(xiàn)所需功能?!?/p>