千人智庫官方二維碼

首頁  >   千人智庫 > 學術進展 > 信息科學
基于視線追蹤的增強現實人機交互方法
時間:2019-10-11 09:24:12來源:漢斯出版社
提交需求
提要:增強現實是一項將虛擬與現實相結合的技術,它可以應用于醫療、生產生活、工業設計和娛樂等各個行業。

增強現實是一項將虛擬與現實相結合的技術,它可以應用于醫療、生產生活、工業設計和娛樂等各個行業。隨著計算能力的提高和5G技術的發展,增強現實有望成為未來通用的計算平臺。光學透視頭戴式顯示器(OST-HMD)作為增強現實系統的主要載體,近幾年國內外發布的面向消費者的產品日益增多,在擴大普及度的同時,如何在OST-HMD上更好地進行人機交互成為目前增強現實領域需要解決的問題。

(圖片來源于網絡,侵刪)

漢斯出版社《計算機科學與應用》期刊中,有論文研究指出目前增強現實的人機交互(HCI)在手勢和語音構建得較為完善,微軟在2016年推出的HoloLens已經支持了語音交互和手勢識別,同年德國的pupil labs開發出可裝置在HoloLens上的眼追蹤相機。2018年magic leap公司發布的混合現實(MR)頭顯在眼鏡內測裝置了眼追蹤攝像頭,但交互方式仍以手勢操作和手柄控制為主。

視線追蹤技術的不斷改善在于提高準確率和幀率的同時降低侵入性和減少數據帶寬,從而優化設備的穿戴體驗和交互體驗。移動技術的發展使視線追蹤從桌面端的研究和應用轉移到移動端,從而發展普適的視線追蹤方法,將視線追蹤用于OST-HMD的交互,可以彌補手勢識別和語音識別的不足。一方面,佩戴在人眼前的增強現實眼鏡與眼動交互具有很高的契合度,通過視線追蹤進行交互也將大大提高自由度;另一方面,在手勢和語音的操作受到限制的情況下,譬如在一些特殊的應用場景:醫生在為病人做手術時,通過眼睛控制OST-HMD的手術導航系統來完成更多必要的操作。

視線追蹤的方法可分為侵入式和非侵入式,最早的眼追蹤是用鞏膜搜索線圈嵌入到眼部區域這種方法具有高侵入性,對使用者的干擾較大。在過去的幾十年中,隨著圖像處理算法的發展和計算能力的提高,非侵入式的視線追蹤在注釋分析、情感分析、認知研究等領域和固定于桌面系統的視線追蹤方法已經取得了一系列的成果。基于數字視頻分析的視線追蹤(VOG),僅通過攝像機追蹤視線的變化逐漸成為非侵入式的熱點研究方法,此后衍生出一系列眼球追蹤的圖像學方法。典型非侵入式的視線追蹤包括基于外觀的方法和基于形狀的方法,以及近些年受到關注的基于深度學習的方法。

因此該論文學者對比了現有的一些視線追蹤的方法,采用深度學習中殘差網絡Restnet網絡的思想,提出了可高效識別瞳孔中心和視線的異構嵌套神經網絡,省去了添加紅外光源、標定等步驟的同時將角度誤差降到了0.89?。他們計劃設計20種以上眼球運動軌跡交互指令,同時實現OST-HMD系統的自動標定,并FPGA上設計出高集成度的嵌入式增強現實人機交互系統。未來他們會將視線注視點及其所在的場景相結合,并進一步研究SLAM算法和CBIR算法,將所看到的事物的相關信息展示在用戶眼前。

文章來源:https://www.hanspub.org/journal/PaperInformation.aspx?paperID=30567

標簽
基于 視線 追蹤 增強 現實 人機交互 方法

版權聲明:千人智庫網系千人智庫唯一官方網站,凡轉載本網內容請注明來源與作者。

作者系郭珊珊

評論詳情

   暫無相關評論!
RSS訂閱
新疆18选7开奖时间