機器人與感測技術組

計畫主持人：王文俊教授

概要

該研究項目正在開發一個整合系統以幫助視障人士進行日常活動，該系統將確保用戶既有安全的戶外活動及便利的室內活動。本研究使用深度學習技術，設計和實作導航設備，無論是可穿戴裝置還是配置系統之機器人，以幫助視障人士旅行、識別和尋找物體。

關鍵字

深度學習、機器學習、機器人、穿戴式裝置、圖像語義分割、真實數據產生器、視障支援系統、雲端對話型導航代理、室內生活支援

創新

• 實作一個引導機器人（見圖1），以幫助視障人士進行戶外導航。
• 採用深度學習技術來偵測障礙物及其距離。
• 由機器人視覺系統識別街道標誌，並進一步幫助用戶找到新位置。
• 新的圖像語義分割工具，幫助識別系統自動收集數百萬張街道照片，進行神經網絡訓練（圖2）。
• 設計雲端對話型導航代理（CDNA）系統，並將與機器人整合，通過口語命令，機器人可以進一步與視障者溝通。對話引擎的單元設計如圖3所示。
• 採用不同類型的感測器技術開發智慧室內生活支援系統，幫助視障人士了解物件位置和設置，參見圖4中的系統架構。
• 通過物件辨識深度學習模塊，室內支援系統將幫助視障者查找個人物品。

效益

• 實作機器人硬體及其智慧網路系統並在街道上實測， 初步結果顯示，導航系統可以引導視障者在大學校園內行動。
• 機器人視覺系統可識別14種街道標誌。 初步結果顯示，在最小但足夠的訓練數據集的情況下，準確率為73％。
• 真實數據產生器已經在台灣的6個主要城市收集了600萬張街頭照片，目標是在台灣所有城市收集1000萬。
• 使用大學校園附近的資訊開發和測試CDNA系統，驗證對話系統在協助視障人士上的有效性。
• 智慧生活支援系統可以精確識別和定位室內物體和設置，其設計方法證明可行。