運用3D深度感測器探討自然人機互動介面

Posted on In Disqus:

寫在前頭

今天在整理文件時，無意中發現去年讀研究方法作業，練習如何寫小論文(只寫前三章即可)，當時Kinect正紅，索性就想了這個主題來發揮，可惜因課業繁忙沒有把系統實作出來，真是殘念呀！(>_<)…

  • 從這篇文章你可以得到：
    • 自然人~妻~機介面初淺知識。
    • 3D深度感測器結合辨識系統基本輪廓。
  • 無法得到：
    • 因沒有完成實體作品，不會有任何程式碼，屬於嘴炮理論。
    • 結論。(完全是自己寫爽的)

背景

隨著數位化、資訊化及網路化之應用趨勢廣泛，逐漸從個人電腦延伸至行動電話、電視、家用遊戲機等消費性電子產品，導致有愈來愈多電子產品功能增加，操作方式也變為繁雜，從早期鍵盤輸入，到滑鼠、光筆、搖桿、數位板等輸入工具，使用者與電子產品之間仍產生一道鴻溝。因此，設計再精密的機器，若沒有考慮到使用者的需求，還是無法發揮其效用，故符合簡單、自然、友善、一致的人機互動模式，成為設計使用者介面的重要原則，良好的人機介面可以在使用初期減少學習成本，加快發揮系統效益，扮演介於使用者與機器之間溝通角色。

動機目的

自然人機介面(Natural User Interface, NUI)是近年來人機互動介面趨勢，有別以往透圖形化介面，操作鍵盤、滑鼠…等，且使用者需先學習如何操作這些輸入設備及打字，才可以與內容達到互動效果。反觀 NUI 將依照使用者之身體語言操控裝置，如觸覺、視覺、聲音、手寫、移動…等，即可進行互動，在操作上更加直覺自然。

嘗試使用 3D 深度感測器(3D Depth Sensors)，加入辨識人類肢體動作特徵之演算法及架構，應用於行動裝置與個人電腦或是筆記型電腦進行資料同步更新，改善以往人機介面操作程序，提升良好互動模式，希望此次研究能將自然人機介面融入於日常生活之中，讓用戶感受到機器不在是冰冷又呆版刻版印象。

自然人機介面

首先，初步瞭解自然人機介面之涵意，引用 J. Black 提出定義為「重覆利用已會技能直接與內容互動的使用者介面設計」，下列三項是針對定義再進一步解釋：

  1. 介面設計：介面設計需事先妥善規劃考量，並注重使用者在內容和情境上互動是否合適。
  2. 重覆利用已會的技能：從現實生活中的經驗，挖掘用戶能夠理解之操作模式，如觸摸、手勢、身體移動…等，除人類本能外，任何介面技術的互動方式，如 CLI(Command-Line Interface)、GUI(Graphic User Interface)，只要是以運用現有技能為重心，皆可融入於自然人機介面之中。
  3. 直接與內容互動：直接操作內容為主要互動方式，而控制元件則為輔助項目，如Multi-Touching 技術直接在圖片上放大、縮小等指令，無頇再搭配任何按鈕元件。從定義中可以看出降低操作介面所帶來的學習成本，達到易於操作且相容特性，將會成為自然人機介面未來重要指標。

動作辨識

在動作辨識已有大量的研究論文可供參考，此次將運用星狀骨架的概念，進行研究運用，可以由陳宣勝發表「使用星狀骨架作人類動作自動辨識」這篇論文提出一套建構在隱藏式馬可夫模型的動作辨識方法，將引述論文部份摘要說明，此方法使用「星狀骨架來對人類的姿勢做出代表性的描述，此辨識方法將人的動作視為沿著時間的一連串星狀骨架，因此，表示人類動作的時間序列影像被轉換成特徵向量序列。接著，特徵向量序列必頇轉換成符號序列使得隱藏式馬可夫模型可以為動作建立模型，設計一本包含每一類動作星狀骨架的姿勢編碼書，並且為特徵向量定義距離來量測特徵向量間的相似度。姿勢序列中的每個特徵向量會和編碼書中的特徵向量做比對，並會被編碼成編碼書中與自己最為相似的特徵向量所代表的符號。因此時間序列的姿勢影像被轉換成符號序列。以隱藏式馬可夫模型為每種被辨識的動作建立模型。在訓練模型的階段，每個動作模型的參數皆最佳化以適當地描述訓練的符號序列。在動作辨識的階段，與測試符號序列最相配的動作模型即為所辨識出的動作。」

process

系統架構

此系統分別由來源設備(如行動裝置)、3D深度感測器與辨識系統，以及目標設備(如個人電腦或是筆記型電腦)等元件，三者所構成之間關係，如圖1所示。辨識系統主要負責由3D深度感測器取得肢體動作資訊，並搜尋相似的特徵向量，根據動作特徵決定所代表意義，去執行處理。

process

操作流程

肢體動作操控設計上，將導入自然人機介面原則，刪減繁複步驟，讓用戶感覺自然簡便，只要將行動裝置對準感測器，由感測器自行辨識對應之裝置型號及啟動連線程序，接著在來源設備上做一個抓取，並丟放至目標設備之手勢動作，當感測器辨識到此動作時，就會與目標設備進行資料同步更新，故不論是行動裝置上傳至個人電腦，或是從個人電腦下載到行動裝置等傳輸方向，皆透過簡單抓取、丟放之手勢即可完成資料同步程序。

參考文獻

  • Andrew D. Wilson (2010). Using a Depth Camera as a Touch Sensor. ITS 2010: Devices & Algorithms, page 69-72
  • 陳治孙 (2003)。虛擬滑鼠：以視覺為基礎之手勢辨識。國立中山大學資訊工程學系論文
  • 顧正偉 (2005)。利用多觀察值型隱馬可夫模型進行人體動作辨識。國立交通大學資訊工程系碩士論文
  • 陳宣勝 (2006)。使用星狀骨架做人體辨識。國立交通大學資訊科學與工程研究所
  • 林宸生 (2008)。互動式電腦視覺系統應用於寓教於樂之大眾科學遊戲研究。逢甲大學自動控制工程研究所碩士論文
  • 李佳勳 (2002)。互動式媒體-以感官多模式探討數位設計環境中人機互動介面設計與應用實例。成功大學建築學系碩士論文
  • 方裕民（2003）。人與物的對話─互動介面設計理論與實務。台北市：田園城市文化事業有限公司
  • NUI Group-Natural User Interface Group
  • OpenKinect–OpenKinect Project
  • OpenNI–OpenNI Organization
  • The iPad Entrepreneur - Blake’s Definition of NUI
  • DECONSTRUCTING THE NUI - NUIs reuse existing skills (updated NUI definition)