Intel RealSense D435i(實感技術)概覽，本文對（duì）Intel RealSense D435i 3D麵部和動作捕捉功能做簡要介紹

前（qián）段時間CES的報道滿天（tiān）飛，網上逛了幾圈，感覺料猛的還數Intel：老樹開（kāi）新花，推出14nm的（de）第五代酷睿處理器；在智能可穿戴（dài）設備及物聯網上雄起；RealSense實感技術開啟未來人機交（jiāo）互模式。之前總聽老哥講，鼠標鍵盤（pán）這（zhè）些傳統（tǒng）交互模式統治了二三十年，目前跟蹤識別爆火且技術趨於成熟，新（xīn）的交互革命快要打響了。看RealSense這陣勢（shì），估計不出三五年新的（de）交互便會普及（jí）開來。

英特（tè）爾早在2012年左右就著重研發實感技術，當（dāng）時叫Perceptual Computing，即感知計算，並開放英特爾® 感知計算軟件開（kāi）發（fā）套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因（yīn）特爾感知計算挑戰賽，吸引眾多開發者參與。隨著技（jì）術完善與成熟，2014年初更名為RealSense，即實感技術，而後發布了新的Intel® RealSense™ SDK 2014 ，同時舉行2014英特爾®RealSense™應用挑戰賽。

基（jī）於此技術的應用在IDF2014及今年CES上大放異彩。

Intel® RealSense™ SDK的架（jià）構（gòu）：SDK core,I/O module和Capability modules組（zǔ）成（chéng）整個SDK堆棧（zhàn）的（de）基礎。SDK core管（guǎn）理I/O module和Capability modules同時組織並管理（lǐ）管線的執行。I/O module捕獲設備的輸入數據而後發送數據到輸出設備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別算法（麵部跟蹤和檢測、手部跟蹤、手勢識別、語音識別及合成等）。

各功（gōng）能：手部和手指跟蹤、麵部分析、語音識別、背景移除、目標跟蹤、增強現（xiàn）實、3D掃描。

1. 手

SDK將手抽象出骨架（jià），並從背景（jǐng）中剝離出來。允許在照相機的0.2–1.2米範圍內（nèi）跟蹤手（shǒu）上的22個點的位置（zhì）和方向（xiàng），如圖。左右手是區分（fèn）的，因而可以雙手進行交（jiāo）互。

手勢識別：包括靜態手勢識別和動態手（shǒu）勢識（shí）別。SDK中內（nèi）嵌了一（yī）係列手（shǒu）勢如下圖。你可以用內嵌的這些手勢組合出新的手（shǒu）勢，也（yě）可以根據手骨架上那22個點位置創建出新的手勢。

動態手勢識（shí）別：靜態手勢可以單獨使用，當然也可（kě）以組合使用形成一定的動作。組合時要求開（kāi）始的手勢和結束的（de）手勢都已在手勢識別係統（tǒng）中注冊（cè）。

SDK給出了一係列動作如下：

2．臉

臉部檢測：SDK提供（gòng）準確的3D臉部檢測（cè）和跟蹤，且可以同時跟蹤4張人臉。每張人臉用長方（fāng）形來標記，你可以獲得長方形的XYZ坐標。與2D跟蹤相比，3D頭（tóu）部跟蹤在頭部運動方麵更（gèng）給力。

臉部識別：SDK提（tí）供識別特（tè）定人（rén）臉的能力。特定ID對（duì）應注冊的特定人（rén）臉，並將此人臉的信息（xī）存儲到人臉庫的內存中。如果同張人臉被注冊多次，那這張人臉被正確識別的機會將會增大。當（dāng）沒被識別的人臉出現時，識別模塊（kuài）將（jiāng）與數據庫中的可（kě）能數據進行比對，如果找到匹配則返回此（cǐ）人臉對應的ID。

用戶不用擔心自己的頭像被存儲，因為存儲（chǔ）的（de）隻是算法從（cóng）圖像中提取的特征的集合。

頭的運動：SDK提供頭部運動的3D方向：俯仰（yǎng）、左右轉動、左（zuǒ）右偏轉，如圖。

所以可以輕鬆獲得用戶頭部指向哪裏。也可以以此做粗略的眼（yǎn）神跟蹤，下一版將會（huì）推出更精細的眼神跟蹤。

標記點跟蹤：SDK提供臉部78個標記點的跟蹤以提高臉部識別（bié）和分析的準確度。在圖像和坐標係中給出這78個標記點的位置。臉部標記點跟蹤支持頭像創建、臉部（bù）動畫、擬態（tài）及簡單的表情識（shí）別。可以直接用這些點或這些點的相對位置（zhì）來作分析。不管你有沒有劉海、戴不戴眼鏡，這種標記點跟蹤都（dōu）支持。但用（yòng）戶頭部在屏幕30度內效果*好。

麵（miàn）部表情識別：SDK也包括更高級的麵部表情識（shí）別。這使得你（nǐ）創建卡通頭像更簡單。每一種表情（qíng）有1到100的強度等級（jí）使得你做的動畫更平滑自然。SDK中表情：

情（qíng）感識別：SDK中的情感識別（bié）算（suàn）法（fǎ）用的是2D RGB數據。情感模塊是獨立的模塊，並非臉部模（mó）塊的一部分。為保障情感識別正常工作，圖像（xiàng）中的人臉至少要有48×48個像素。此算（suàn）法並不局限於（yú）RGB數據，灰度數據同樣可行。利用SDK，你可（kě）以檢測並估計以下六種原始情（qíng）感的強度。

頭像控製：SDK通過結合麵（miàn）部（bù）表情及78個標記點提供簡單（dān）的頭像（xiàng）控製功能。SDK提供動畫（huà）角（jiǎo）色的示例（lì）代（dài）碼，使你的應用（yòng）可以適應任何臉型並把用戶頭像動畫化。

應用場景：

3. 語音

主要包括語音命令和控製、聽寫、從文字轉譯成語音（yīn）等功能。隻支持英語，語音識別對成年人效果*好。

語音識別：分為命令模式和聽寫模式。命令模（mó）式需提前設定命令列表，特定命令綁（bǎng）定（dìng）特定動作。聽寫模式內置了一個通用的（de）詞典，包括50k個（gè）常用單詞。如果你覺得不夠用，也（yě）可以自己添加詞（cí）典（diǎn）中沒有的單詞。聽寫模式限（xiàn）時30秒。命令和聽（tīng）寫模式不（bú）可同時開啟。

語音分析：SDK也可以根據文本動態的生成語音，由女聲讀出。

4. 背景移（yí）除

可以實時的移除背景並替換成新的背景（jǐng）。

應（yīng）用場景：

5. 目標跟蹤

Metaio*3D目標（biāo）跟蹤模塊提供基於光學的跟蹤（zōng）技術，可以跟蹤視頻序列（liè）或場景中的目標（biāo）物。Metaio工具箱（xiāng）可以訓練、創建並（bìng）編輯3D模型，這些模型可以傳（chuán）給各種目標檢測及（jí）跟（gēn）蹤（zōng）算法。

跟蹤技（jì）術支持平麵（miàn）的2D目（mù）標跟蹤（zōng）、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增強（qiáng）現實

用音頻、視頻、圖像或其他信息（xī）來添（tiān）加、增強或補充（chōng）英特爾實感技術遊戲的內（nèi）容。

7. 三維掃（sǎo）描和打印

可（kě）以（yǐ）掃描、編輯、打印和分享三維物體，並與 3D Systems展開合作。

目前因特爾已經與騰訊合作（zuò）創立遊戲（xì）創新實驗室，推進實感技術（shù），並打造了《軒轅傳奇》。與京東合作建立“京東因（yīn）特爾聯合創新實驗室”，推出虛擬試衣、3D物品展示等，使實（shí）感技（jì）術落地電商（shāng）平台（tái）。同時因特爾自己也在不斷推出自己的實感技術產品。這不前兩天在北京推（tuī）出其全新的第（dì）五（wǔ）代酷睿處理器家（jiā）族，搭載此處理器的多款產（chǎn）品（pǐn）還配（pèi）備了英特爾實（shí）感技術，看來這項技術很（hěn）快就會遍地開花。

隻要你的處理器是第四（sì）代及四代以後英特爾® 酷睿（ruì）™處理（lǐ）器，操作（zuò）係統滿足（zú）Microsoft* Windows 8.1（僅限64 bit），再外購一（yī）個英特爾® RealSense™ 3D 攝（shè）像頭（tóu）就（jiù）可以下載SDK玩（wán）起來。估計不久聯想、戴爾、華碩、宏基、惠普（pǔ）等等搭載第五代酷睿處理器並內嵌因特（tè）爾3D攝像頭的超很本、二合一及一體機設備就會（huì）上市，那時玩起來會更爽。

資料來（lái）源：RealSenseSDKdesignGuidelinesGold

補充一點自己的實際體會（huì）：

1.基於結構光（guāng）方案的深度（dù）相機，受光（guāng）線影響很大，下（xià）午（wǔ）太陽光照進來，深度數據殘缺嚴重，這個就是所謂的激光散（sàn）斑受強（qiáng）光淹沒掉（diào）了。

2.手勢識（shí）別中，靜態手勢，手型（xíng）識別效果不錯。同時（shí），對著深度相機方向的手勢（shì）運動，識別效果也不錯（cuò）。但左右方向的運動手勢，效果（guǒ）很差（chà）。主要是視（shì）場角小（xiǎo），深度數據殘缺嚴重。

3.SDK可（kě）支持多個（gè）設備同時鏈接（jiē） 。采用一台設備，一個線程來管理維（wéi）護。線程（chéng）內部（bù），SDK所有功能都支持。也就是多個設備互不影響。

4.手勢，采用22點骨架（jià）模型。大致的手型是可以捕捉的， 但是容易受到環境光影響，在（zài）準確獲取（qǔ）手部動作時還是考慮（lǜ）使（shǐ）用專業的數據手套設備，比（bǐ）如WONGLOVE數據手套。

5.手勢（shì）識別，在（zài）20~55cm範圍（wéi）內可用。其實，整體來看，隻能是小範（fàn）圍運動情況了。