Intel RealSense D435i(實感技（jì）術)概覽，本文對Intel RealSense D435i 3D麵部和動作捕捉功能做簡要介紹

前段時間CES的（de）報道滿天飛，網上逛了幾圈，感覺料猛的還（hái）數Intel：老樹開新花，推出14nm的第五代酷（kù）睿處理器；在智能可穿戴設備及物聯網上雄起；RealSense實感技術開啟未來人（rén）機交互模式。之前總聽老哥講，鼠（shǔ）標（biāo）鍵（jiàn）盤這些傳統交互模式統治了二三十年（nián），目前跟蹤識別爆火且技術趨於成熟，新的交互（hù）革命快要打響了。看（kàn）RealSense這陣勢，估計不出三五（wǔ）年新的交（jiāo）互便會普及開來。

英特爾早在2012年左右就著重研發實感技術，當時叫（jiào）Perceptual Computing，即感知計算，並開放英特爾® 感知計算（suàn）軟件開發套（tào）件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎（jiǎng）舉辦因特爾感知計算挑戰賽，吸引眾多開發者參與。隨（suí）著技術完善與成熟，2014年初更名為RealSense，即實感技術，而後（hòu）發布了新（xīn）的Intel® RealSense™ SDK 2014 ，同時舉行2014英特爾®RealSense™應用挑（tiāo）戰賽。

基於此技（jì）術的（de）應用在IDF2014及今年（nián）CES上大放異彩。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個SDK堆棧的基礎。SDK core管（guǎn）理I/O module和Capability modules同時組織並（bìng）管理管線的（de）執行。I/O module捕（bǔ）獲設備（bèi）的輸（shū）入數（shù）據而（ér）後發送數據到輸（shū）出設備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別算法（麵部跟蹤和檢測、手部跟蹤（zōng）、手勢識別、語音識別及合成等）。

各功能：手部和手（shǒu）指跟蹤、麵部分析、語音（yīn）識別、背（bèi）景移除、目（mù）標跟（gēn）蹤（zōng）、增強現（xiàn）實、3D掃描。

1. 手

SDK將手抽象出骨架，並從背景中剝離出來。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個點的位置（zhì）和方向，如圖。左右手是區分的，因（yīn）而（ér）可（kě）以（yǐ）雙手進行交（jiāo）互。

手勢識別：包括靜（jìng）態手勢識別和動態手勢識別。SDK中內嵌了（le）一係列手勢如下圖。你可以用內嵌的這些手勢組合出新的手勢，也可以根據手骨架上那22個點位置創（chuàng）建出新的手勢。

動態手勢識別：靜態手勢可以單獨使用，當然也可以組合使用形成一定的動作。組合時要求開始的手勢和結束的手（shǒu）勢都已在（zài）手勢識別係統中注冊（cè）。

SDK給出了一係列動作如下：

2．臉

臉（liǎn）部檢測：SDK提供準確的3D臉部檢測和（hé）跟蹤，且可以同時跟蹤（zōng）4張人臉。每張人臉用長方形來標記（jì），你可以獲（huò）得長方形的XYZ坐標。與（yǔ）2D跟蹤相比，3D頭部跟蹤在頭部（bù）運動方麵更給力。

臉（liǎn）部識別：SDK提供識別特定人臉的能力（lì）。特（tè）定ID對（duì）應注冊（cè）的特（tè）定人臉，並將此人臉的信息存儲到人（rén）臉庫（kù）的內存中（zhōng）。如果同（tóng）張人臉被注冊多次，那這張人臉被正確識別的機會將會（huì）增大。當沒被識別的人臉出現時，識別模塊將與數據庫中的可能數據（jù）進行比對（duì），如果找到匹配則返回此人臉對應的ID。

用戶不用擔心（xīn）自己的頭像被存儲，因為存儲的隻是算法從圖像中提取的特征的集合。

頭的運動：SDK提供頭部運動的3D方向：俯（fǔ）仰、左右轉動（dòng）、左（zuǒ）右偏轉，如圖。

所以可以輕鬆獲得用戶頭部（bù）指（zhǐ）向哪裏。也可以以此做粗略的眼神跟蹤，下一版將會推出更精細的（de）眼神跟（gēn）蹤。

標記點跟蹤：SDK提供臉部78個標記（jì）點的跟蹤以提高臉部識別和分析的準確度。在圖像和坐標係中（zhōng）給出這78個標記（jì）點的位置。臉部標記點跟蹤支持頭（tóu）像創建、臉部動畫、擬態及簡單的表情識別。可以直接用這些點或這些點的相對位置來作分析。不管你（nǐ）有沒有劉海、戴不戴眼鏡，這種標記點跟蹤都支持。但用戶頭部在屏幕30度內（nèi）效果*好（hǎo）。

麵部表情識別：SDK也包括更高級的（de）麵部表情識別。這使得你創建卡通頭像更簡單。每一種表情有1到100的（de）強（qiáng）度等級使得（dé）你做（zuò）的動畫更平滑自然。SDK中表情（qíng）：

情感識別：SDK中的情感識別算法（fǎ）用的是2D RGB數據。情感模塊是獨立的模塊（kuài），並（bìng）非臉部模塊（kuài）的（de）一部分。為（wéi）保障情（qíng）感識（shí）別正常工作，圖像中的人臉至少要有48×48個像素。此算法並不局限於RGB數據，灰度數據同樣可行。利用SDK，你可以（yǐ）檢測並估計（jì）以（yǐ）下六種原始情感的強度。

頭像（xiàng）控製：SDK通過結（jié）合（hé）麵部（bù）表情及78個標記點提供簡單（dān）的頭像控（kòng）製功能。SDK提供動畫角色的示例代（dài）碼，使（shǐ）你的應用可以適應任（rèn）何臉型並把（bǎ）用戶頭像動畫化。

應用場景：

3. 語音

主要包括語音命令（lìng）和（hé）控（kòng）製、聽寫、從文字轉譯成語音等功能（néng）。隻支持英語，語音識別（bié）對成年人效果*好。

語音識別（bié）：分為命令模式（shì）和聽寫模式。命令模式需提前（qián）設定命令（lìng）列表，特（tè）定命令綁（bǎng）定特定動（dòng）作。聽寫（xiě）模式內置了一個（gè）通用的詞典（diǎn），包括50k個常用單詞。如果你覺得不夠用，也可以自己添加詞典中沒有的單詞。聽寫模（mó）式限時30秒。命（mìng）令和聽寫（xiě）模式不可同時開啟（qǐ）。

語音分析：SDK也可以根據文本動態的生成語音，由女聲讀出。

4. 背（bèi）景移除

可（kě）以實時的移除背景並替（tì）換成新的背景（jǐng）。

應用（yòng）場景：

5. 目標跟蹤

Metaio*3D目標（biāo）跟蹤模塊提供基於光學的跟蹤技術，可以跟蹤視頻（pín）序（xù）列（liè）或場景中的目標物。Metaio工具箱可以訓練、創建並編輯3D模型，這些模型可以（yǐ）傳給各種目標檢測及（jí）跟（gēn）蹤算法。

跟蹤技術支持平麵的2D目標跟蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤（zōng）及即（jí）時3D跟蹤。

6. 增強現實

用音頻、視頻、圖像或其他信息來（lái）添加、增（zēng）強或補（bǔ）充英特爾實感技術遊戲的內容（róng）。

7. 三維掃描和打印

可以（yǐ）掃描、編輯、打印和分（fèn）享（xiǎng）三維物體，並（bìng）與 3D Systems展開合作。

目前因特爾已經與騰訊合作創立遊戲創新（xīn）實驗室，推進實感技術，並打造了《軒轅傳奇》。與京東合作建立“京（jīng）東因特爾聯合創新實驗室”，推出（chū）虛擬（nǐ）試衣、3D物品展示等，使實感技術落地電商平台。同時因特爾自己也在不斷推出自己的實感技術產（chǎn）品。這不前兩天在北京推出其全新的第五代酷睿處理器家族，搭載此處理器的多款產品（pǐn）還配備了英特爾實感技術（shù），看來這項技術很快就會遍地開花。

隻要你的（de）處理器是第四代及四代（dài）以後英（yīng）特爾® 酷睿™處理器，操作係統滿足Microsoft* Windows 8.1（僅限64 bit），再（zài）外（wài）購一個英特爾（ěr）® RealSense™ 3D 攝（shè）像頭就可以下載SDK玩起來。估（gū）計不久聯想、戴爾、華碩、宏基、惠普等等搭載第五代酷睿（ruì）處理器並內嵌因特爾3D攝像頭的（de）超很本、二合一（yī）及一體機設備就（jiù）會上市，那時玩（wán）起來會更爽。

資料來（lái）源：RealSenseSDKdesignGuidelinesGold

補充一（yī）點自己的實際（jì）體會：

1.基（jī）於結構光方案的深度相機，受光線影響很大，下午太陽光照進來，深度數據殘缺嚴重，這（zhè）個就是所謂的激光散斑受強光淹（yān）沒掉了。

2.手勢識別中，靜態手勢，手型識別效果不錯。同（tóng）時（shí），對著深度相機（jī）方向的手（shǒu）勢運動，識別效果也不錯。但左右方向的運動手勢，效果很差。主要是（shì）視場角（jiǎo）小（xiǎo），深度數據殘缺嚴重。

3.SDK可支（zhī）持多個設備同時鏈接 。采用一台設備（bèi），一個線程來管理維護。線程內部，SDK所有功（gōng）能（néng）都（dōu）支持。也就是多個設備互不影響。

4.手勢，采用22點骨架模型。大致的（de）手（shǒu）型是可以捕捉（zhuō）的， 但是容（róng）易受到（dào）環境光影響，在準確（què）獲取手部動作時還是考慮（lǜ）使用專業的數據手套設備，比如WONGLOVE數據手套。

5.手勢識別，在20~55cm範圍內可用。其（qí）實，整體來看（kàn），隻能是小範圍運動情況了。