通過(guò)UE4 的 INTEL REALSENSE 插件以新的方式觀察世界
Intel 一直都對引入創新的(de)工具和科技感(gǎn)興趣,這(zhè)些工具能夠為世界(jiè)上熱(rè)情的內容開發者增加能量。如果你還(hái)不甚了解,Intel RealSense camera 在普通的 RGB 照片和視(shì)頻技術上,采用紅外光線來(lái)計算深度。為了幫助開發(fā)這個技術的應用程(chéng)序,Intel 創建了 RealSense SDK,一個用來(lái)做可視化算法的庫,包括麵部識別,圖片碎片(piàn)化,以及 3D 掃描。
由(yóu)於看到了這個技術在遊戲中的潛在應用(yòng),我們現在來為(wéi)大家(jiā)介紹 RealSense 插件,這是 Intel 的遊戲工(gōng)程師們合作的產物,將 RealSense SDK 中的各種特性提供出來以便在虛幻 4 的藍圖可視化腳本係統中使用。
插件概述(shù)
這個插(chā)件是一組 Actor 組件的形式存在,每個組(zǔ)件封裝了 RealSense SDK 中的一些特定的功能。通過使用(yòng)這些相對(duì)輕量的組件,可以(yǐ)為遊戲中幾乎每種 Actor 添加 3D 的感應能力,並且訪問這些數據也很簡單,隻需要(yào)對(duì)同一個組件在初始化一個實例即可。
插件組建
目前(qián),插件有(yǒu)三個 RealSense 組件:
- Camera Streams 組件: 提供 RealSense 攝像(xiàng)頭的(de)原始顏色和深度的視頻流。
- 3D 掃描組件: 支持真實(shí)世界的物體掃描,以及人臉掃描(如上圖)。
- 頭部跟蹤組件(預覽): 支(zhī)持對用戶頭部的位置和角度的檢測和跟蹤。
接著很快就會更新,可以期待該插件即將到來的(de)更多組建:
- 頭部跟蹤(zōng)組件(完整版): 用(yòng)於檢測和跟蹤高達 76 麵(miàn)部標(biāo)誌點,脈搏速率,和麵部表情(qíng)附加功能。
- 背景(jǐng)碎片(piàn)組(zǔ)件: 將圖片的前景和背景分離開,為實時視頻創建“綠幕”的效果(如上圖)。
- 場景掃描組件: 對大場景(約 2m x 2m 的區域(yù))生成 3D 模型(xíng)來協助創建用戶生成的內容並加強現實世界的體驗(如下圖)。
- 手部跟蹤組件: 檢測並跟蹤 22 個手部標誌點,識別 14 種手勢,或者跟(gēn)蹤(zōng)一個點來作為鼠標類型的交互響應。
- 語音識別組(zǔ)建: 將輸入語音轉換為文本來翻譯,或者用於檢測關鍵(jiàn)字來(lái)作為語音控製功能輸入。
- 上一篇(piān):Unity3d網絡通信 - NetWork組件使用 2019/5/28
- 下(xià)一篇:HOLOLENS的SOCKET網絡通訊1 2019/5/23
