Intel RealSense D435i(實感技術)概覽，本文對Intel RealSense D435i 3D麵部和動作捕捉（zhuō）功能做簡要介紹

前段時間CES的報道滿天飛，網上逛了幾圈，感覺料猛的還數Intel：老樹開新花，推出14nm的第五代酷睿處理器；在智能可穿戴設備及物聯網上雄起；RealSense實（shí）感技術開啟未來人機交（jiāo）互模式。之前（qián）總聽老哥講，鼠標（biāo）鍵盤這些（xiē）傳統交（jiāo）互模式（shì）統治了二三十年，目前跟蹤識別爆火且技術趨於成熟，新的交互革命快要打響了（le）。看RealSense這陣勢，估計不出三五年新的（de）交互便會普及開來。

英特爾早在（zài）2012年左右就著重研發（fā）實（shí）感技術，當時叫Perceptual Computing，即感知計算，並開放英特爾® 感知計算軟（ruǎn）件開發套件 2013 版（Intel® Perceptual Computing Software Development Kit, SDK 2013），設重獎舉辦因特爾感知計算挑戰賽，吸引眾多開（kāi）發者參與。隨著技術完善與成熟，2014年初更名為RealSense，即實感技術，而後發布了新（xīn）的Intel® RealSense™ SDK 2014 ，同時舉行2014英特爾®RealSense™應用挑戰賽。

基於此技術的應用在IDF2014及今年CES上大放異彩（cǎi）。

Intel® RealSense™ SDK的架構：SDK core,I/O module和Capability modules組成整個SDK堆棧的基礎。SDK core管理I/O module和（hé）Capability modules同時組織（zhī）並管理（lǐ）管線（xiàn）的執行。I/O module捕獲設備的輸入數據而後發送數據到輸出設備或（huò）Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測和識別算法（麵部跟蹤和檢測、手部跟（gēn）蹤、手（shǒu）勢識別、語音（yīn）識別及合成等）。

各功能（néng）：手部和手指跟蹤、麵部分析（xī）、語音識別、背景移除、目標跟蹤、增強現實、3D掃描。

1. 手

SDK將手抽象出骨架，並從背景中剝離出來。允許在照相機的0.2–1.2米範圍內跟蹤手上的22個點的位置和方向，如圖。左右手是區分的，因而（ér）可以雙手進行交互。

手勢識別：包括靜態手勢識別（bié）和動態手勢識別。SDK中內（nèi）嵌了一係列手勢如下圖。你可以用內嵌的這些手勢（shì）組合（hé）出新的手勢，也可以根據手骨架上那22個點位置創建出新的手勢。

動態手勢識別：靜態手勢可（kě）以單獨使用，當然也可以組合使用（yòng）形成一（yī）定的動作（zuò）。組合時要求開始的手（shǒu）勢和結束的手勢都已在手勢識別係統中注冊。

SDK給出了一係列動（dòng）作如下：

2．臉

臉部檢測：SDK提供準確的3D臉部檢測和跟蹤，且可以（yǐ）同時跟蹤4張人臉。每張人臉用長方形來標記，你可以（yǐ）獲（huò）得長方形的XYZ坐標。與2D跟蹤相比，3D頭部跟蹤（zōng）在頭部運動方麵更給力（lì）。

臉部識別：SDK提供識別特定人臉的能力。特定ID對應注冊的特定人臉，並將此人臉的信息存儲到人臉庫的內（nèi）存中。如果同張人臉被注冊多次，那這（zhè）張人臉被正確識別的機會將會增大。當（dāng）沒被識別的人臉出現時，識別模塊將與數（shù）據（jù）庫中的（de）可能數據進行比對，如果找到匹配則返回此人臉對應的ID。

用（yòng）戶不用擔心自己的頭像被存儲，因（yīn）為存儲的隻是算法從圖像中提取的特征的集合。

頭的運動：SDK提供頭部運動的3D方向：俯仰、左右轉（zhuǎn）動（dòng）、左右偏轉，如圖。

所以可以輕（qīng）鬆獲得用（yòng）戶頭部指向哪裏。也（yě）可以以此做粗略的眼神跟蹤，下（xià）一版將會推出更精（jīng）細的眼神跟蹤。

標（biāo）記點跟蹤：SDK提供臉部78個標記點的跟（gēn）蹤以提高臉部識別和分析的準確度。在圖像和坐標係中（zhōng）給出這78個標記點的位置。臉部標記點跟蹤支持頭像創建（jiàn）、臉部動畫、擬態及簡單的表情（qíng）識別（bié）。可以直接用這些點或這些點的相對位置來作分析。不（bú）管你有沒有劉海、戴不戴眼鏡，這種標記點跟蹤都支持。但（dàn）用戶頭部在屏幕30度內效果*好。

麵部表情識別：SDK也包括更高級的麵部（bù）表（biǎo）情識別。這使得你創建卡通頭像更簡單。每一種表情有1到100的強度等級（jí）使得你（nǐ）做的動畫更平滑自然。SDK中表情：

情感識別：SDK中的情感識別（bié）算法用的是2D RGB數據。情感（gǎn）模塊是獨立的模塊，並非臉（liǎn）部（bù）模塊的一部分。為保障（zhàng）情感（gǎn）識別正常工作，圖像中的人臉至少要（yào）有48×48個像素（sù）。此算法並不局限於RGB數據，灰度數據同樣可行。利用SDK，你可以檢測並（bìng）估計以下六種原始情感的強（qiáng）度（dù）。

頭像控製：SDK通過結合（hé）麵部表情及78個標記點提供簡單（dān）的頭像控製（zhì）功能。SDK提供動畫角色的示例（lì）代碼，使你的應用可（kě）以適應任何臉（liǎn）型並把用戶頭像動畫化。

應用場景：

3. 語音（yīn）

主要（yào）包括語音命令和控製、聽寫、從文字轉譯成語音等功能。隻支持英語，語音識別對成年（nián）人效果*好。

語（yǔ）音識別：分為命令模式和聽寫模式。命令模式需提前（qián）設定命令（lìng）列表，特定命令綁定特定動作。聽寫模式內置了一個通（tōng）用的詞典，包括50k個常用單詞。如果你覺得不夠用，也可以自（zì）己添加詞典（diǎn）中沒有的單詞。聽寫（xiě）模式（shì）限時30秒。命令和聽寫（xiě）模式不可同時開啟。

語（yǔ）音分析：SDK也可以根據文本動態的生（shēng）成語音，由女聲讀出。

4. 背景移除

可以實時的（de）移除（chú）背景並替換（huàn）成新的（de）背景。

應用場景：

5. 目標跟蹤

Metaio*3D目標跟蹤模塊（kuài）提供基於光學的（de）跟蹤技（jì）術（shù），可以跟蹤視頻序列（liè）或（huò）場景（jǐng）中的目標物。Metaio工具箱可以訓（xùn）練（liàn）、創建並（bìng）編輯3D模型，這些模型可以傳給各種目標檢（jiǎn）測及跟蹤算法。

跟蹤（zōng）技術支持平麵的2D目標跟蹤、基於特征的3D跟蹤、CAD模型的基於邊界的3D跟蹤及即時3D跟蹤。

6. 增（zēng）強現實

用音頻（pín）、視頻、圖像或其他信息來添加、增強或（huò）補充英特爾實感技術遊戲的內容。

7. 三維掃描和打印

可以掃描、編輯、打印和分（fèn）享三維物體，並與 3D Systems展開合作。

目前因特爾已經與騰訊合作創立遊戲創新實驗室，推進實感技（jì）術，並打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯合創新實驗室”，推出虛擬試（shì）衣、3D物品展示等，使實（shí）感技術落地電商（shāng）平台。同時因特爾自己也在（zài）不斷推出自己的實感技術產品。這不前兩天（tiān）在北京推出其（qí）全新的（de）第五代酷睿處理器家族（zú），搭載此處理器的（de）多款產品還配（pèi）備了英特爾實感技術，看來這項技術很（hěn）快就會遍地開花。

隻要你的處理器（qì）是第四代及四代以後英特爾® 酷睿™處理（lǐ）器，操作係統滿足Microsoft* Windows 8.1（僅（jǐn）限64 bit），再外購（gòu）一個英特爾® RealSense™ 3D 攝（shè）像頭就可以下載SDK玩起來。估（gū）計不久聯想（xiǎng）、戴爾、華碩、宏基、惠普等等搭載第五代酷睿處理器並內嵌因特爾3D攝像頭的（de）超很本、二合一及一體機設備就會上市，那時玩起來會（huì）更爽。

資料來源：RealSenseSDKdesignGuidelinesGold

補充一點自己的（de）實際體（tǐ）會：

1.基於結構（gòu）光方案的深度相機，受光線影響很大，下午太（tài）陽光照進來，深度數據殘缺嚴重，這（zhè）個（gè）就是所謂的激光散（sàn）斑受強光淹沒掉了（le）。

2.手勢識別中，靜態手勢，手型識別效（xiào）果不錯。同時，對著深度相（xiàng）機方向的手勢運動，識別（bié）效果也不錯。但左右方向的運動手（shǒu）勢（shì），效果很（hěn）差。主要是（shì）視場角小，深度數據（jù）殘缺嚴重。

3.SDK可支持多個設備同時鏈接 。采用（yòng）一台設（shè）備，一個線程來管理維護。線程內部，SDK所有功（gōng）能都支持（chí）。也就是多個設備互不影響。

4.手（shǒu）勢，采用22點骨架模型。大致的手型是（shì）可以捕捉的（de）， 但是容易受到環境光影響，在準確獲（huò）取手部動作時還是考慮（lǜ）使用專業的數據手套設備，比如WONGLOVE數據手套。

5.手勢識別，在20~55cm範圍內（nèi）可用。其實，整體來看，隻能是小範圍（wéi）運動情（qíng）況（kuàng）了。