99热这里只有精品2-99热这里只有精品6免费-99热这里只有精品国产99-99热这里只有精品国产99热门精品-99热这里只有精品国产动漫

視覺部件相關

首頁視覺部件相關新聞詳情

3D點云基礎知識

發布時間：2021-01-20 09:41:39　最后更新：2021-01-20 10:52:09　瀏覽次數：6311

1. 3D圖像描述

2. RGB-D

3. 點云

4. 何為點云？

5. 點云的獲取

6. 點云的內容

7. 點云的屬性

8. 點云目前的主要存儲格式包括：pts、LAS、PCD、.xyz 和. pcap 等

9. 相應基礎算法庫對不同格式的支持

10. 三維點云有多種表示方法

11. 相比于圖像數據,點云不直接包含空間結構,因此點云的深度模型必須解決三個主要問題

12. DataSets

13. Metric

14. 基于點云的分類

15. 基于點云的分割

16. 基于點云的目標檢測

17. 點云數據的增強和完整化

三維圖像是在二維彩色圖像的基礎上又多了一個維度，即深度（Depth，D），可用一個很直觀的公式表示為：

三維圖像 = 普通的 RGB 三通道彩色圖像 + Depth Map。

3D圖像描述：

· 第一種分法：

o 第多邊形網格

o 基于體素的描述

o 點云

o 隱式表面

o 基于視圖的描述

· 第二種分法：

o 深度圖像（depth images）

o 點云

o 網格（meshes）

o 體積網格（volumetric grids）

RGB-D

RGB-D 是廣泛使用的 3D 格式，其圖像每個像素都有四個屬性：即紅（R）、綠（G）、藍（B）和深度（D）。

在一般的基于像素的圖像中，我們可以通過（x，y）坐標定位任何像素，分別獲得三種顏色屬性（R，G，B）。而在 RGB-D 圖像中，每個（x，y）坐標將對應于四個屬性（深度 D，R，G，B）。

點云

我們在做 3D 視覺的時候，處理的主要是點云，點云就是一些點的集合。相對于圖像，點云有其不可替代的優勢——深度，也就是說三維點云直接提供了三維空間的數據，而圖像則需要通過透視幾何來反推三維數據。

何為點云？

· 其實點云是某個坐標系下的點的數據集。點包含了豐富的信息，包括三維坐標 X，Y，Z、顏色、分類值、強度值、時間等等。點云在組成特點上分為兩種，一種是有序點云，一種是無序點云。

o 有序點云：一般由深度圖還原的點云，有序點云按照圖方陣一行一行的，從左上角到右下角排列，當然其中有一些無效點因為。有序點云按順序排列，可以很容易的找到它的相鄰點信息。有序點云在某些處理的時候還是很便利的，但是很多情況下是無法獲取有序點云的。

o 無序點云：無序點云就是其中的點的集合，點排列之間沒有任何順序，點的順序交換后沒有任何影響。是比較普遍的點云形式，有序點云也可看做無序點云來處理。

點云表示的優點：

· 點云表示保留了三維空間中原始的幾何信息，不進行離散化

點云當前面臨的挑戰：

· 數據集規模小

· 高維性

· 3維點云的非建構化特性

點云的獲取：

· 點云不是通過普通的相機拍攝得到的，一般是通過三維成像傳感器獲得，比如雙目相機、三維掃描儀、RGB-D 相機等。目前主流的 RGB-D 相機有微軟的 Kinect 系列、Intel 的 realsense 系列、structure sensor（需結合 iPad 使用）等。點云可通過掃描的 RGB-D 圖像，以及掃描相機的內在參數創建點云，方法是通過相機校準，使用相機內在參數計算真實世界的點（x，y）。因此，RGB-D 圖像是網格對齊的圖像，而點云則是更稀疏的結構。此外，獲得點云的較好方法還包括 LiDAR 激光探測與測量，主要通過星載、機載和地面三種方式獲取。

點云的內容：

· 根據激光測量原理得到的點云，包括三維坐標（XYZ）和激光反射強度（Intensity），強度信息與目標的表面材質、粗糙度、入射角方向以及儀器的發射能量、激光波長有關。根據攝影測量原理得到的點云，包括三維坐標（XYZ）和顏色信息（RGB）。結合激光測量和攝影測量原理得到點云，包括三維坐標（XYZ）、激光反射強度（Intensity）和顏色信息（RGB）。

點云的屬性：

· 空間分辨率、點位精度、表面法向量等。

· 點云可以表達物體的空間輪廓和具體位置，我們能看到街道、房屋的形狀，物體距離攝像機的距離也是可知的；其次，點云本身和視角無關，可以任意旋轉，從不同角度和方向觀察一個點云，而且不同的點云只要在同一個坐標系下就可以直接融合。

點云目前的主要存儲格式包括：pts、LAS、PCD、.xyz 和. pcap 等

o pts 點云文件格式是最簡便的點云格式，直接按 XYZ 順序存儲點云數據，可以是整型或者浮點型。

· LAS 是激光雷達數據（LiDAR），存儲格式比 pts 復雜，旨在提供一種開放的格式標準，允許不同的硬件和軟件提供商輸出可互操作的統一格式。LAS 格式點云截圖，其中 C：class(所屬類)，F：flight(航線號)，T：time(GPS 時間)，I：intensity(回波強度)，R：return(第幾次回波)，N：number of return(回波次數)，A：scan angle(掃描角)，RGB：red green blue(RGB 顏色值)。

· PCD 存儲格式，現有的文件結構因本身組成的原因不支持由 PCL 庫（后文會進行介紹）引進 n 維點類型機制處理過程中的某些擴展，而 PCD 文件格式能夠很好地補足這一點。PCD 格式具有文件頭，用于描繪點云的整體信息：定義數字的可讀頭、尺寸、點云的維數和數據類型；一種數據段，可以是 ASCII 碼或二進制碼。數據本體部分由點的笛卡爾坐標構成，文本模式下以空格做分隔符。
PCD 存儲格式是 PCL 庫官方指定格式，典型的為點云量身定制的格式。優點是支持 n 維點類型擴展機制，能夠更好地發揮 PCL 庫的點云處理性能。文件格式有文本和二進制兩種格式。

· .xyz 一種文本格式，前面 3 個數字表示點坐標，后面 3 個數字是點的法向量，數字間以空格分隔。

· .pcap 是一種通用的數據流格式，現在流行的 Velodyne 公司出品的激光雷達默認采集數據文件格式。它是一種二進制文件

· obj是一種文本文件，通常用以“#”開頭的注釋行作為文件頭，數據部分每一行的開頭關鍵字代表該行數據所表示的幾何和模型元素，以空格做數據分隔符

相應基礎算法庫對不同格式的支持

· PCL（Point Cloud Library）庫支持跨平臺存儲，可以在 Windows、Linux、macOS、iOS、Android 上部署。可應用于計算資源有限或者內存有限的應用場景，是一個大型跨平臺開源 C++ 編程庫，它實現了大量點云相關的通用算法和高效數據結構，其基于以下第三方庫：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實現點云相關的獲取、濾波、分割、配準、檢索、特征提取、識別、追蹤、曲面重建、可視化等操作，非常方便移動端開發。

· VCG 庫（Visulization and Computer Graphics Libary）是專門為處理三角網格而設計的，該庫很大，且提供了許多先進的處理網格的功能，以及比較少的點云處理功能。

· CGAL（Computational Geometry Algorithms Library）計算幾何算法庫，設計目標是以 C++ 庫的形式，提供方便、高效、可靠的幾何算法，其實現了很多處理點云以及處理網格的算法。

· Open3D 是一個可以支持 3D 數據處理軟件快速開發的開源庫。支持快速開發處理 3D 數據的軟件。Open3D 前端在 C++ 和 Python 中公開了一組精心選擇的數據結構和算法。后端經過高度優化，并設置為并行化。Open3D 是從一開始就開發出來的，帶有很少的、經過仔細考慮的依賴項。它可以在不同的平臺上設置，并且可以從源代碼進行最小的編譯。代碼干凈，樣式一致，并通過清晰的代碼審查機制進行維護。在點云、網格、rgbd 數據上都有支持。

三維點云有多種表示方法

· （如圖所示），不同的表示對應著不同的處理方法。比較容易的處理方式為將其投影為二維圖像或者轉換為三維體素 (Voxel)，從而將無序的空間點轉變為規則的數據排列；也可以使用原始點作為表示，不做任何變換，該方式的好處為最大可能保留所有原始信息。此外，點云作為空間無序點集，可以被看作普適意義上的圖數據。點云還有另外一種表示，稱作網格 (Mesh)，其也可以被看作是構建了局部連接關系的點，即為圖。將點云看作圖數據，可以使用圖領域新興的圖卷積 (Graph Convolution) 技術進行處理。需要提及的是，原始點的表示和圖表示之間并無明確界限（事實上原始點云和網格 (Mesh) 之間有一定區別，但若從語義理解方法的角度看，可暫時忽略此區別，將Mesh看作是增加了一種連接關系）

o 基于二維投影的方法。CNN 最好的應用領域在于圖像處理，將三維點云數據投影到二維圖像平面，即可使得 CNN 應用于點云數據成為可能。

o 基于三維體素的方法。對三維點云進行二維投影降低了算法處理的難度，但是三維到二維的投影必然帶來幾何結構信息的損失，直接進行三維特征的提取在一些場景下是非常有必要的。一種最自然的想法便是 CNN 的延拓，將二維卷積神經網絡拓展一個維度，使其可以處理三維排列的數據；同時，對點云進行體素化 (Voxelization)，將其轉換為空間上規則排布的柵格，使得三維卷積神經網絡(Three Dimension Convolutional Neural Network, 3DCNN) 可以直接應用在這種表示上。

o 基于原始點的方法。無論是二維投影還是三位體素，均需要對原始點云進行一定的轉換，而轉換必然帶來數據信息的損失。

o 基于圖的方法。現實生活中存在大量的非結構化數據，如交通網絡、社交網絡等，這些數據的節點間存在聯系，可以表示為圖。研究圖數據的學習是近年來學界的熱點。三維點云數據可以看作圖數據的一種，圖網絡的很多思想可以被借鑒于點云數據的特征學習中。圖卷積 (Graph Convolution Network, GCN) 可分為基于譜的圖卷積(Spectralbased GCN) 和基于空間的圖卷積 (Spatial-based GCN)。

相比于圖像數據,點云不直接包含空間結構,因此點云的深度模型必須解決三個主要問題:

1. 如何從稀疏的點云找到高信息密度的表示,

2. 如何構建一個網絡滿足必要的限制如size-variance和permutation-invariance,

3. 如何以較低的時間和計算資源消耗處理大量數據

DataSets

Metric

o Classification method: overall accuracy , mean accuracy

o Segmentation models: accuracy , (m)IoU

o detection tasks: (m)IoU , accuracy , precision , recall

o Object tracking: MOTA , MOTP

o scene for estimation: EPE

o 3D match and registration models: ROC curves

基于點云的分類

o 對點云的分類通常稱為三維形狀分類。與圖像分類模型相似，三維形狀分類模型通常是先通過聚合編碼器生成全局嵌入，然后將嵌入通過幾個完全連通的層來獲得最終結果。

o 基于點云聚合方法，分類模型大致可分為兩類:基于投影的方法和基于點的方法

o 基于投影的方法

§ 基于投影的方法將非結構化的三維點云投影到特定的預設模態中(例如體素、柱狀體)，并從目標格式中提取特征，從而在相應方向上受益于之前的研究成果。

§ Multi-view representation

§ MVCNN：

§ GVCNN

§ Volumetric representation

§ VoxNet

§ 3D ShapeNet

§ OctNet

§ OCNN

§ Basis point set

§ BPS

o 基于點的方法：

§ 與基于投影的方法從空間鄰域中聚合點相比，基于點的方法嘗試從單個點中學習特征。

§ MLP networks

§ Convolutional networks

§ Graph networks

§ 圖網絡將點云視為圖，將圖的頂點視為點，并根據每個點的鄰居生成邊。特征將在空間或光譜領域學習

基于點云的分割

o 數據來自 Mobile Laser Scanners (MLS), Aerial Laser Scanners (ALS), static Terrestrial Laser Scanners (TLS), RGBD cameras and other3D scanners

o 3D分割的目的是對每個點進行標記，這需要模型在每個點上收集全局上下文和詳細的局部信息。。在三維圖像分割中，主要有兩個任務:語義分割和實例分割。