相關主題
商品描述
本書由智能汽車領域實踐型專家聯合撰寫，帶你一次性學透BEV，實現快速落地與創新。在內容設計上，本書以BEV主流技術與工程實踐為主線，系統分析介紹BEV算法的基本原理、關鍵技術和源碼級實現方法，助你掌握自動駕駛感知系統的整體架構和設計理念。
本書共9章。第1章介紹BEV感知算法的核心概念和框架，強調其獨特優勢及挑戰。第2章概述關鍵數據集，如KITTI、nuScenes和Waymo，並解釋了評估算法性能的指標。第3章深入介紹特征提取技術，涵蓋圖像和激光雷達數據的提取方法。第4章探討視角轉換、注意力機制及Transformer在BEV感知算法中的應用。第5章和第6章分別講解顯式和隱式視角轉換下的BEV感知算法，如BEVDet系列和BEVFormer等。第7章和第8章通過實例介紹BEV感知算法的實現過程。第9章討論大模型在自動駕駛領域的應用及面臨的挑戰。
目錄大綱
前言
第1章 快速了解BEV感知算法1
1.1 BEV感知算法解決的問題1
1.2 BEV感知算法的常見範式7
1.3 BEV感知算法的分類9
1.3.1 基於單應性的方法9
1.3.2 基於深度估計的方法10
1.3.3 基於多層感知器的方法12
1.3.4 基於Transformer的方法13
1.4 BEV感知算法的不足14
1.5 本章小結16
第2章 BEV感知算法的數據集17
2.1 KITTI數據集18
2.2 nuScenes數據集25
2.3 nuScenes數據集常用的評測指標及計算方法39
2.3.1 檢測任務評測指標計算公式40
2.3.2 跟蹤任務評測指標計算公式42
2.3.3 其他輔助指標計算公式42
2.4 Waymo數據集46
2.5 不同數據集之間的對比47
2.6 本章小結48
第3章 BEV感知算法的特征提取49
3.1 圖像模態49
3.1.1 相機的內外參數49
3.1.2 圖像特征提取和ResNet原理54
3.2 激光雷達模態中點雲目標檢測的代表算法55
3.2.1 PointPillar算法55
3.2.2 PV-RCNN算法58
3.3 本章小結61
第4章 BEV感知算法的基本模塊62
4.1 視角轉換模塊62
4.1.1 自動駕駛中的坐標系63
4.1.2 坐標系轉換與視角轉換模塊65
4.1.3 LSS原理69
4.1.4 LSS代碼實現與模型運行71
4.2 BEV感知算法中的注意力機制82
4.2.1 通道注意力機制82
4.2.2 空間注意力機制83
4.2.3 混合注意力機制83
4.2.4 BEV感知算法中的時序融合83
4.3 本章小結86
第5章 顯式視角轉換的BEV感知算法87
5.1 基於LSS方法的顯式視角轉換的BEV感知算法89
5.1.1 BEVDet89
5.1.2 BEVDet4D91
5.2 BEVDet中的視角轉換過程91
5.3 BEVDet4D中的時序對齊93
5.4 本章小結94
第6章 隱式視角轉換的BEV感知算法95
6.1 傳統目標檢測方法與DETR類方法95
6.1.1 傳統目標檢測方法的局限性96
6.1.2 DETR類方法的優點97
6.2 主要的隱式視角轉換的BEV感知算法98
6.2.1 BEVFormer98
6.2.2 DETR3D102
6.2.3 PETR103
6.3 DETR3D計算過程106
6.3.1 圖像特征提取106
6.3.2 特征查詢模塊107
6.3.3 二分圖匹配108
6.3.4 DETR和DETR3D的異同108
6.4 隱式轉換DETR、DETR3D和PETR的主要差別109
6.5 本章小結110
第7章 BEVFusion實踐111
7.1 原理詳解111
7.1.1 網絡架構112
7.1.2 圖像支路113
7.1.3 點雲支路114
7.1.4 融合模塊115
7.2 代碼詳解116
7.2.1 nuScenes數據集處理116
7.2.2 模型訓練過程131
7.3 環境搭建149
7.3.1 搭建PyTorch環境149
7.3.2 安裝BEVFusion150
7.3.3 編譯BEVFusion環境151
7.3.4 訓練和測試BEVFusion152
7.4 本章小結153
第8章 BEVFormer實踐154
8.1 代碼詳解154
8.1.1 數據處理155
8.1.2 模型訓練過程156
8.2 環境搭建190
8.2.1 創建虛擬環境190
8.2.2 安裝BEVFormer191
8.3 模型部署192
8.4 本章小結192
第9章 大模型在自動駕駛領域的應用193
9.1 端到端的自動駕駛系統UniAD194
9.1.1 UniAD的提出背景194
9.1.2 UniAD架構196
9.2 賦能自動駕駛數據生產和模型訓練197
9.2.1 輔助標注數據198
9.2.2 模型蒸餾給小模型賦能200
9.2.3 將多個小模型合並成大模型201
9.2.4 自動駕駛的重建和數據生成201
9.3 視覺大模型的難點202
9.3.1 視覺大模型發展相對落後的原因202
9.3.2 視覺大模型的技術挑戰與實踐難點203
9.4 本章小結204
