"本書(shū)為讀者詳細(xì)介紹了智能駕駛中的視覺(jué)感知后處理的相關(guān)知識(shí)和技術(shù)。通過(guò)六章的詳盡內(nèi)容，讀者將深入理解自動(dòng)駕駛車(chē)輛如何通過(guò)視覺(jué)傳感器捕捉、處理和理解外部環(huán)境，從而實(shí)現(xiàn)自動(dòng)化駕駛功能。 - **第1章 智能駕駛與視覺(jué)感知后處理** 從智能駕駛的整體發(fā)展脈絡(luò)入手，概述其發(fā)展歷程及各個(gè)分級(jí)，進(jìn)而探討視覺(jué)感知在其中的核心角色與應(yīng)用。 - **第2章 相機(jī)傳感器硬件系統(tǒng)** 專(zhuān)注于為視覺(jué)感知提供數(shù)據(jù)的核心硬件相機(jī)傳感器。從原理、時(shí)鐘源，到自動(dòng)駕駛中的選擇要求和車(chē)規(guī)級(jí)相機(jī)性能要求，為讀者展現(xiàn)了相機(jī)傳感器的全貌。 - **第3章 相機(jī)傳感器標(biāo)定** 詳細(xì)介紹了相機(jī)標(biāo)定的基礎(chǔ)知識(shí)和方法，如坐標(biāo)系轉(zhuǎn)換、相機(jī)模型、以及多種標(biāo)定方法。 - **第4章 車(chē)道線(xiàn)后處理** 深入探討了車(chē)道線(xiàn)檢測(cè)、擬合、跟蹤以及與智能駕駛功能的關(guān)聯(lián)。無(wú)論是傳統(tǒng)的圖像處理方法，還是基于深度學(xué)習(xí)的技術(shù)，都有所涉及。 - **第5章 障礙物后處理** 從障礙物檢測(cè)、測(cè)距，到紅綠燈和標(biāo)識(shí)牌的處理，此章詳細(xì)解讀了如何在視覺(jué)中識(shí)別和處理各種障礙物，以確保駕駛的安全性。 - **第6章 智能駕駛中多相機(jī)感知后處理** 當(dāng)多個(gè)相機(jī)傳感器同時(shí)工作時(shí)，如何融合它們的數(shù)據(jù)是一個(gè)挑戰(zhàn)。本章探討了雙目視覺(jué)處理、多相機(jī)融合算法以及與NOA的關(guān)系。 無(wú)論您是自動(dòng)駕駛領(lǐng)域的研究者、工程師，還是對(duì)此技術(shù)感興趣的讀者，本書(shū)都將為您提供寶貴的參考和啟示。"
為什么要寫(xiě)這本書(shū)
隨著新能源汽車(chē)的普及，搭載高級(jí)智能駕駛系統(tǒng)的車(chē)輛越來(lái)越多。與此同時(shí)，隨著新算法以及大算力SoC芯片的應(yīng)用，智能駕駛的核心技術(shù)取得了突破性進(jìn)展。感知模塊作為智能駕駛系統(tǒng)中的關(guān)鍵模塊，主要基于車(chē)輛的行駛性能和共識(shí)規(guī)則，實(shí)時(shí)、可靠、準(zhǔn)確地探測(cè)車(chē)輛周?chē)h(huán)境給行駛帶來(lái)的安全隱患，為下游的規(guī)控模塊提供必要的信息，以便采取適當(dāng)?shù)牟僮鞔胧﹣?lái)避免交通事故的發(fā)生。視覺(jué)感知作為智能駕駛系統(tǒng)的眼睛，通過(guò)高分辨率攝像頭和深度學(xué)習(xí)技術(shù)，能夠捕捉到道路上的各種細(xì)節(jié)（如車(chē)道線(xiàn)、交通標(biāo)識(shí)牌、行人、車(chē)輛等），并轉(zhuǎn)換為下游所需的信息。因此，從事智能駕駛工作的相關(guān)人員有必要了解視覺(jué)感知方面的知識(shí)。目前，市面上智能駕駛感知方面的技術(shù)資料不少，但關(guān)于視覺(jué)感知后處理技術(shù)的著作不多。考慮到目前國(guó)內(nèi)缺乏系統(tǒng)介紹智能駕駛視覺(jué)感知后處理方法的書(shū)籍，我編寫(xiě)了本書(shū)。近年來(lái)，人工智能技術(shù)的發(fā)展日新月異，本書(shū)中所提到的一些算法和技術(shù)將不斷被更新，甚至被淘汰。但萬(wàn)變不離其宗，其背后的基本原理不會(huì)變，因此本書(shū)可以為讀者研究和應(yīng)用智能駕駛視覺(jué)感知后處理技術(shù)提供參考。
讀者對(duì)象
本書(shū)適合以下人群閱讀。
●從事智能駕駛研發(fā)工作的科研機(jī)構(gòu)人員、企業(yè)研究人員和工程師。
●車(chē)輛工程、自動(dòng)駕駛專(zhuān)業(yè)的學(xué)生。
●對(duì)自動(dòng)駕駛感知技術(shù)和多傳感器融合感興趣的讀者。
如何閱讀本書(shū)
全書(shū)共分為6章。第1章概述了智能駕駛的歷史演進(jìn)與分類(lèi)標(biāo)準(zhǔn)，深入探討了視覺(jué)感知在智能駕駛中的實(shí)際應(yīng)用。第2章詳細(xì)介紹了攝像頭的硬件組成及攝像頭在自動(dòng)駕駛中的關(guān)鍵作用，并結(jié)合實(shí)際應(yīng)用場(chǎng)景與安裝位置，對(duì)攝像頭的關(guān)鍵參數(shù)與性能要求進(jìn)行了全面闡述。第3章對(duì)攝像頭成像模型與標(biāo)定技術(shù)進(jìn)行了專(zhuān)業(yè)解析，概述了科研與量產(chǎn)中廣泛應(yīng)用的標(biāo)定方法。第4章簡(jiǎn)要介紹了車(chē)道線(xiàn)檢測(cè)技術(shù)，并重點(diǎn)闡述了車(chē)道線(xiàn)的后處理與跟蹤策略。第5章深入探討了視覺(jué)障礙物檢測(cè)技術(shù)的發(fā)展現(xiàn)狀，重點(diǎn)講解了障礙物測(cè)距與目標(biāo)跟蹤方法，同時(shí)介紹了紅綠燈、交通標(biāo)識(shí)牌等的視覺(jué)處理手段，并結(jié)合智能駕駛功能，針對(duì)量產(chǎn)中常見(jiàn)的問(wèn)題提出了實(shí)用的解決方法。第6章對(duì)多攝像頭標(biāo)定技術(shù)進(jìn)行了詳細(xì)闡述，并重點(diǎn)介紹了多攝像頭融合算法，最后對(duì)目前流行的BEV算法進(jìn)行了簡(jiǎn)要介紹。
勘誤和支持
由于我的水平有限，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者表達(dá)不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。
致謝
感謝一起合作過(guò)的同行，正是因?yàn)榕c各位同行的深入交流、緊密合作以及項(xiàng)目經(jīng)驗(yàn)的不斷積累，我才有了撰寫(xiě)本書(shū)的想法。在本書(shū)創(chuàng)作過(guò)程中，他們?yōu)槲姨峁┝嗽S多寶貴的建議和寫(xiě)作思路，使我得以不斷豐富和完善書(shū)中的內(nèi)容。感謝西北工業(yè)大學(xué)亞軍老師幫忙收集資料和提供相關(guān)的思路，感謝心滿(mǎn)、炳剛、瑛哥、小徐同學(xué)、豆哥、豆包以及其他好朋友的鼎力相助。感謝我的愛(ài)人，她在我寫(xiě)作期間承擔(dān)了很多家庭責(zé)任，讓我能夠全心全意地投入到創(chuàng)作中。她的理解與包容，讓我在寫(xiě)作過(guò)程中更加從容與自在。感謝孩子的日常鼓勵(lì)和提醒，他那明朗的笑容一直激勵(lì)著我。
前 言
第1章 智能駕駛與視覺(jué)感知后處理1
1.1 智能駕駛概述1
1.1.1 智能駕駛的發(fā)展1
1.1.2 智能駕駛系統(tǒng)的分級(jí)2
1.1.3 智能駕駛系統(tǒng)的發(fā)展趨勢(shì)5
1.2 視覺(jué)感知在智能駕駛中的應(yīng)用7
1.2.1 計(jì)算機(jī)視覺(jué)概述7
1.2.2 計(jì)算機(jī)視覺(jué)原理7
1.2.3 計(jì)算機(jī)視覺(jué)在智能駕駛中的應(yīng)用8
1.2.4 視覺(jué)后處理與智能駕駛9
1.2.5 視覺(jué)感知在智能駕駛中的發(fā)展趨勢(shì)10
第2章 攝像頭硬件系統(tǒng)11
2.1 攝像頭的硬件組成和工作原理12
2.2 攝像頭時(shí)間戳15
2.3 攝像頭在自動(dòng)駕駛中的應(yīng)用17
2.4 攝像頭關(guān)鍵參數(shù)21
2.5 車(chē)規(guī)級(jí)攝像頭性能要求21
第3章 攝像頭標(biāo)定24
3.1 攝像頭標(biāo)定數(shù)學(xué)知識(shí)24
3.1.1 外積24
3.1.2 歐氏變換25
3.1.3 旋轉(zhuǎn)矩陣與旋轉(zhuǎn)向量26
3.1.4 變換矩陣和齊次坐標(biāo)27
3.1.5 歐拉角28
3.1.6 四元數(shù)29
3.2 坐標(biāo)系概述30
3.2.1 世界坐標(biāo)系到攝像頭坐標(biāo)系的轉(zhuǎn)換30
3.2.2 攝像頭坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換31
3.2.3 圖像坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換32
3.3 攝像頭成像模型33
3.3.1 針孔攝像頭成像模型34
3.3.2 魚(yú)眼攝像頭成像模型38
3.4 攝像頭標(biāo)定方法40
3.4.1 張正友標(biāo)定法41
3.4.2 產(chǎn)線(xiàn)EoL標(biāo)定法43
3.4.3 售后標(biāo)定法45
3.4.4 行車(chē)自標(biāo)定法47
3.4.5 消失點(diǎn)標(biāo)定法47
3.4.6 基于車(chē)道線(xiàn)寬度假設(shè)標(biāo)定法52
第4章 車(chē)道線(xiàn)檢測(cè)及后處理53
4.1 車(chē)道線(xiàn)檢測(cè)53
4.1.1 基于傳統(tǒng)圖像算法的車(chē)道線(xiàn)檢測(cè)方法53
4.1.2 基于深度學(xué)習(xí)的車(chē)道線(xiàn)檢測(cè)方法59
4.2 車(chē)道線(xiàn)曲線(xiàn)擬合68
4.2.1 常用的擬合算法68
4.2.2 車(chē)道線(xiàn)曲線(xiàn)模型78
4.3 車(chē)道線(xiàn)跟蹤81
4.3.1 車(chē)道線(xiàn)關(guān)聯(lián)82
4.3.2 濾波跟蹤原理83
4.3.3 車(chē)道線(xiàn)跟蹤的運(yùn)動(dòng)模型84
4.3.4 基于擴(kuò)展卡爾曼濾波的車(chē)道線(xiàn)跟蹤90
4.3.5 車(chē)道線(xiàn)結(jié)構(gòu)化假設(shè)95
4.4 車(chē)道線(xiàn)與輔助駕駛功能99
4.4.1 C-NCAP2021與車(chē)道線(xiàn)99
4.4.2 車(chē)道線(xiàn)偏離預(yù)警100
4.4.3 常見(jiàn)問(wèn)題以及解決方法103
第5章 視覺(jué)障礙物后處理110
5.1 視覺(jué)障礙物檢測(cè)110
5.1.1 基于傳統(tǒng)圖像算法的障礙物檢測(cè)方法110
5.1.2 基于深度學(xué)習(xí)的障礙物檢測(cè)方法122
5.2 障礙物測(cè)距130
5.2.1 車(chē)輛測(cè)距130
5.2.2 行人、騎行人、兩輪車(chē)測(cè)距149
5.3 基于視覺(jué)的目標(biāo)跟蹤152
5.3.1 目標(biāo)跟蹤方法153
5.3.2 多目標(biāo)跟蹤方法164
5.4 紅綠燈與交通標(biāo)識(shí)牌的視覺(jué)后處理170
5.4.1 紅綠燈視覺(jué)后處理170
5.4.2 交通標(biāo)識(shí)牌視覺(jué)后處理175
5.5 視覺(jué)后處理與輔助駕駛功能177
5.5.1 CNCAP中的AEB177
5.5.2 AEB與視覺(jué)測(cè)距183
5.5.3 常見(jiàn)問(wèn)題以及解決方法187
5.5.4 視覺(jué)后處理總結(jié)196
第6章 多攝像頭感知后處理197
6.1 多攝像頭標(biāo)定198
6.1.1 雙目攝像頭標(biāo)定198
6.1.2 多攝像頭標(biāo)定199
6.2 多攝像頭融合201
6.2.1 多攝像頭立體匹配201
6.2.2 多攝像頭圖像處理209
6.2.3 多攝像頭目標(biāo)融合214
6.2.4 多攝像頭下的車(chē)道線(xiàn)融合217
6.3 多視覺(jué)感知后處理與BEV算法220
書(shū)單推薦
