機器視覺技術與應用實戰

丁少华，深圳市视觉龙科技有限公司董事长兼总经理，江苏省“创新创业”人才，江苏省机器人与智能装备技术委员会专家，深圳国家高技术产业创新中心专家库成员，中国机器视觉产业联盟（CMVU）首任主席。 曾先后就读于武汉理工大学和华中科技大学，分别获得硕士和博士学位，博士期间师从杨叔子院士、段正澄院士和李培根院士，在专家系统、神经网络的理论基应用方面具有较高的造诣。之后作为博士后研究员在英国杜伦大学（Durham University）从事人工智能领域专家系统应用及软件开发。 有7年海外工作经验，其中4年国外院校教学经验，曾先后任职新加坡EC-Asia International CTO, 新加坡MOSS Labs CTO，香港上市公司日东集团主任工程师等重要职位。2002年回国后创办了“视觉龙”品牌，直专注机器视觉领域的研发及产业化工作17年，主导研发项目超过50项，获得知识产权50余项，发表论文20余篇。

李雄军，深圳大学物理与光电工程学院副教授，硕士生导师。华中科技大学工业自动化专业学士、机械制造专业硕士和博士学位。武汉水利电力大学博士后，在香港城市大学、英国Huddersfield大学、香港大学进行过学术访问。主要研究兴趣包括机器视觉、模式识别与人工智能、深度学习、智能控制与检测技术、嵌入式系统设计与开发、机器人。在国内外权威期刊发篇论文30余篇，授权国家发明专利1项，申请国家发明专利2项。主持或参加完成国家自然科学基金、市科技基金多项，主持在研国家自然科学基金重大仪器专项子课题1项。2007年获深圳大学学术创新奖，近年来指导学生获得学科竞赛3项全国一等奖，1项全国二等奖，1项省级特等奖等多个奖项，曾获深圳大学优秀本科教学奖、“腾讯优秀教师奖”、蓝桥杯全国大赛“优秀指导教师奖”。

第 1篇 基礎篇

第　1章 機器視覺基礎　2

　1.1 機器視覺基本概念　2

1.1.1　機器視覺與電腦視覺的關系　2

1.1.2　機器視覺的特點與優勢　3

1.1.3　機器視覺系統　4

　1.2 機器視覺系統分類　6

1.2.1　按操作方式分類　6

1.2.2　按性能分類　8

　1.3 機器視覺發展史　10

1.3.1　國外機器視覺發展史　10

1.3.2　國內機器視覺發展史　11

　1.4 機器視覺市場分析　13

1.4.1　銷售額分析　13

1.4.2　專利分析　14

1.4.3　企業分析　14

　1.5 機器視覺應用場景　16

1.5.1　機器視覺典型應用　16

1.5.2　機器視覺應用行業　19

　1.6 小結　23

　習題與思考　23

第　2章 機器視覺算法基礎　25

　2.1 圖像生成與表示　25

2.1.1　物體成像　25

2.1.2　圖像量化　26

2.1.3　數字圖像格式　27

　2.2 圖像的基本變換　31

2.2.1　線性變換　31

2.2.2　灰度直方圖　32

2.2.3　圖像二值化　33

2.2.4　灰度的窗口變換　33

2.2.5　圖像的幾何變換　34

　2.3 圖像濾波與增強　40

2.3.1　圖像灰度修正　40

2.3.2　圖像平滑　41

2.3.3　中值濾波　41

2.3.4　傅里葉變換　41

2.3.5　頻率域濾波　44

　2.4 圖像形態學及常見的圖像處理工具　46

2.4.1　腐蝕與膨脹　46

2.4.2　開運算與閉運算　47

2.4.3　細化　47

2.4.4　其他常見的圖像處理工具　48

　2.5 BLOB分析　54

2.5.1　BLOB分析的主要功能　54

2.5.2　BLOB分析其他基礎及結果　55

　2.6 2D圖像匹配　61

2.6.1　圖像標定　61

2.6.2　相關性分析方法　64

2.6.3　幾何特徵匹配　66

　2.7 3D感知與目標識別　68

2.7.1　從2D圖像中得到3D信息　68

2.7.2　採用單目和透視縮放技術獲取深度信息　69

2.7.3　3D感知和匹配的理論基礎　74

2.7.4　3D模板和匹配　75

　2.8 小結　78

　習題與思考　78

第　2篇 機器視覺系統核心部件

第3章　工業相機　80

　3.1 工業相機基礎知識　80

3.1.1　CCD和CMOS傳感器芯片　80

3.1.2　相機的靶面尺寸和分辨率　82

3.1.3　相機的幀率/行頻　82

3.1.4　相機的快門速度和曝光方式　82

3.1.5　相機的增益和白平衡　83

3.1.6　相機的觸發模式　83

3.1.7　相機的接口　83

3.1.8　相機的取圖協議　84

3.1.9　相機選型　85

3.1.10　不同品牌相機介紹　86

3.1.11　相機文檔/手冊解讀　86

3.1.12　圖像採集卡　88

　3.2 面陣相機　88

3.2.1　面陣相機概述　89

3.2.2　面陣相機工作原理　89

　3.3 線陣相機　90

3.3.1　線陣相機概述　90

3.3.2　線陣相機工作原理　90

　3.4 三維視覺傳感器　93

3.4.1　三維視覺傳感器的分類　93

3.4.2　三維視覺傳感器產品介紹　94

　3.5 小結　97

　習題與思考　97

第4章　工業鏡頭　98

　4.1 鏡頭的基礎知識　98

4.1.1　鏡頭的焦距　98

4.1.2　鏡頭的光圈　98

4.1.3　鏡頭的景深　99

4.1.4　鏡頭的工作距離和視野　99

4.1.5　視覺檢測像素精度的計算公式　100

4.1.6　鏡頭的畸變及畸變校正　100

4.1.7　鏡頭接口　100

4.1.8　鏡頭選型　101

4.1.9　鏡頭對照表　101

　4.2 FA鏡頭　103

　4.3 遠心鏡頭　104

4.3.1　常見的遠心鏡頭類型　104

4.3.2　遠心鏡頭的應用場合　105

　4.4 線掃描鏡頭　106

　4.5 特種鏡頭　107

4.5.1　短波紅外鏡頭　107

4.5.2　長波紅外鏡頭　107

4.5.3　微距鏡頭　107

4.5.4　360°鏡頭　108

4.5.5　內側360°鏡頭　108

　4.6 小結　109

　習題與思考　109

第5章　機器視覺光源　110

　5.1 光源在視覺系統中的重要性　110

　5.2 光源的基礎知識　110

5.2.1　LED光源特點　110

5.2.2　直射光和漫射光　111

5.2.3　鏡面反射和漫反射　111

5.2.4　明視野和暗視野　112

5.2.5　色彩的互補色和增強色　113

　5.3 常用光源、定製光源及光源控制器　114

5.3.1　常用光源　114

5.3.2　定製光源　118

5.3.3　光源控制器　119

　5.4 光源選型和照明方式　120

5.4.1　現場需求　120

5.4.2　實物測試　120

　5.5 光源實驗台架　122

　5.6 小結　122

　習題與思考　123

第6章　視覺傳感器　124

　6.1 視覺傳感器概述　124

　6.2 視覺傳感器的特點　125

6.2.1　VDSR視覺傳感器介紹　125

6.2.2　功能特點　126

6.2.3　VDSR視覺傳感器的參數　126

6.2.4　VDSR視覺傳感器接口介紹　126

　6.3 視覺傳感器軟件介紹　127

6.3.1　VDSR視覺傳感器軟件主界面　127

6.3.2　檢測工具介紹　128

6.4　視覺傳感器軟件的多工具聯合使用方法　136

6.4.1　VDSR視覺傳感器軟件的邏輯工具　137

6.4.2　VDSR視覺傳感器軟件離線配置輸出　138

6.4.3　VDSR視覺傳感器通信　138

　6.5 小結　139

　習題與思考　139

第7章　智能相機　140

　7.1 智能相機的系統組成　140

7.1.1　處理器及操作系統　141

7.1.2　相機　141

7.1.3　視覺軟件　141

7.1.4　系統連接　141

　7.2 功能特點和系列介紹　141

7.2.1　功能特點　141

7.2.2　智能相機系列介紹　142

　7.3 智能相機軟件介紹　142

7.3.1　配置保存　143

7.3.2　圖像管理　143

7.3.3　任務管理　144

7.3.4　工具管理　144

　7.4 相機工具　145

7.4.1　相機設置工具　145

7.4.2　圖像保存工具　146

7.4.3　預處理工具　146

　7.5 標定校準　147

7.5.1　相機標定校準　147

7.5.2　標定校準工具　147

　7.6 視覺工具　148

7.6.1　幾何定位　149

7.6.2　斑塊定位　151

7.6.3　圓弧工具　155

7.6.4　直線工具　157

7.6.5　直線卡尺　159

7.6.6　顏色識別　161

7.6.7　輪廓缺陷　164

　7.7 邏輯控制　165

7.7.1　條件執行　165

7.7.2　條件分支　166

7.7.3　循環工具　167

　7.8 系統工具　168

7.8.2　生成文本　169

7.8.3　保存數據　170

7.8.4　接收文本　171

7.8.5　輸出數據　171

7.8.6　I/O工具　172

7.8.7　ModbusTCP　174

7.8.8　TCP客戶端　174

7.8.9　串口通信　175

7.8.10　與華數機器人的接口　176

7.8.11　三菱MX通信　178

　7.9 小結　180

　習題與思考　180

第3篇　機器視覺高級技術與工業應用案例

第8章　機器視覺系統設計方法　182

　8.1 性能指標定義與計算方法　182

8.1.1　相機分辨率　182

8.1.2　像素分辨率　182

8.1.3　缺陷分辨率　182

8.1.4　軟件測量分辨率　182

8.1.5　系統測量分辨率　183

　8.2 精度分析方法　183

8.2.1　測量精度與重復精度　183

8.2.2　影響系統重復性的因素　185

　8.3 機器視覺系統設計的難點　186

　8.4 機器視覺系統設計流程　187

　8.5 小結　190

　習題與思考　190

第9章　視覺定位與對位　191

　9.1 鋰電池視覺定位案例　191

9.1.1　案例背景　191

9.1.2　視覺定位需求　191

9.1.3　視覺系統總體實施方案　192

9.1.4　硬件選型與安裝　192

9.1.5　軟件實現　194

9.1.6　其他案例　197

　9.2 手機攝像頭對位貼合案例　197

9.2.1　案例背景　197

9.2.2　視覺對位需求　197

9.2.3　視覺系統總體實施方案　198

9.2.4　硬件選型與安裝　198

9.2.5　軟件應用　199

9.2.6　結果數據輸出　206

9.2.7　其他案例　206

　9.3 小結　207

　習題與思考　207

第　10章 機器人視覺引導　208

　10.1 機器人視覺引導基礎　208

10.1.1　機器人2D視覺引導　208

10.1.2　機器人3D視覺引導　210

　10.2 螺絲機視覺定位引導案例　215

10.2.1　案例背景　215

10.2.2　視覺檢測需求　215

10.2.3　視覺系統總體實施方案　215

10.2.4　硬件選型與安裝　216

10.2.5　軟件應用　217

10.2.6　結果數據輸出　221

10.2.7　其他案例　223

　10.3 金屬工件單目3D定位引導案例　224

10.3.1　案例背景　224

10.3.2　視覺檢測需求　224

10.3.3　硬件選型與安裝　224

10.3.4　軟件應用　225

10.3.5　其他案例　230

　10.4 小結　230

　習題與思考　230

第　11章 視覺測量　231

　11.1 測量算法　231

11.1.1　尺寸測量　231

11.1.2　形狀分析　232

11.2　手機攝像頭底座金屬框2D尺寸測量案例　233

11.2.1　案例背景　233

11.2.3　視覺系統總體實施方案　234

11.2.4　硬件選型與安裝　234

11.2.5　軟件應用　235

11.2.6　結果數據輸出　239

　11.3 金屬標定塊平面度檢測案例　240

11.3.1　案例背景　240

11.3.2　視覺檢測需求　241

11.3.3　視覺系統總體實施方案　241

11.3.4　硬件選型　241

11.3.5　軟件應用　241

11.3.6　結果數據輸出　248

11.3.7　其他案例　248

　11.4 小結　248

　習題與思考　248

第　12章 視覺讀碼與識別　249

　12.1 電池視覺條碼讀取案例　249

12.1.1　案例背景　249

12.1.2　視覺檢測需求　249

12.1.3　硬件選型與安裝　249

12.1.4　軟件應用　250

12.1.5　一維碼讀取案例配置　251

12.1.6　二維碼讀取案例配置　255

12.1.7　其他案例　258

　12.2 小結　258

　習題與思考　259

第　13章 視覺檢測　260

　13.1 背光模組外觀缺陷檢測案例　260

13.1.1　案例背景　260

13.1.2　視覺檢測需求　260

13.1.3　視覺應用優勢　261

13.1.4　硬件選型　261

13.1.5　案例場景　261

13.1.6　方案檢測流程　262

13.1.7　結果數據輸出　265

13.1.8　其他案例　265

　13.2 模具保護器案例　265

13.2.1　案例背景　265

13.2.2　視覺檢測需求　266

13.2.3　視覺應用優勢　266

13.2.4　硬件選型　267

13.2.5　軟件應用　267

13.2.6　結果數據輸出　273

13.2.7　其他應用案例　274

　13.3 小結　274

　習題與思考　274

第　14章 顏色分析　275

　14.1 色彩系統　275

14.1.1　RGB色彩系統　275

14.1.2　CMY色彩系統　276

14.1.3　HIS色彩系統　277

14.1.4　電視信號的YIQ與YUV系統　279

14.1.5　普通機器視覺系統的顏色支持和功能　279

　14.2 色差測量的原理　284

14.2.1　色差定義　285

14.2.2　顏色的混色系統表示　285

14.2.3　CIE1931顏色空間　285

14.2.4　CIE1976均勻顏色空間　285

14.2.5　色差公式　286

　14.3 圓餅玩具色差檢測案例　288

14.3.1　案例背景　288

14.3.2　視覺檢測需求　289

14.3.3　硬件選型　289

14.3.4　軟件應用　290

14.3.5　結果數據輸出　294

　14.4 色度與亮度測量的原理　294

　14.5 鍵盤色度與亮度檢測案例　296

14.5.1　視覺檢測需求　296

14.5.2　技術指標　296

14.5.3　案例總體方案　296

14.5.4　其他案例　301

　14.6 小結　301

　習題與思考　301

第　15章 深度學習技術及應用　302

　15.1 引言　302

15.1.1　基本概念與相互關系　302

15.1.2　機器學習的步驟與模型評價指標　303

　15.2 深度學習模型介紹　305

15.2.1　深度學習的起源——生物神經網絡　305

15.2.2　神經元模型　306

15.2.3　人工神經網絡　307

15.2.4　深度神經網絡　309

　15.3 BP神經網絡與梯度下降法　310

15.3.1　手寫數字識別BP神經網絡　310

15.3.2　前向傳播計算　312

　15.4 捲積神經網絡及LeNet-5網絡　314

15.4.1　捲積神經網絡　314

15.4.2　手寫體數字識別模型LeNet-5網絡　315

15.4.3　網絡訓練與測試　318

　15.5 深度學習框架　319

　15.6 深度學習在機器視覺中的應用　319

15.6.1　視覺智能的任務與挑戰　319

15.6.2　深度學習與視覺智能　320

15.6.3　深度學習在機器視覺領域的應用概述　321

15.7　基於深度學習的鋼管缺陷檢測案例　323

15.7.1　案例背景　323

15.7.2　鋼管外觀缺陷檢測需求　324

15.7.3　視覺系統總體實施方案　325

15.7.4　硬件選型　325

15.7.5　模型訓練與控制軟件配置　326

15.7.6　結果數據輸出　333

　15.8 小結　333

　習題與思考　333

參考文獻　334