Halcon 機器視覺算法原理與編程實戰

楊青，北京大學軟體工程碩士，現任某科研單位圖像演算法主管。2010年以來一直從事圖像視覺演算法與軟體研發工作，2015年起開始主導機器視覺專案，曾負責雙目立體視覺探測、基於機器視覺的自動化產品檢測、顯示器缺陷檢測、智慧識別等多個視覺專案。為醫療、航太、工業、科研等多個領域的客戶提供了智慧場景的機器視覺系統的軟硬體方案。

第1章　機器視覺概述 002
1.1什麼是機器視覺 003
1.2機器視覺與電腦視覺的區別 003
1.3機器視覺的工作原理 005
1.4機器視覺的應用領域 006

第2章　如何做機器視覺專案 008
2.1專案的前期準備 009
2.1.1從 5個方面初步分析客戶需求 009
2.1.2方案評估與驗證 009
2.1.3簽訂合同 010
2.2專案規劃 011
2.2.1定義客戶的詳細需求 011
2.2.2制訂項目管理計畫 011
2.2.3方案評審 012
2.3詳細設計 012
2.3.1硬體設備的選擇與環境搭建 012
2.3.2軟體發展平臺與開發工具的選擇 013
2.3.3機器視覺系統的整體框架與開發流程 013
2.3.4交互介面設計 014
2.3.5 Halcon與開發工具 014
2.4項目交付 015
2.4.1軟體功能測試 015
2.4.2現場調試 015
2.4.3系統維護 016

第3章　硬體環境搭建 017
3.1相機 018
3.1.1相機的主要參數 018
3.1.2相機的種類 019
3.1.3相機的介面 020
3.1.4相機的選型 020
3.2圖像採集卡 022
3.2.1圖像採集卡的種類 022
3.2.2圖像採集卡的選型 023
3.3鏡頭 023
3.4光源 024
3.5實例：硬體選型 025

第4章　軟體圖像採集 026
4.1獲取非即時圖像 027
4.1.1讀取影像檔 027
4.1.2讀取視頻檔 028
4.2獲取即時圖像 030
4.2.1 Halcon的圖像採集步驟 030
4.2.2 使用 Halcon介面連接相機 030
4.2.3 使用相機的 SDK採集圖像 033
4.2.4外部觸發採集圖像 033
4.3 多相機採集圖像 034
4.4 Halcon圖像的基本結構 035
4.5 實例：採集 Halcon圖像並進行簡單處理036

第5章　圖像預處理 040
5.1圖像的變換與校正 041
5.1.1二維圖像的平移、旋轉和縮放 041
5.1.2圖像的仿射變換 042
5.1.3投影變換 042
5.1.4實例：透視形變圖像校正 043
5.2 感興趣區域（ROI）045
5.2.1 ROI的意義 045
5.2.2創建 ROI045
5.3 圖像增強046
5.3.1長條圖均衡 046
5.3.2增強對比度 ·048
5.3.3處理失焦圖像 049
5.4 圖像平滑與去噪 049
5.4.1均值濾波 049
5.4.2中值濾波 050
5.4.3高斯濾波 051
5.5 光照不均勻 052

第6章　圖像分割 054
6.1閾值處理 055
6.1.1全域閾值 055
6.1.2基於長條圖的自動閾值分割方法 056
6.1.3自動全域閾值分割方法 057
6.1.4局部閾值分割方法 058
6.1.5其他閾值分割方法 060
6.2 區域生長法062
6.2.1 regiongrowing運算元062
6.2.2 regiongrowing_mean運算元064
6.3 分水嶺演算法065

第7章　顏色與紋理067
7.1圖像的顏色068
7.1.1圖像的色彩空間068
7.1.2 Bayer圖像069
7.1.3顏色空間的轉換070
7.2 顏色通道的處理 070
7.2.1圖像的通道 071
7.2.2訪問通道 071
7.2.3通道分離與合併 071
7.2.4處理 RGB資訊 073
7.3實例：利用顏色資訊提取背景相似的字元區域 074
7.4 紋理分析 075
7.4.1紋理濾波器 075
7.4.2實例：織物折痕檢測 076

第8章　圖像的形態學處理 077
8.1腐蝕與膨脹 078
8.1.1結構元素 078
8.1.2腐蝕 078
8.1.3膨脹 080
8.2開運算與閉運算 082
8.2.1開運算 082
8.2.2閉運算 084
8.3頂帽運算與底帽運算 085
8.3.1頂帽運算 086
8.3.2底帽運算 086
8.3.3頂帽運算與底帽運算的應用 087
8.4灰度圖像的形態學運算 089
8.4.1灰度圖像與區域的區別 089
8.4.2灰度圖像的形態學運算效果及常用運算元 089
8.5實例：粘連木材圖像的目標分割與計數 091

第9章　特徵提取 095
9.1區域形狀特徵 096
9.1.1區域的面積和中心點 096
9.1.2封閉區域（孔洞）的面積 097
9.1.3根據特徵值選擇區域 098
9.1.4根據特徵值創建區域 100
9.2基於灰度值的特徵 103
9.2.1區域的灰度特徵值 103
9.2.2區域的最大、最小灰度值 105
9.2.3灰度的平均值和偏差 106
9.2.4灰度區域的面積和中心 107
9.2.5根據灰度特徵值選擇區域 107
9.3基於圖像紋理的特徵 109
9.3.1灰度共生矩陣 109
9.3.2創建灰度共生矩陣 110
9.3.3用共生矩陣計算灰度值特徵 111
9.3.4計算共生矩陣並匯出其灰度值特徵 111
9.3.5實例：提取圖像的紋理特徵 112

第10 章　邊緣檢測 115
10.1圖元級邊緣提取 116
10.1.1經典的邊緣檢測運算元 116
10.1.2邊緣檢測的一般流程 117
10.1.3 sobel_amp運算元 117
10.1.4 edges_image運算元 120
10.1.5其他濾波器 122
10.2亞圖元級邊緣提取 124
10.2.1 edges_sub_pix運算元 125
10.2.2 edges_color_sub_pix運算元 126
10.2.3 lines_gauss運算元 127
10.3輪廓處理 129
10.3.1輪廓的生成 130
10.3.2輪廓的處理 130

第11 章　範本匹配134
11.1範本匹配的種類 135
11.1.1基於灰度值的範本匹配 135
11.1.2基於相關性的範本匹配 136
11.1.3基於形狀的範本匹配 136
11.1.4基於元件的範本匹配 137
11.1.5基於形變的範本匹配 138
11.1.6基於描述符的範本匹配 138
11.1.7基於點的範本匹配 139
11.1.8範本匹配方法總結 139
11.2圖像金字塔 140
11.3範本圖像 142
11.3.1從參考圖像的特定區域中創建範本 ·142
11.3.2使用 XLD輪廓創建範本 143
11.4範本匹配的步驟 143
11.4.1基於灰度值的範本匹配 143
11.4.2基於相關性的範本匹配 145
11.4.3基於形狀的範本匹配 147
11.4.4基於元件的範本匹配 149
11.4.5基於局部形變的範本匹配 150
11.4.6基於透視形變的範本匹配 152
11.4.7基於描述符的範本匹配 153
11.4.8優化匹配速度 155
11.4.9使用 Halcon匹配助手進行匹配 156
11.5實例：指定區域的形狀匹配 159

第12 章　圖像分類 163
12.1分類器 164
12.1.1分類的基礎知識 164
12.1.2 MLP分類器 166
12.1.3 SVM分類器 166
12.1.4 GMM分類器 166
12.1.5 k-NN分類器 167
12.1.6選擇合適的分類器 167
12.1.7選擇合適的特徵 168
12.1.8選擇合適的訓練樣本 168
12.2特徵的分類 169
12.2.1一般步驟 169
12.2.2 MLP分類器 170
12.2.3 SVM分類器 176
12.2.4 GMM分類器 176
12.2.5 k-NN分類器 177
12.3光學字元辨識 178
12.3.1一般步驟 179
12.3.2 OCR實例 179