精通 Elastic Stack (Mastering Elastic Stack)

作者:(印)Y.古普塔

譯者:高凱  岳重陽  苗雪立 張思琪

目錄
第1章Elastic Stack概述1 
1.1ELK Stack簡介1 
1.1.1Logstash2 
1.1.2Elasticsearch3 
1.1.3Kibana3 
1.2Elastic Stack的誕生3 
1.3誰在使用Elastic Stack?4 
1.3.1Salesforce5 
1.3.2CERN5 
1.3.3Green Man Gaming5 
1.4競爭者6 
1.5設置Elastic Stack的使用環境6 
1.5.1安裝Java6 
1.5.2安裝Elasticsearch9 
1.5.3安裝Kibana12 
1.5.4安裝Logstash15 
1.5.5安裝Filebeat16 
1.6X Pack簡介18 
1.7本章小結19 

第2章走進Elasticsearch20 
2.1 Elasticsearch的起源20 
2.2了解Elasticsearch的體系結構22 
2.2.1推薦的集群配置23 
2.2.2了解文檔處理24 
2.3Elasticsearch API25 
2.3.1有關文檔的API25 
2.3.2有關搜索的API38
2.3.3有關索引的API43 
2.3.4Cat API51 
2.3.5Cluster API52 
2.4Query DSL52 
2.5聚合52 
2.5.1Buckets聚合52 
2.5.2Metrics聚合59 
2.6Painless腳本說明64 
2.7本章小結66 

第3章探索Logstash及其組件67 
3.1Logstash簡介68 
3.2為什麼需要用Logstash68 
3.3Logstash的特點69 
3.4Logstash插件的體系架構70 
3.5Logstash配置文件的結構71 
3.5.1值類型71 
3.5.2條件判斷的用法73 
3.6插件種類74 
3.6.1數據輸入插件Input74 
3.6.2數據過濾插件Filter74 
3.6.3數據輸出插件Output75 
3.6.4編解碼插件Codec75 
3.7學習數據輸入插件Input76 
3.7.1stdin77 
3.7.2file78 
3.7.3path79 
3.7.4udp82 
3.8學習數據過濾插件Filter83 
3.8.1grok84 
3.8.2mutate86
3.8.3csv89 
3.9學習數據輸出插件Output90 
3.9.1stdout90 
3.9.2file91 
3.9.3elasticsearch93 
3.10學習編解碼插件Codec95 
3.10.1rubydebug95 
3.10.2json96 
3.10.3avro96 
3.10.4multiline97 
3.11插件的命令行操作99 
3.11.1列出插件列表100 
3.11.2安裝插件100 
3.11.3移除插件101 
3.11.4更新插件101 
3.11.5壓縮插件102 
3.11.6解壓插件102 
3.12Logstash的命令行操作103 
3.13使用Logstash的小技巧105 
3.13.1引用字段及其值106 
3.13.2添加自定義的grok模式106 
3.13.3Logstash不顯示任何輸出信息107 
3.14用於解析日誌的Logstash配置108 
3.14.1Catalina日誌示例108 
3.14.2Tomcat日誌示例108 
3.14.3基於grok模式的Catalina日誌109 
3.14.4基於grok模式的Tomcat日誌示例109 
3.14.5Logstash配置文件110
3.15監控系統相應狀態信息的API112 
3.15.1節點信息API113 
3.15.2插件信息API115 
3.15.3節點狀態API116 
3.15.4Hot threads API116 
3.16本章小結117 

第4章Kibana界面118 
4.1Kibana及其功能118 
4.2探索Discover界面120 
4.3時間過濾器121 
4.3.1快捷時間過濾器122 
4.3.2相對時間過濾器122 
4.3.3絕對時間過濾器122 
4.3.4自動刷新122 
4.4查詢和搜索數據123 
4.4.1全文檢索123 
4.4 .2範圍搜索123 
4.4.3布爾搜索124 
4.4.4鄰近搜索124 
4.4.5通配符搜索124 
4.4.6正則表達式搜索125 
4.4.7分組125 
4.5字段和過濾器125 
4.5.1過濾字段125 
4.5. 2過濾器的功能126 
4.6查詢頁面選項127 
4.7探索Visualize界面127 
4.7.1了解聚合129 
4.7.2可視化畫布133 
4.7.3面積圖133 
4.7.4數據表133
4.7.5折線圖133 
4.7.6氣泡圖133 
4.7.7Markdown部件134 
4.7.8Metric134 
4.7.9餅圖134 
4.7.10標籤雲134 
4.7.11瓦片地圖134 
4.7.12時間序列134 
4.7.13直方圖134 
4.8探索Dashboard界面135 
4.9了解Timelion137 
4.10探索開發者工具139 
4.11探索設置界面140 
4.11.1索引模式141 
4.11.2已保存的對象141 
4.11.3高級設置141 
4.11.4狀態143 
4.12綜合應用143 
4.12 .1輸入數據143 
4.12.2創建Logstash配置文件144 
4.12.3使用Kibana147 
4.12.4在Kibana中創建面板155 
4.13本章小結157 

第5章使用Beats158 
5.1Beats簡介158 
5.2Beats與Logstash的不同之處159 
5.3 Beats如何融入Elastic Stack160 
5.4不同類型的Beats組件概述162 
5.4.1Elastic團隊開發的Beats組件162
5.4.2社區開發者開發的Beats組件164 
5.5Elastic團隊開發的Beats組件164 
5.5.1了解Filebeat165 
5.5.2理解Metricbeat172 
5.5.3理解Packetbeat177 
5.6社區開發者開發的Beats組件179 
5.7Beats在Elastic Stack中的實戰182 
5.7.1用Logstash和Kibana探索Metricbeat182 
5.7.2用Elasticsearch和Kibana探索Elasticbeat191 
5.8本章小結195 

第6章Elastic Stack實戰196 
6.1理解問題場景196 
6.2準備Elastic Stack管道199 
6.2.1要獲取什麼數據? 200 
6.2.2更新體系結構200 
6.3配置Elastic Stack組件201 
6.3.1搭建Elasticsearch202 
6.3.2搭建agents/Beats202 
6.3.3搭建Logstash207 
6.3.4設置Kibana213 
6.4設置Kibana面板213 
6.4.1Packetbeat214 
6.4.2Metricbeat214 
6.4.3查看數據庫(MySQL)性能215 
6.4.4分析CPU的使用216
6.4.5內存使用情況217 
6.4.6檢查日誌217 
6.4.7尋找訪問最多的網頁219 
6.4.8訪客地圖219 
6.4.9一定時間範圍內的訪客數量220 
6.4.10請求類型221 
6.4.11錯誤類型——日誌的級別221 
6.4.12首選的referrer223 
6.4.13首選的代理agent223 
6.5使用Logstash電子郵件功能發警報224 
6.6使用消息代理225 
6.7本章小結226 

第7章個性化定制Elastic Stack227 
7.1擴展Elasticsearch227 
7.1. 1Elasticsearch開發環境228 
7.1.2剖析一個Elasticsearch Java插件229 
7.1.3構建插件230 
7.2擴展Logstash231 
7.3擴展Beats239 
7.3.1Libbeat框架239 
7.3.2創建一個Beat240 
7.4擴展Kibana251 
7.4.1設置Kibana開發環境252 
7.4.2生成一個插件253 
7.4.3剖析一個插件254 
7.5本章小結257 

第8章Elasticsearch API258 
8.1集群API258
8.1.1集群健康狀況258 
8.1.2集群狀態260 
8.1.3集群統計信息261 
8.1.4待處理任務261 
8.1.5集群重路由261 
8.1.6集群更新設置262 
8.1.7節點統計信息262 
8.1. 8節點信息API263 
8.1.9任務管理API264 
8.2Cat API265 
8.3Elasticsearch模塊268 
8.3.1集群模塊269 
8.3.2Discovery模塊269 
8.3.3Gateway模塊269 
8.3.4HTTP模塊269 
8.3.5索引模塊269 
8.3.6網絡模塊269 
8.3.7節點客戶端270 
8.3.8插件模塊270 
8.3.9腳本270 
8.3.10快照/恢復模塊271 
8.3.11線程池271 
8.3.12Transport模塊271 
8.3.13Tribe節點模塊272 
8.4Ingest節點272 
8.5Elasticsearch客戶端276 
8.5.1支持的客戶端276 
8.5.2社區提供的客戶端276 
8.6Java API277 
8.6.1連接到集群277 
8.6.2管理任務278
8.6.3索引級任務281 
8.7Elasticsearch插件286 
8.7.1Discovery插件287 
8.7.2Ingest插件287 
8.7.3Elasticsearch SQL288 
8.8本章小結289 

第9章X Pack插件中的Security與Monitoring組件290 
9.1X Pack介紹290 
9.2X Pack的安裝291 
9.2.1在Elasticsearch中安裝X Pack291 
9.2.2在Kibana中安裝X Pack292 
9.2.3在離線系統中安裝X Pack292 
9.2.4卸載X Pack293 
9.3Security組件294 
9.3.1列出所有Security中的用戶295 
9.3.2列出Security中的角色296 
9.3.3了解Security中的角色297 
9.3.4理解默認用戶角色299 
9.3.5在Security中添加新角色299 
9.3.6在Security中更新角色300 
9.3. 7了解字段級的Security301 
9.3.8在Security中添加新用戶302 
9.3.9在Security中更新用戶詳細信息303 
9.3.10在Security中修改用戶密碼304 
9.3.11在Security中刪除角色304
9.3.12在Security中刪除用戶304 
9.4查看X Pack信息305 
9.5Monitoring組件307 
9.5.1探索Elasticsearch的監控統計308 
9.5.2探索Kibana的監控統計314 
9.6了解Profiler315 
9.7本章小結317 

第10章X Pack插件中的Alerting、Graph和Reporting組件318 
10.1Alerting與Notification組件318 
10.2Graph組件336 
10.3Reporting組件341 
10.4本章小結344 

 第11章 最佳实践范例345
11.1为什么需要最佳实践范例345
11.2了解你的用例346
11.3管理配置文件347
11.3.1Elasticsearch——elasticsearch.yml347
11.3.2Kibana——kibana.yml348
11.4选择正确的硬件348
11.4.1内存349
11.4.2磁盘351
11.4.3输入输出353
11.4.4CPU354
11.4.5网络354
11.5搜索和索引性能354
11.5.1过滤缓存354
11.5.2Fielddata的容量355
11.5.3索引缓冲区356
11.6调整Elasticsearch集群357
11.6.1选择正确的节点357
11.6.2确定节点数359
11.6.3确定分片数360
11.6.4缩减磁盘空间361
11.7Logstash配置文件361
11.7.1对多个数据源分类362
11.7.2使用conditional条件362
11.7.3使用自定义grok模式363
11.7.4简化grokparsefailure363
11.7.5字段的映像363
11.7.6动态模板363
11.7.7测试配置364
11.8重新索引数据364
11.9本章小结365

第12章案例分析——Meetup366 
12.1了解Meetup使用場景366 
12.2環境搭建367 
12.2.1理解Meetup API368 
12.2.2搭建Elasticsearch370 
12.2.3準備Logstash370 
12.2.4搭建Kibana374 
12.3使用Kibana分析數據374 
12.3.1內容過濾375 
12.3.2按國家統計Meetup使用量377 
12.3.3世界前10座使用Meetup的城市379 
12.3.4按持續時間分析Meetup發展趨勢380 
12.3.5按RSVP計數統計Meetup使用量383
12.3.6國家分組統計384 
12.3.7加入群組的模式統計384 
12.3.8熱門類別385 
12.3.9熱門話題387 
12.3.10Meetup活動場所地圖388 
12.3.11Meetup活動地圖389 
12.3.12僅數量方面的統計389 
12.4獲取通知390 
12.5本章小結393