大數據演算法 Algorithms for Big Data

Moran Feldman 譯祝全亮 孫琳

大數據演算法

買這商品的人也買了...

商品描述

網路的出現使人們第一次能夠存取大量的資料。
例如,社群網路Facebook中的友誼圖和網路網站之間的連結圖。
這兩幅圖都包含超過10億個節點,代表巨大的資料集。
如果要使用這些資料集,就必須對其進行處理和分析。
然而,僅僅是它們的大小就使得這種處理非常具有挑戰性。
特別是,為處理中等規模的資料集而開發的經典演算法和技術,在面對如此大的資料集時往往需要超出常規的時間和空間。
此外,在某些情況下,儲存整個資料集甚至是不可行的,因此,必須在資料集的各個部分對其進行處理,然後很快丟棄每部分。

上述挑戰推動了加工處理「大數據」(海量資料)的新工具和新技術的發展。
在本書中,我們對這項工作採取了計算機科學理論的觀點。
特別是,我們將研究旨在捕捉“大數據”計算帶來的挑戰的計算模型,以及為應對這些挑戰而開發的實際解決方案的特性。
我們將透過調查一些經典的演算法結果,包括許多最先進的結果,來了解這些計算模型中的每一個模型。

本書的設計有兩個相互矛盾的目標,如下所示:
(1)試圖在大數據背景下,給出計算機科學理論工作的一個大概的工作原理。
(2)力求做到有足夠的細節,使讀者能夠參與所涵蓋主題的研究工作。

目錄大綱

第1章 資料流演算法簡介……………………………………………………………… 1
1.1 資料流模型 …………………………………………………………………… 1
1.2 評估資料流演算法 ……………………………………………………………… 5
1.3 文獻說明(Bibliographic Notes)……………………………………………… 6
練習解析……………………………………………………………………………… 6
第2章 基本機率與尾界……………………………………………………………… 9
2.1 離散機率空間 ……………………………………………………………… 9
2.2 隨機變數…………………………………………………………………… 13
2.3 指標與二項分佈…………………………………………………………… 19
2.4 尾 界………………………………………………………………………… 20
練習解析 ………………………………………………………………………… 25
第3章 估計算法 …………………………………………………………………… 35
3.1 估計流長度的莫里斯演算法…………………………………………… 35
3.2 改善估計…………………………………………………………………… 39
3.3 結束語………………………………………………………………………… 44
3.4 文獻說明…………………………………………………………………… 44
練習解析 ………………………………………………………………………… 45
第4章 蓄水池採樣演算法 ……………………………………………………………… 51
4.1 均勻抽樣…………………………………………………………………… 51
4.2 近似中位數和分位數………………………………………………………… 53
4.3 加權抽樣…………………………………………………………………… 56
4.4 文獻說明…………………………………………………………………… 58
練習解析 ………………………………………………………………………… 59
第5章 成對獨立的雜湊函數 ……………………………………………………… 65
5.1 成對雜湊函數族…………………………………………………………… 65
5.2 成對獨立哈希族的簡單構造……………………………………………… 66
5.3 成對獨立哈希族和k 向獨立哈希族的高階構造 ……………………… 68
5.4 文獻說明…………………………………………………………………… 71
練習解析 ………………………………………………………………………… 71
第6章 計算不同代幣的數量 ………………………………………………………… 75
6.1 AMS演算法 ………………………………………………………………… 75
6.2 一種改良的演算法……………………………………………………………… 78
6.3 不可能的結果……………………………………………………………… 82
6.4 文獻說明…………………………………………………………………… 84
練習解析 ………………………………………………………………………… 85
第7章 Sketches …………………………………………………………………… 92
7.1 資料流模型的一般化………………………………………………… 92
7.2 最小計數Sketches ………………………………………………………… 95
7.3 計算Sketches ……………………………………………………………… 100
7.4 線性Sketches …………………………………………………………… 105
7.5 文獻說明 …………………………………………………………………… 106
練習解析………………………………………………………………………… 107
第8章 圖形資料流演算法……………………………………………………………… 114
8.1 概 述 …………………………………………………………………… 114
8.2 最大權匹配 ……………………………………………………………… 117
8.3 三角形計數 ……………………………………………………………… 125
8.4 文獻說明 ………………………………………………………………… 128
練習解析………………………………………………………………………… 129
第9章 滑動視窗模型……………………………………………………………… 135
9.1 概 述 …………………………………………………………………… 135
9.2 滑動視窗模型中的圖連通性 ……………………………………………… 137
9.3 平滑直方圖 ……………………………………………………………… 141
9.4 文獻說明 ………………………………………………………………… 147
練習解析………………………………………………………………………… 148
第10章 次線性時間演算法簡介 …………………………………………………… 154
10.1 簡單的例子……………………………………………………………… 154
10.2 估計直徑…………………………………………………………………… 156
10.3 查詢複雜性……………………………………………………………… 158
10.4 文獻說明………………………………………………………………… 158
練習解析………………………………………………………………………… 159
第11章 性能測試 …………………………………………………………………… 161
11.1 屬性測試演算法………………………………………………………… 161
11.2 測試n 個數字的清單是否重複 …………………………………… 163
11.3 列表模型和被排序列表的測試………………………………………… 166
11.4 半平面的像素模型及其檢定……………………………………………… 169
11.5 結束語…………………………………………………………………… 173
11.6 文獻說明…………………………………………………………………… 174
練習解析………………………………………………………………………… 175
第12章 有界度圖的演算法 ………………………………………………………… 182
12.1 計算連接組件數量……………………………………………………… 182
12.2 最小權生成樹…………………………………………………………… 186
12.3 最小頂點覆蓋…………………………………………………………… 188
12.4 測試圖形是否連通……………………………………………………… 196
12.5 文獻說明…………………………………………………………………… 200
練習解析………………………………………………………………………… 201
第13章 稠密圖的一種演算法 ………………………………………………………… 211
13.1 模 型…………………………………………………………………… 211
13.2 二部性檢定演算法………………………………………………………… 212
13.3 減少要檢查的分區數…………………………………………………… 214
13.4 取消假設………………………………………………………………… 217
13.5 文獻說明………………………………………………………………… 222
練習解析………………………………………………………………………… 222
第14章 布林函數的演算法 ………………………………………………………… 227
14.1 模 型…………………………………………………………………… 227
14.2 測試線性度……………………………………………………………… 228
14.3 單調性檢定……………………………………………………………… 232
14.4 文獻說明………………………………………………………………… 238
練習解析………………………………………………………………………… 239
第15章 Map-Reduce概述………………………………………………………… 243
15.1 關於 Map-Reduce的一些細節 ………………………………………… 244
15.2 Map-Reduce的理論模型 ……………………………………………… 247
15.3 績效指標…………………………………………………………… 249
15.4 不同的理論模型………………………………………………………… 251
15.5 文獻說明………………………………………………………………… 252
練習解析………………………………………………………………………… 253
第16章 列表的演算法 ……………………………………………………………… 256
16.1 計算 Word頻率………………………………………………………… 256
16.2 字首和…………………………………………………………………… 259
16.3 索 引…………………………………………………………………… 263
16.4 文獻說明…………………………………………………………………… 264
練習解析………………………………………………………………………… 264
第17章 圖演算法 …………………………………………………………………… 273
17.1 最小權重生成樹………………………………………………………… 273
17.2 三角形列表……………………………………………………………… 279
17.3 文獻說明…………………………………………………………………… 282
練習解析………………………………………………………………………… 283
第18章 局部敏感哈希 ……………………………………………………………… 289
18.1 主 旨…………………………………………………………………… 289
18.2 局部敏感雜湊函數族的範例……………………………………………… 291
18.3 放大局部敏感雜湊函數族……………………………………………… 293
18.4 文獻說明………………………………………………………………… 295
練習解析………………………………………………………………………… 296

類似商品