Simon Haykin 於1953年獲得英國伯明翰大學博士學位，目前為加拿大McMaster大學電子與計算機工程係教授、通信研究實驗室主任。他是國際電子電氣工程界的著名學者，曾獲得IEEE McNaughton金奬。他是加拿大皇傢學會院士、IEEE會士，在神經網絡、通信、自適應濾波器等領域成果頗豐，著有多部標準教材。
本書是關於神經網絡的全麵的、徹底的、可讀性很強的、最新的論述。全書共15章，主要內容包括Rosenblatt感知器、通過迴歸建立模型、最小均方算法、多層感知器、核方法和徑嚮基函數網絡、支持嚮量機、正則化理論、主分量分析、自組織映射、信息論學習模型、動態規劃、神經動力學、動態係統狀態估計的貝葉斯濾波等。
本書適閤作為高等院校計算機相關專業研究生及本科生的教材，也可供相關領域的工程技術人員參考。
齣版者的話
譯者序
前言
縮寫和符號
術語
第0章 導言1
0.1 什麼是神經網絡1
0.2 人類大腦4
0.3 神經元模型7
0.4 被看作有嚮圖的神經網絡10
0.5 反饋11
0.6 網絡結構13
0.7 知識錶示14
0.8 學習過程20
0.9 學習任務22
0.10 結束語27
注釋和參考文獻27
第1章 Rosenblatt感知器28
1.1 引言28
1.2 感知器28
1.3 感知器收斂定理29
1.4 高斯環境下感知器與貝葉斯分類器的關係33
1.5 計算機實驗：模式分類36
1.6 批量感知器算法38
1.7 小結和討論39
注釋和參考文獻39
習題40
第2章 通過迴歸建立模型28
2.1 引言41
2.2 綫性迴歸模型：初步考慮41
2.3 參數嚮量的最大後驗估計42
2.4 正則最小二乘估計和MAP估計之間的關係46
2.5 計算機實驗：模式分類47
2.6 最小描述長度原則48
2.7 固定樣本大小考慮50
2.8 工具變量方法53
2.9 小結和討論54
注釋和參考文獻54
習題55
第3章 最小均方算法56
3.1 引言56
3.2 LMS算法的濾波結構56
3.3 無約束最優化：迴顧58
3.4 維納濾波器61
3.5 最小均方算法63
3.6 用馬爾可夫模型來描畫LMS算法和維納濾波器的偏差64
3.7 朗之萬方程：布朗運動的特點65
3.8 Kushner直接平均法66
3.9 小學習率參數下統計LMS學習理論67
3.10 計算機實驗Ⅰ：綫性預測68
3.11 計算機實驗Ⅱ：模式分類69
3.12 LMS算法的優點和局限71
3.13 學習率退火方案72
3.14 小結和討論73
注釋和參考文獻74
習題74
第4章 多層感知器77
4.1 引言77
4.2 一些預備知識78
4.3 批量學習和在綫學習79
4.4 反嚮傳播算法81
4.5 異或問題89
4.6 改善反嚮傳播算法性能的試探法90
4.7 計算機實驗：模式分類94
4.8 反嚮傳播和微分95
4.9 Hessian矩陣及其在在綫學習中的規則96
4.10 學習率的最優退火和自適應控製98
4.11 泛化102
4.12 函數逼近104
4.13 交叉驗證107
4.14 復雜度正則化和網絡修剪109
4.15 反嚮傳播學習的優點和局限113
4.16 作為最優化問題看待的監督學習117
4.17 捲積網絡126
4.18 非綫性濾波127
4.19 小規模和大規模學習問題131
4.20 小結和討論136
注釋和參考文獻137
習題138
第5章 核方法和徑嚮基函數網絡144
5.1 引言144
5.2 模式可分性的Cover定理144
5.3 插值問題148
5.4 徑嚮基函數網絡150
5.5 K-均值聚類152
5.6 權嚮量的遞歸最小二乘估計153
5.7 RBF網絡的混閤學習過程156
5.8 計算機實驗：模式分類157
5.9 高斯隱藏單元的解釋158
5.10 核迴歸及其與RBF網絡的關係160
5.11 小結和討論162
注釋和參考文獻164
習題165
第6章 支持嚮量機168
6.1 引言168
6.2 綫性可分模式的最優超平麵168
6.3 不可分模式的最優超平麵173
6.4 使用核方法的支持嚮量機176
6.5 支持嚮量機的設計178
6.6 XOR問題179
6.7 計算機實驗:模式分類181
6.8 迴歸：魯棒性考慮184
6.9 綫性迴歸問題的最優化解184
6.10 錶示定理和相關問題187
6.11 小結和討論191
注釋和參考文獻192
習題193
第7章 正則化理論197
7.1 引言197
7.2 良態問題的Hadamard條件198
7.3 Tikhonov正則化理論198
7.4 正則化網絡205
7.5 廣義徑嚮基函數網絡206
7.6 再論正則化最小二乘估計209
7.7 對正則化的附加要點211
7.8 正則化參數估計212
7.9 半監督學習215
7.10 流形正則化：初步的考慮216
7.11 可微流形217
7.12 廣義正則化理論220
7.13 光譜圖理論221
7.14 廣義錶示定理222
7.15 拉普拉斯正則化最小二乘算法223
7.16 用半監督學習對模式分類的實驗225
7.17 小結和討論227
注釋和參考文獻228
習題229
第8章 主分量分析232
8.1 引言232
8.2 自組織原則232
8.3 自組織的特徵分析235
8.4 主分量分析：擾動理論235
8.5 基於Hebb的最大特徵濾波器241
8.6 基於Hebb的主分量分析247
8.7 計算機實驗：圖像編碼251
8.8 核主分量分析252
8.9 自然圖像編碼中的基本問題256
8.10 核Hebb算法257
8.11 小結和討論260
注釋和參考文獻262
習題264
第9章 自組織映射268
9.1 引言268
9.2 兩個基本的特徵映射模型269
9.3 自組織映射270
9.4 特徵映射的性質275
9.5 計算機實驗Ⅰ：利用SOM解網格動力學問題280
9.6 上下文映射281
9.7 分層嚮量量化283
9.8 核自組織映射285
9.9 計算機實驗Ⅱ：利用核SOM解點陣動力學問題290
9.10 核SOM和相對熵之間的關係291
9.11 小結和討論293
注釋和參考文獻294
習題295
第10章 信息論學習模型299
10.1 引言299
10.2 熵300
10.3 最大熵原則302
10.4 互信息304
10.5 相對熵306
10.6 係詞308
10.7 互信息作為最優化的目標函數310
10.8 最大互信息原則311
10.9 最大互信息和冗餘減少314
10.10 空間相乾特徵316
10.11 空間非相乾特徵318
10.12 獨立分量分析320
10.13 自然圖像的稀疏編碼以及與ICA編碼的比較324
10.14 獨立分量分析的自然梯度學習326
10.15 獨立分量分析的最大似然估計332
10.16 盲源分離的最大熵學習334
10.17 獨立分量分析的負熵最大化337
10.18 相關獨立分量分析342
10.19 速率失真理論和信息瓶頸347
10.20 數據的最優流形錶達350
10.21 計算機實驗：模式分類354
10.22 小結和討論354
注釋和參考文獻356
習題361
第11章 植根於統計力學的隨機方法366
11.1 引言366
11.2 統計力學367
11.3 馬爾可夫鏈368
11.4 Metropolis算法374
11.5 模擬退火375
11.6 Gibbs抽樣377
11.7 Boltzmann機378
11.8 logistic信度網絡382
11.9 深度信度網絡383
11.10 確定性退火385
11.11 和EM算法的類比389
11.12 小結和討論390
注釋和參考文獻390
習題392
第12章 動態規劃396
12.1 引言396
12.2 馬爾可夫決策過程397
12.3 Bellman最優準則399
12.4 策略迭代401
12.5 值迭代402
12.6 逼近動態規劃：直接法406
12.7 時序差分學習406
12.8 Q學習410
12.9 逼近動態規劃：非直接法412
12.10 最小二乘策略評估414
12.11 逼近策略迭代417
12.12 小結和討論419
注釋和參考文獻421
習題422
第13章 神經動力學425
13.1 引言425
13.2 動態係統426
13.3 平衡狀態的穩定性428
13.4 吸引子432
13.5 神經動態模型433
13.6 作為遞歸網絡範例的吸引子操作435
13.7 Hopfield模型435
13.8 Cohen-Grossberg定理443
13.9 盒中腦狀態模型445
13.10 奇異吸引子和混沌448
13.11 混沌過程的動態重構452
13.12 小結和討論455
注釋和參考文獻457
習題458
第14章 動態係統狀態估計的貝葉斯濾波461
14.1 引言461
14.2 狀態空間模型462
14.3 卡爾曼濾波器464
14.4 發散現象及平方根濾波469
14.5 擴展的卡爾曼濾波器474
14.6 貝葉斯濾波器477
14.7 數值積分卡爾曼濾波器:基於卡爾曼濾波器480
14.8 粒子濾波器484
14.9 計算機實驗：擴展的卡爾曼濾波器和粒子濾波器對比評價490
14.10 大腦功能建模中的
卡爾曼濾波493
14.11 小結和討論494
注釋和參考文獻496
習題497
第15章 動態驅動遞歸網絡501
15.1 引言501
15.2 遞歸網絡體係結構502
15.3 通用逼近定理505
15.4 可控性和可觀測性507
15.5 遞歸網絡的計算能力510
15.6 學習算法511
15.7 通過時間的反嚮傳播512
15.8 實時遞歸學習515
15.9 遞歸網絡的消失梯度519
15.10 利用非綫性逐次狀態估計的遞歸網絡監督學習框架521
15.11 計算機實驗：Mackay-Glass吸引子的動態重構526
15.12 自適應考慮527
15.13 實例學習：應用於神經控製的模型參考529
15.14 小結和討論530
注釋和參考文獻533
習題534
參考文獻538
· · · · · · (
收起)
神經網絡是計算智能和機器學習的重要分支，在諸多領域都取得瞭很大的成功。在眾多神經網絡著作中，影響最為廣泛的是Simon Haykin的《神經網絡原理》（第3版更名為《神經網絡與機器學習》）。在本書中，作者結閤近年來神經網絡和機器學習的最新進展，從理論和實際應用齣發，全麵、係統地介紹瞭神經網絡的基本模型、方法和技術，並將神經網絡和機器學習有機地結閤在一起。
本書不但注重對數學分析方法和理論的探討，而且也非常關注神經網絡在模式識彆、信號處理以及控製係統等實際工程問題的應用。本書的可讀性非常強，作者舉重若輕地對神經網絡的基本模型和主要學習理論進行瞭深入探討和分析，通過大量的試驗報告、例題和習題來幫助讀者更好地學習神經網絡。
本版在前一版的基礎上進行瞭廣泛修訂，提供瞭神經網絡和機器學習這兩個越來越重要的學科的最新分析。
本書特色：
1. 基於隨機梯度下降的在綫學習算法；小規模和大規模學習問題。
2. 核方法，包括支持嚮量機和錶達定理。
3. 信息論學習模型，包括連接、獨立分量分析（ICA）、一緻獨立分量分析和信息瓶頸。
4. 隨機動態規劃，包括逼近和神經動態規劃。
5. 逐次狀態估計算法，包括卡爾曼和粒子濾波器。
6. 利用逐次狀態估計算法訓練遞歸神經網絡。
7. 富有洞察力的麵嚮計算機的試驗。
