Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 epub pdf mobi txt 电子书 下载 2024
发表于2024-11-10
Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 epub pdf mobi txt 电子书 下载 2024
基本信息
书名:Python+Spark 2 0+Hadoop机器学习与大数据实战
:99.00元
作者:林大贵
出版社:清华大学出版社
出版日期:2018-01-01
ISBN:9787302490739
字数:
页码:
版次:1
装帧:平装-胶订
开本:16开
商品重量:0.4kg
编辑推荐
1.Hadoop集群安装与分散式运算和存储介绍通过实机操作,学会如何安装Virtual Box、Ubuntu Linux、Hadoop单机与多台机器集群安装,并学会使用HDFS分散式存储与MapReduce分散式运算。2.Python Spark 2.0安装通过实机操作,学会安装Spark 2.0,并在本机与多台机器集群执行Python Spark应用程序。同时介绍如何在iPython Notebook互动界面执行Python Spark指令。安装eclipse整合开发界面,开发Python Spark应用程序,大幅提升程序开发生产力。3.Python Spark SQL、DataFrame数据统计与数据可视化Spark SQL 即使非程序设计人员,只需要懂得SQL语法,就可以使用。DataFrame API 可使用类SQL的方法,如select()、groupby()、count(),很容易进行统计,大幅降低大数据分析的学习门槛。Spark DataFrame可转换为Pandas DataFrame,运用Python丰富的数据可视化组件(例如matplotlib)进行数据可视化。4.Python Spark MLlib机器学习以大数据分析实际案例MoiveLens、StumbleUpon、CovType、BikeSharing介绍如何使用Python Spark运用机器学习演算法进行数据处理、训练、建立模型、训练验证找出*模型、预测结果。5.Python Spark ML Pipeline机器学习流程以大数据实际案例示范使用Python Spark ML Pipeline机器学习流程进行二元分类、多元分类、回归分析,将机器学习的每一个步骤建立成Pipeline流程:数据处理 →运算法训练数据→建立模型→找出*模型→预测结果。Spark ML Pipeline 通过内建数据处理模块与机器学习运算法,减轻数据分析师在程序设计上的负担。
内容提要
本书从浅显易懂的“大数据和机器学习”原理说明入手,讲述大数据和机器学习的基本概念,如分类、分析、训练、建模、预测、机器学习(推荐引擎)、机器学习(二元分类)、机器学习(多元分类)、机器学习(回归分析)和数据可视化应用等。书中不仅加入了新近的大数据技术,还丰富了“机器学习”内容。为降低读者学习大数据技术的门槛,书中提供了丰富的上机实践操作和范例程序详解,展示了如何在单机Windows系统上通过Virtual Box虚拟机安装多机Linux虚拟机,如何建立Hadoop集群,再建立Spark开发环境。书中介绍搭建的上机实践平台并不限制于单台实体计算机。对于有条件的公司和学校,参照书中介绍的搭建过程,同样可以实现将自己的平台搭建在多台实体计算机上,以便更加接近于大数据和机器学习真实的运行环境。本书非常适合于学习大数据基础知识的初学者阅读,更适合正在学习大数据理论和技术的人员作为上机实践用的教材。
目录
目 录
第1章 Python Spark机器学习与Hadoop大数据 1
1.1 机器学习的介绍 2
1.2Spark的介绍 5
1.3Spark数据处理 RDD、DataFrame、Spark SQL 7
1.4 使用Python开发 Spark机器学习与大数据应用 8
1.5Python Spark 机器学习 9
1.6Spark ML Pipeline机器学习流程介绍 10
1.7Spark 2.0的介绍 12
1.8 大数据定义 13
1.9Hadoop 简介 14
1.10Hadoop HDFS分布式文件系统 14
1.11Hadoop MapReduce的介绍 17
1.12结论 18
第2章 VirtualBox虚拟机软件的安装 19
2.1VirtualBox的下载和安装 20
2.2 设置VirtualBox存储文件夹 23
2.3 在VirtualBox创建虚拟机 25
2.4 结论 29
第3章 Ubuntu Linux 操作系统的安装 30
3.1Ubuntu Linux 操作系统的安装 31
3.2 在Virtual设置Ubuntu虚拟光盘文件 33
3.3 开始安装Ubuntu 35
3.4 启动Ubuntu 40
3.5 安装增强功能 41
3.6 设置默认输入法 45
3.7 设置“终端”程序 48
3.8 设置“终端”程序为白底黑字 49
3.9 设置共享剪贴板 50
3.10设置佳下载服务器 52
3.11结论 56
第4章 Hadoop Single Node Cluster的安装 57
4.1 安装K 58
4.2 设置SSH无密码登录 61
4.3 下载安装Hadoop 64
4.4 设置Hadoop环境变量 67
4.5 修改Hadoop配置设置文件 69
4.6 创建并格式化HDFS目录 73
4.7 启动Hadoop 74
4.8 打开HadoopResource-Manager Web界面 76
4.9NameNode HDFS Web界面 78
4.10结论 79
第5章 Hadoop Multi Node Cluster的安装 80
5.1 把Single NodeCluster复制到data1 83
5.2 设置VirtualBox网卡 84
5.3 设置data1服务器 87
5.4 复制data1服务器到data2、data3、master 94
5.5 设置data2服务器 97
5.6 设置data3服务器 100
5.7 设置master服务器 102
5.8master连接到data1、data2、data3 创建HDFS目录 107
5.9 创建并格式化NameNodeHDFS目录 110
5.10启动Hadoop Multi Node Cluster 112
5.11打开Hadoop ResourceManager Web界面 114
5.12打开NameNode Web界面 115
5.13停止Hadoop Multi Node Cluster 116
5.14结论 116
第 6 章 Hadoop HDFS命令 117
6.1 启动HadoopMulti-Node Cluster 118
6.2 创建与查看HDFS目录 120
6.3 从本地计算机复制文件到HDFS 122
6.4 将HDFS上的文件复制到本地计算机 127
6.5 复制与删除HDFS文件 129
6.6 在Hadoop HDFSWeb用户界面浏览HDFS 131
6.7 结论 134
第7章 Hadoop MapReduce 135
7.1 简单介绍WordCount.java 136
7.2 编辑WordCount.java 137
7.3 编译WordCount.java 141
7.4 创建测试文本文件 143
7.5 运行WordCount.java 145
7.6 查看运行结果 146
7.7 结论 147
第8章 Python Spark的介绍与安装 148
8.1Scala的介绍与安装 150
8.2 安装Spark 153
8.3 启动pyspark交互式界面 156
8.4 设置pyspark显示信息 157
8.5 创建测试用的文本文件 159
8.6 本地运行pyspark程序 161
8.7 在Hadoop YARN运行pyspark 163
8.8 构建SparkStandalone Cluster运行环境 165
8.9 在SparkStandalone运行pyspark 171
8.10Spark Web UI界面 173
8.11结论 175
第9章 在 IPythonNotebook 运行 Python Spark 程序 176
9.1 安装Anaconda 177
9.2 在IPythonNotebook使用Spark 180
9.3 打开IPythonNotebook笔记本 184
9.4 插入程序单元格 185
9.5 加入注释与设置程序代码说明标题 186
9.6 关闭IPythonNotebook 188
9.7 使用IPythonNotebook在Hadoop YARN-client模式运行 189
9.8 使用IPythonNotebook在Spark Stand Alone模式运行 192
9.9 整理在不同的模式运行IPythonNotebook的命令 194
9.9.1在 Local 启动 IPython Notebook 195
9.9.2在Hadoop YARN-client 模式启动 IPython Notebook 195
9.9.3在Spark Stand Alone 模式启动 IPython Notebook 195
9.10结论 196
第10章 Python Spark RDD 197
10.1RDD的特性 198
10.2开启IPython Notebook 199
10.3基本RDD“转换”运算 201
10.4多个RDD“转换”运算 206
10.5基本“动作”运算 208
10.6RDD Key-Value 基本“转换”运算 209
10.7多个RDD Key-Value“转换”运算 212
10.8Key-Value“动作”运算 215
10.9Broadcast 广播变量 217
10.10accumulator累加器 220
10.11RDD Persistence持久化 221
10.12使用Spark创建WordCount 223
10.13Spark WordCount详细解说 226
10.14结论 228
第11章 Python Spark的集成开发环境 229
11.1下载与安装eclipse Scala IDE 232
11.2安装PyDev 235
11.3设置字符串替代变量 240
11.4PyDev 设置 Python 链接库 243
11.5PyDev设置anaconda2链接库路径 245
11.6PyDev设置Spark Python链接库 247
11.7PyDev设置环境变量 248
11.8新建PyDev项目 251
11.9加入WordCount.py程序 253
11.10输入WordCount.py程序 254
11.11创建测试文件并上传至HDFS目录 257
11.12使用spark-submit执行WordCount程序 259
11.13在Hadoop YARN-client上运行WordCount程序 261
11.14在Spark Standalone Cluster上运行WordCount程序 264
11.15在eclipse外部工具运行Python Spark程序 267
11.16在eclipse运行spark-submit YARN-client 273
11.17在eclipse运行spark-submit Standalone 277
11.18结论 280
第12章 Python Spark创建推荐引擎 281
12.1推荐算法介绍 282
12.2“推荐引擎”大数据分析使用场景 282
12.3ALS推荐算法的介绍 283
12.4如何搜索数据 285
12.5启动IPython Notebook 289
12.6如何准备数据 290
12.7如何训练模型 294
12.8如何使用模型进行推荐 295
12.9显示推荐的电影名称 297
12.10创建Remend项目 299
12.11运行RemendTrain.py 推荐程序代码 302
12.12创建Remend.py推荐程序代码 304
12.13在eclipse运行Remend.py 307
12.14结论 310
第13章 Python Spark MLlib决策树二元分类 311
13.1决策树介绍 312
13.2“StumbleUpon Evergreen”大数据问题 313
13.2.1Kaggle网站介绍 313
13.2.2“StumbleUpon Evergreen”大数据问题场景分析 313
13.3决策树二元分类机器学习 314
13.4如何搜集数据 315
13.4.1StumbleUpon数据内容 315
13.4.2下载 StumbleUpon 数据 316
13.4.3用LibreOffice Calc 电子表格查看train.tsv 319
13.4.4复制到项目目录 322
13.5 使用IPython Notebook示范 323
13.6如何进行数据准备 324
13.6.1导入并转换数据 324
13.6.2提取 feature 特征字段 327
13.6.3提取分类特征字段 328
13.6.4提取数值特征字段 331
13.6.5返回特征字段 331
13.6.6提取 label 标签字段 331
13.6.7建立训练评估所需的数据 332
13.6.8以随机方式将数据分为 3 部分并返回 333
13.6.9编写 PrepareData(sc) 函数 333
13.7如何训练模型 334
13.8如何使用模型进行预测 335
13.9如何评估模型的准确率 338
13.9.1使用 AUC 评估二元分类模型 338
13.9.2计算 AUC 339
13.10模型的训练参数如何影响准确率 341
13.10.1建立 trainEvaluateModel 341
13.10.2评估impurity参数 343
13.10.3训练评估的结果以图表显示 344
13.10.4编写 evalParameter 347
13.10.5使用 evalParameter 评估 maxDepth 参数 347
13.10.6使用 evalParameter 评估 maxBins 参数 348
13.11如何找出准确率高的参数组合 349
13.12如何确认是否过度训练 352
13.13编写RunDecisionTreeBinary.py程序 352
13.14开始输入RunDecisionTreeBinary.py程序 353
13.15运行RunDecisionTreeBinary.py 355
13.15.1执行参数评估 355
13.15.2所有参数训练评估找出好的参数组合 355
13.15.3运行 RunDecisionTreeBinary.py 不要输入参数 357
13.16查看DecisionTree的分类规则 358
13.17结论 360
第14章 Python Spark MLlib 逻辑回归二元分类 361
14.1逻辑回归分析介绍 362
14.2RunLogisticRegression WithSGDBinary.py程序说明 363
14.3运行RunLogisticRegression WithSGDBinary.py进行参数评估 367
14.4找出佳参数组合 370
14.5修改程序使用参数进行预测 370
14.6结论 372
第15章 Python Spark MLlib支持向量机SVM二元分类 373
15.1支持向量机SVM算法的基本概念 374
15.2运行SVMWithSGD.py进行参数评估 376
15.3运行SVMWithSGD.py 训练评估参数并找出佳参数组合 378
15.4运行SVMWithSGD.py 使用佳参数进行预测 379
15.5结论 381
第16章 Python Spark MLlib朴素贝叶斯二元分类 382
16.1朴素贝叶斯分析原理的介绍 383
16.2RunNaiveBayesBinary.py程序说明 384
16.3运行NaiveBayes.py进行参数评估 386
16.4运行训练评估并找出好的参数组合 387
16.5修改RunNaiveBayesBinary.py 直接使用佳参数进行预测 388
16.6结论 390
第17章 Python Spark MLlib决策树多元分类 391
17.1“森林覆盖植被”大数据问题分析场景 392
17.2UCI Covertype数据集介绍 393
17.3下载与查看数据 394
17.4修改PrepareData() 数据准备 396
17.5修改trainModel 训练模型程序 398
17.6使用训练完成的模型预测数据 399
17.7运行RunDecisionTreeMulti.py 进行参数评估 401
17.8运行RunDecisionTreeMulti.py 训练评估参数并找出好的参数组合 403
17.9运行RunDecisionTreeMulti.py 不进行训练评估 404
17.10结论 406<
Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 epub pdf mobi txt 电子书 下载 2024
Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 下载 epub mobi pdf txt 电子书 2024Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 mobi pdf epub txt 电子书 下载 2024
Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 epub pdf mobi txt 电子书 下载评分
评分
评分
评分
评分
评分
评分
评分
Python+Spark 2 0+Hadoop机器学习与大数据实战 林大贵 清华大学出版社 epub pdf mobi txt 电子书 下载 2024