产品特色
编辑推荐
10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。
从数据挖掘的应用出发,以电力、航空、医疗、互联网、生产制造以及公共服务等行业真实案例为主线,深入浅出介绍Python数据挖掘建模过程,实践性极强。
随着云时代的来临,大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产要素,人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据,为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术,广泛应用于物联网、云计算、移动互联网等战略性新兴产业。
为了满足目前的大数据分析人才需求,本书以大家熟知的数据挖掘建模工具Python语言来展开,以解决某个应用的挖掘目标为前提,先介绍案例背景提出挖掘目标,再阐述分析方法与过程,最后完成模型构建,在介绍建模过程中穿插操作训练,把相关的知识点嵌入相应的操作过程中,使读者轻松理解并掌握相关的理论和知识点。
内容简介
10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。从数据挖掘的应用出发,以电力、航空、医疗、互联网、生产制造以及公共服务等行业真实案例为主线,深入浅出介绍Python数据挖掘建模过程,实践性极强。
本书共15章,分两个部分:基础篇、实战篇。基础篇介绍了数据挖掘的基本原理,实战篇介绍了一个个真实案例,通过对案例深入浅出的剖析,使读者在不知不觉中通过案例实践获得数据挖掘项目经验,同时快速领悟看似难懂的数据挖掘理论。读者在阅读过程中,应充分利用随书配套的案例建模数据,借助相关的数据挖掘建模工具,通过上机实验,以快速理解相关知识与理论。
基础篇(第1~5章),第1章的主要内容是数据挖掘概述;第2章对本书所用到的数据挖掘建模工具Python语言进行了简明扼要的说明;第3章、第4章、第5章对数据挖掘的建模过程,包括数据探索、数据预处理及挖掘建模的常用算法与原理进行了介绍。
实战篇(第6~15章),重点对数据挖掘技术在电力、航空、医疗、互联网、生产制造以及公共服务等行业的应用进行了分析。在案例结构组织上,本书是按照先介绍案例背景与挖掘目标,再阐述分析方法与过程,最后完成模型构建的顺序进行的,在建模过程的关键环节,穿插程序实现代码。最后通过上机实践,加深读者对数据挖掘技术在案例应用中的理解。
作者简介
张良均,资深大数据挖掘专家和模式识别专家,高级信息项目管理师,有10多年的大数据挖掘应用、咨询和培训经验。为电信、电力、政府、互联网、生产制造、零售、银行、生物、化工、医药等多个行业上百家大型企业提供过数据挖掘应用与咨询服务,实践经验非常丰富。此外,他精通Java EE企业级应用开发,是广东工业大学、华南师范大学、华南农业大学、贵州师范学院、韩山师范学院、广东技术师范学院兼职教授,著有《神经网络实用教程》、《数据挖掘:实用案例分析》、《MATLAB数据分析与挖掘实战》《R语言数据分析与挖掘实战》等畅销书。
目录
前言
基础篇
第1章数据挖掘基础
1.1某知名连锁餐饮企业的困惑
1.2从餐饮服务到数据挖掘
1.3数据挖掘的基本任务
1.4数据挖掘建模过程
1.4.1定义挖掘目标
1.4.2数据取样
1.4.3数据探索
1.4.4数据预处理
1.4.5挖掘建模
1.4.6模型评价
1.5常用的数据挖掘建模工具
1.6小结
每2章Python数据分析简介
2.1搭建Python开发平台
2.1.1所要考虑的问题
2.1.2基础平台的搭建
2.2 Python使用入门
2.2.1运行方式
2.2.2基本命令
2.2.3数据结构
2.2.4库的导入与添加
2.3 Python数据分析工具
2.3.1 Numpy
2.3.2 Scipy
2.3.3 Matplotlib
2.3.4 Pandas
2.3.5 StatsModels'''''
2.3.6 Scikit-Leam'''''
2.3.7 Keras
2.3.8 Gensim
2.4配套资源使用设置
2.5小结
第3章数据探索
3.1数据质量分析
3.1.1缺失值分析
3.1.2异常值分析
3.1.3 -致性分析
3.2数据特征分析
3.2.1分布分析
3.2.2对比分析
3.2.3统计量分析
?3.3Python主要数据探索函数
3.3.1基本统计特征函数
3.3.2拓展统计特征函数
3.3.3统计作图函数
3.4小结
数据预处理
4.1数据清洗
4.1.1缺失值处理
4.1.2异常值处理
4.2数据集成
4.2.1实体识别
4.2.2冗余属性识别
413数据变换
4.3.1简单函数变换
4.3.2规范化
4.3.3连续属性离散化
4.3.4属性构造
4.3.5小波变换
4.4数据规约
4.4.1属性规约
4.4.2数值规约
4.5 Python主要数据预处理函数
4.6小结
第5章挖掘建模
5.1分类与预测
5.1.1实现过程
5.1.2常用的分类与预测算法
5.1.3回归分析
5.1.4决策树
5.1.5人工神经网络
5.1.6分类与预测算法评价
5.1.7 Python分类预测模型特点 -
5.2聚类分析
5.2.1 常用聚类分析算法
5.2.2 K-Means聚类算法
5.2.3聚类分析算法评价
5.2.4 Python主要聚类分析算法
5.3关联规则
5.3.1 常用关联规则算法
5.3.2 Apriori算法
5.4时序模式
5.4.1时间序列算法
5.4.2时间序列的预处理
5.4.3平稳时间序列分析
5.4.4非平稳时间序列分析
5.4.5 Python主要时序模式算法
5.5离群点检测 134
5.5.1离群点检测方法
5.5.2基于模型的离群点检测方法
5.5.3基于聚类的离群点检测方法
5.6小结
实战篇
第6章电力窃漏电用户自动识别
6.1背景与挖掘目标
6.2分析方法与过程
6.2.1数据抽取
6.2.2数据探索分析
6.2.3数据预处理
6.2.4构建专家样本
6.3上机实验
6.4拓展思考
6.5小结
第7章航空公司客户价值分析
7.1背景与挖掘目标
7.2分析方法与过程
7.2.1数据抽取
7.2.2数据探索分析
7.2.3数据预处理
7.2.4模型构建
7.3上机实验
7.4拓展思考 一
7.5小结
第8章中医证型关联规则挖掘
8.1背景与挖掘目标
8.2分析方法与过程
8.2.1数据获取
8.2.2数据预处理
8.2.3模型构建
8.3上机实验
8.4拓展思考
8.5小结
第9章基于水色图像的水质评价
9.1背景与挖掘目标
9.2分析方法与过程
9.2.1数据预处理
9.2.2模型构建
9.2.3水质评价
9.3上机实验
9.4拓展思考
9.5小结
第10章家用电器用户行为分析与
事件识别
10.1背景与挖掘目标
10.2分析方法与过程
10.2.1数据抽取
10.2.2数据探索分析
10.2.3数据预处理
10.2.4模型构建
10.2.5模型检验
10.3上机实验
10.4拓展思考
10.5小结
第11章应用系统负载分析与磁盘
容量预测
11.1背景与挖掘目标
11.2分析方法与过程
11.2.1数据抽取
11.2.2数据探索分析
11.2.3数据预处理
11.2.4模型构建
11.3上机实验
11.4拓展思考
11.5小结
第12章电子商务网站用户行为分析
及服务推荐
12.1背景与挖掘目标
12.2分析方法与过程
12.2.1数据抽取
12.2.2数据探索分析
12.2.3数据预处理
12.2.4模型构建
12.3上机实验
12.4拓展思考
12.5小结
第13章财政收入影响因素分析及
13.1预测模型
13.2背景与挖掘目标
分析方法与过程
13.2.1灰色预测与神经网络的组合
模型
13.2.2数据探索分析
13.2.3模型构建
13.3上机实验
13.4拓展思考
13.5小结 一
第14章 基于基站定位数据的商圈
分析 一
14.1背景与挖掘目标
14.2分析方法与过程
14.2.1数据抽取
14.2.2数据探索分析
14.2.3数据预处理
14.2.4模型构建
14.3上机实验
14.4拓展思考
14.5小结
第15章电商产品评论数据情感
分析
15.1背景与挖掘目标
15.2分析方法与过程
15.2.1评论数据采集
15.2.2评论预处理
15.2.3文本评论分词
15.2.4模型构建
15.3.上机实验
15.4拓展思考
15.5小结
参考文献
前言/序言
为什么要写这本书LinkedIn对全球超过3.3亿用户的工作经历和技能进行分析后得出,目前*炙手可热的25项技能中,数据挖掘排名第一。那么数据挖掘是什么?数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此“数据挖掘”已成为企业保持竞争力的必要方法。
但跟国外相比,由于我国信息化程度不太高,企业内部信息不完整,零售业、银行、保险和证券等对数据挖掘的应用并不理想。但随着市场竞争的加剧,各行业对数据挖掘技术的需求越来越强烈,可以预计,未来几年各行业的数据分析应用一定会从传统的统计分析发展到大规模数据挖掘应用。在大数据时代,数据过剩、人才短缺,数据挖掘专业人才的培养又需要专业知识和职业经验积累。本书注重数据挖掘理论与项目案例实践相结合,可以让读者获得真实的数据挖掘学习与实践环境,更快、更好地学习数据挖掘知识与积累职业经验。
总的来说,随着云时代的来临,大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产要素,人们对于海量数据的运用预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据,为企业经营决策提供帮助。大数据分析作为数据存储和挖掘分析的前沿技术,广泛应用于物联网、云计算和移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段,但是其商业价值已经显现出来,特别是有实践经验的大数据分析人才更是各企业争夺的热门。为了满足日益增长的大数据分析人才需求,很多大学开始尝试开设不同程度的大数据分析课程。“大数据分析”作为大数据时代的核心技术,必将成为高校数学与统计学专业的重要课程之一。本书特色本书从实践出发,结合大量数据挖掘工程案例及教学经验,以真实案例为主线,深入浅出地介绍数据挖掘建模过程中的有关任务:数据探索、数据预处理、分类与预测、聚类分析、时序预测、关联规则挖掘、智能推荐和偏差检测等。因此,图书的编排以解决某个应用的挖掘目标为前提,先介绍案例背景提出挖掘目标,再阐述分析方法与过程,*后完成模型构建。在介绍建模过程的同时穿插操作训练,把相关的知识点嵌入相应的操作过程中。为方便读者轻松地获取真实的实验环境,本书使用目前在数据科学领域非常热门的Python语言对样本数据进行处理以进行挖掘建模。
根据读者对案例的理解,本书配套提供真实的原始样本数据文件,读者可以从“泰迪杯”
全国大学生数据挖掘竞赛网站免费下载。另外,为方便教师授课,本书还特意提供了建模阶段的过程数据文件、Python语言代码程序和PPT课件,以及基于Python、SAS、SPSS Modeler等上机实验环境下的数据挖掘各阶段程序/模型及相关代码,读者可通过本书“勘误和支持”中提供的联系方式咨询获取。
本书适用对象(1)开设数据挖掘课程的高校教师和学生目前,国内不少高校将数据挖掘引入本科教学中,在数学、计算机、自动化、电子信息和金融等专业开设了数据挖掘技术相关课程,但目前这一课程的教学仍然主要限于理论介绍。单纯的理论教学过于抽象,学生理解起来往往比较困难,教学效果也不甚理想。本书提供的基于实战案例和建模实践的教学,能够使教师充分发挥互动性和创造性,理论联系实际,使教师获得*佳的教学效果。
(2)需求分析及系统设计人员需求分析及系统设计人员可以在理解数据挖掘原理与建模过程的基础上,结合数据挖掘案例完成精确营销、客户分群、交叉销售、流失分析、客户信用记分、欺诈发现和智能推荐等数据挖掘应用的需求分析和设计。
(3)数据挖掘开发人员数据挖掘开发人员可以在理解数据挖掘应用需求和设计方案的基础上,结合本书提供的基于第三方接口快速完成数据挖掘应用的编程实现。
(4)进行数据挖掘应用研究的科研人员许多科研院所为了更好地对科研工作进行管理,纷纷开发了适应自身特点的科研业务管理系统,并在使用过程中积累了大量的科研信息数据。但是,这些科研业务管理系统一般没有对数据进行深入分析,并没有对数据所隐藏的价值进行充分挖掘和利用。科研人员需要通过数据挖掘建模工具及有关方法论来深挖科研信息的价值,从而提高科研水平。(5)关注高级数据分析的人员业务报告和商业智能解决方案对了解过去和现在的状况可能是非常有用的。但是,数据挖掘的预测分析解决方案还能使关注高级数据分析的人员预见未来的发展状况,使他们的机构能够先发制人,而不是处于被动。因为数据挖掘的预测分析解决方案将复杂的统计方法和机器学习技术应用到数据之中,通过使用预测分析技术来揭示隐藏在交易系统或企业资源计划(ERP)、结构数据库和普通文件中的模式与趋势,从而为这类人员的决策提供科学依据。
如何阅读本书本书共15章,分两篇:基础篇和实战篇。基础篇介绍了数据挖掘的基本原理,实战篇介绍了一个个真实案例,通过对案例深入浅出的剖析,使读者在不知不觉中通过案例实践获得数据挖掘项目经验,同时快速领悟看似难懂的数据挖掘理论。读者在阅读过程中,应充分利用随书配套的案例建模数据,借助相关的数据挖掘建模工具,通过上机实验快速理解相关知识与理论。
基础篇(第1~5章),第1章的主要内容是数据挖掘概述;第2章对Python以及本书所用到的数据挖掘建模库进行了简明扼要的说明;第3章、第4章和第5章对数据挖掘的建模过程,包括数据探索、数据预处理及挖掘建模的常用算法与原理进行介绍。
实战篇(第6~15章),重点对数据挖掘技术在电力、航空、医疗、互联网、生产制造以及公共服务等行业的应用进行分析。在案例结构组织上,本书是按照先介绍案例背景与挖掘目标,再阐述分析方法与过程,*后完成模型构建的顺序进行的,在建模过程的关键环节穿插程序实现代码。*后通过上机实践,加深对数据挖掘技术在案例应用中的理解。
勘误和支持除封面署名外,参加本书编写工作的还有杨坦、肖刚、刘名军、樊哲、廖晓霞、周龙、焦正升等。由于笔者的水平有限,加之编写时间仓促,书中难免会出现错误或者不准确的地方,恳请读者批评指正。为此,读者可通过作者微信公众号TipDM(微信号:
TipDataMining)、TipDM官网反馈有关问题。也可通过热线电话或企业QQ进行在线咨询。
读者可以将书中的错误及遇到的任何问题反馈给我们,我们将尽量在线上为读者提供*满意的解答。本书的全部建模数据文件及源程序,可以从“泰迪杯”全国大学生数据挖掘竞赛网站下载,我们会将相应内容的更新及时发布出来。如果您有更多的宝贵意见,欢迎发送邮件,期待能够得到您的真挚反馈。
致谢在本书编写过程中,得到了广大企事业单位及科研人员的大力支持!在此谨向中国电力科学研究院、广东电力科学研究院、广西电力科学研究院、广东电信规划设计院、珠江/黄海水产研究所、轻工业环境保护研究所、华南师范大学、广东工业大学、广东技术师范学院、南京中医药大学、华南理工大学、湖南师范大学、韩山师范学院、广东石油化工学院、中山大学、广州泰迪智能科技有限公司、武汉泰迪智慧科技有限公司等单位给予支持的专家与师生致以深深的谢意。
本书得到华北科技学院“应用数学”校级重点学科建设项目资助(项目编号hkxjzd201402),同时在本书的编辑和出版过程中还得到了参与“泰迪杯”全国大学生数据挖掘建模竞赛的众多师生,以及机械工业出版社杨福川、高婧雅等人的无私帮助与支持,在此一并表示感谢。
张良均
《Python编程从入门到精通:实用指南》 内容梗概: 本书是一本全面深入的Python编程实用指南,旨在帮助读者从零基础快速入门,并逐步掌握Python的核心概念、常用库以及实际应用开发。全书共分为三个主要部分:基础篇、进阶篇和实践篇。 第一部分:Python编程基础 本部分将带领读者踏上Python编程之旅。我们将从Python的安装与环境配置入手,让你能够快速搭建起属于自己的开发平台。接着,我们将深入讲解Python最基本也是最重要的概念,包括: 变量与数据类型: 掌握整数、浮点数、字符串、布尔值等基本数据类型,理解变量的声明、赋值与作用域,为后续的程序设计打下坚实基础。 运算符: 学习算术运算符、比较运算符、逻辑运算符、赋值运算符等,理解它们在表达式中的作用,能够进行各种数值和逻辑运算。 控制流语句: 深入理解条件语句(`if`、`elif`、`else`)和循环语句(`for`、`while`),学会如何根据条件执行不同的代码块,以及如何重复执行某个代码段,这是构建程序逻辑的关键。 数据结构: 详细介绍Python内置的强大数据结构,包括列表(List)、元组(Tuple)、集合(Set)和字典(Dictionary)。我们将探讨它们的特性、常用操作(如添加、删除、查找、修改)以及适用场景,让你能够高效地组织和管理数据。 函数: 学习如何定义和调用函数,理解函数的参数传递、返回值机制、作用域规则以及匿名函数(Lambda函数),掌握模块化编程的思想,提高代码的可读性和复用性。 文件操作: 掌握如何读取和写入文本文件、二进制文件,学习文件对象的常用方法,理解文件指针的概念,能够实现数据的持久化存储与读取。 异常处理: 学习`try-except`、`finally`等语句,理解如何捕获和处理程序运行过程中可能出现的错误,增强程序的健壮性。 第二部分:Python进阶与库应用 在掌握了Python的基础知识后,本部分将带领读者进一步探索Python的强大之处,重点介绍Python在各种应用领域中常用的核心库。 面向对象编程(OOP): 深入讲解类(Class)和对象(Object)的概念,理解封装、继承、多态等面向对象的核心思想,学习如何设计和构建具有良好结构和可维护性的面向对象程序。 模块与包: 学习如何组织和导入Python模块与包,理解标准库的丰富功能,并掌握如何创建和发布自己的模块。 常用标准库: 详细介绍Python标准库中一些高频使用的模块,例如: `os`模块: 学习如何与操作系统进行交互,包括文件和目录操作、环境变量访问等。 `sys`模块: 了解Python解释器相关的信息,以及如何处理命令行参数。 `datetime`模块: 掌握日期和时间的表示、计算和格式化。 `re`模块: 学习正则表达式,掌握强大的文本匹配和处理能力。 `json`模块: 学习如何解析和生成JSON数据。 第三方库的安装与使用: 介绍pip包管理器,学习如何查找、安装和卸载第三方库,为后续学习更专业的库打下基础。 网络编程基础(可选): 简要介绍Python在网络编程方面的基础,如socket编程,为理解Web开发等更高级的应用提供铺垫。 数据结构进阶(可选): 进一步探讨更复杂的数据结构,如队列、栈等,以及它们在特定算法中的应用。 第三部分:Python项目实践 理论结合实践是掌握编程技能的唯一途径。本部分将通过一系列精心设计的实践项目,帮助读者将所学知识融会贯通,并了解Python在实际开发中的应用。 小型命令行工具开发: 文本处理工具: 构建一个可以批量修改文件名、统计文件行数、查找特定文本的命令行工具。 简单的计算器: 实现一个支持基本运算的命令行计算器。 任务列表管理: 开发一个可以添加、查看、标记完成任务的命令行应用程序。 Web开发入门(使用Flask框架): 搭建简单的Web服务器: 学习Flask框架的基本用法,创建第一个“Hello, World!”网页。 用户界面设计: 学习如何使用HTML和CSS与Flask集成,创建简单的表单和动态内容。 数据交互: 实现从表单接收用户输入并进行处理,再将结果展示到网页上的功能。 简单的博客系统(可选): 进一步扩展,实现一个可以发布、查看和评论帖子的基础博客系统。 GUI应用程序开发(使用Tkinter): 图形界面元素: 学习如何创建按钮、文本框、标签等GUI控件。 事件驱动编程: 理解如何响应用户的交互事件,如按钮点击。 构建简单的桌面应用: 例如,一个文件浏览器、一个简单的文本编辑器或一个图片查看器。 数据爬虫入门(使用Requests和BeautifulSoup): 网页抓取: 学习如何使用`requests`库发送HTTP请求获取网页内容。 HTML解析: 学习如何使用`BeautifulSoup`库解析HTML结构,提取所需信息。 构建一个简单的爬虫: 例如,抓取某个网站的标题列表、文章链接等。 自动化脚本编写: 文件自动化管理: 编写脚本自动整理下载文件夹、备份重要文件。 数据导入导出自动化: 编写脚本自动将数据从一个地方迁移到另一个地方,或生成报表。 定时任务执行: 结合操作系统的任务计划功能,实现定时执行Python脚本。 本书特色: 循序渐进,逻辑清晰: 内容设计从易到难,层层递进,确保读者能够稳步提升。 理论与实践并重: 在讲解基础知识的同时,辅以大量的代码示例和实践项目,让读者学以致用。 语言通俗易懂: 避免使用过于晦涩的技术术语,力求用最简洁明了的语言解释复杂的概念。 案例丰富多样: 涵盖了从命令行工具到Web应用,再到GUI界面和网络爬虫等多个方向,展现Python的广泛应用前景。 注重编程思维培养: 不仅教授编程语法,更引导读者思考如何解决问题、如何编写高效、可读性强的代码。 适读人群: 希望系统学习Python编程的初学者。 有其他编程语言基础,想要快速掌握Python的开发者。 对自动化、Web开发、GUI开发、数据爬虫等领域感兴趣的技术爱好者。 需要通过Python提高工作效率的各类专业人士。 通过本书的学习,读者将能够熟练运用Python语言解决实际问题,构建各种类型的应用程序,为进一步深入学习Python的各个专业领域(如人工智能、机器学习、大数据等)打下坚实的基础。