内容简介
《非结构化数据处理技术及应用》系统详细地阐述了非结构化数据的处理方法与技术。通过对非结构化数据特点的分析,从非结构化数据的基础知识和理论、开源工具及应用举例、数据预处理、预测模型研究、网页数据的采集、非关系型数据库存储、结构化大数据分析平台、电商个性化推荐系统的应用、网购评语情感挖掘、全文检索技术、基于主题的检索系统等不同角度给出了结构化与非结构化数据的分析、挖掘与应用内容。
目录
目录
基础知识篇
第1章 非结构化数据的基础知识 3
1.1 大数据的基本概念 3
1.2 非结构化数据的基本概念 11
1.3 非结构化数据研究的必要性 12
1.4 非结构化数据挖掘的研究领域 13
第2章 非结构化数据挖掘的基础理论 18
2.1 数据挖掘 18
2.2 数据挖掘与其他技术的关系 29
2.3 图像挖掘 33
2.4 视频挖掘 34
第3章 非结构化数据挖掘的开源工具及应用举例 37
3.1 WEKA 37
3.2 R语言简介 49
结构化数据挖掘技术篇
第4章 数据预处理技术 61
4.1 数据预处理 62
4.2 数据清理 63
4.3 数据集成和融合 66
4.4 数据变换 67
4.5 数据归约 70
第5章 预测模型研究与应用 75
5.1 预测模型的基础理论 75
5.2 回归分析预测模型 77
5.3 趋势外推预测模型 92
5.4 时间序列预测模型 99
5.5 基于神经网络的预测模型 111
5.6 马尔可夫预测模型 124
第6章 网页数据的采集技术 129
6.1 网站信息采集相关技术研究 129
6.2 基于爬虫的网站信息采集技术整合设计 138
6.3 基于爬虫的网站信息采集技术整合实现 155
第7章 非关系型数据库存储技术 168
7.1 非关系型数据库系统发展的必然性 168
7.2 非关系型数据库理论 174
7.3 非关系型数据库的使用范例 180
非结构化数据挖掘方法及应用篇
第8章 非结构化大数据的分析平台 193
8.1 HDFS海量存储 195
8.2 Map Reduce 200
8.3 Spark 207
第9章 电商个性化推荐系统的应用 211
9.1 国内外研究现状 211
9.2 电子商务个性化推荐系统理论与技术介绍 212
9.3 基于协同过滤的个性化推荐算法研究与优化 226
9.4 基于移动平台的电商个性化推荐系统设计与实现 243
第10章 网购评语情感挖掘的应用 272
10.1 国内外研究现状 272
10.2 情感挖掘理论知识基础 275
10.3 改进情感倾向模型的建立 291
10.4 改进情感倾向模型的应用验证 300
10.5 基于情感挖掘的预测分析应用 315
参考文献 329
附录一 肯定性和否定性参考词组问卷调查 340
附录二 特殊程度词的影响程度问卷调查 341
精彩书摘
决策树技术主要是指针对给定的一组样本数据,根据其对应的规则,最终选取相应的一组动作。决策树方法是利用训练集生成一个测试函数,根据不同的取值建立树的分支;在每个分支子集中重复建立下层节点和分支。这样便生成一棵决策树,然后对决策树进行剪枝处理,最后把决策树转化为规则。决策树方法主要用于分类挖掘,是利用信息论中的互信息(mutualinformation,MI)(信息增益)寻找数据库中具有最大信息量的属性字段,从而建立决策树的一个节点,再根据该属性字段的不同取值建立树的分支,最后在每个分支子集中再重复建立树的下层节点和分支的过程(马秀红等,2004)。国际上最早、也是最有影响的决策树方法是在1975年由Quinlan提出的ID3方法。ID3是基于信息熵的决策树分类算法,根据属性集的取值选择实例的类别,要解决的核心问题是在决策树中各层节点上选择属性。用信息增益率作为属性选择的标准,使得在每个非叶节点测试时,能获得关于被测试例子最大的类别信息。使用该属性将例子集分成子集后,系统的熵值最小,使得该非叶子节点到其对应的后代叶子节点的平均路径最短,从而使得所生成的决策树的平均深度较小,进一步提高分类的速度和准确率(高静等,2008)。
……
非结构化数据处理技术及应用 epub pdf mobi txt 电子书 下载 2024
非结构化数据处理技术及应用 下载 epub mobi pdf txt 电子书 2024