大数据挖掘与处理经典套装 大数据 互联网大规模数据挖掘与分布式处理 + 数据挖掘导论（套装共2册）

这套书以大数据环境下的数据挖掘和机器学习为重点，全面介绍了实践中行之有效的数据挖掘知识和数据处理算法。

这套书以大数据环境下的数据挖掘和机器学习为重点，全面介绍了实践中行之有效的数据挖掘知识和数据处理算法。《数据挖掘导论（完整版）》涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都包含两章：前面一章讲述基本概念、代表性算法和评估技术，后面一章较深入地讨论高级概念和算法，目的是使读者在透彻地理解数据挖掘基础的同时，还能了解更多重要的高级主题。《大数据：互联网大规模数据挖掘与分布式处理（第2版）》 源自斯坦福大学“海量数据挖掘”（CS246: Mining Massive Datasets）课程，主要关注极大规模数据的挖掘。主要内容包括分布式文件系统、相似性搜索、搜索引擎技术、频繁项集挖掘、聚类算法、广告管理及推荐系统。两本书都提供了大量示例、图表和习题。

Pang-Ning Tan，现为密歇根州立大学计算机与工程系助理教授，主要教授数据挖掘、数据库系统等课程。此前，他曾是明尼苏达大学美国陆军高性能计算研究中心副研究员（2002-2003）。

Michael Steinbach，明尼苏达大学计算机与工程系研究员，在读博士。

第1章绪论1
1.1什么是数据挖掘2
1.2数据挖掘要解决的问题2
1.3数据挖掘的起源3
1.4数据挖掘任务4
1.5本书的内容与组织7
文献注释7
参考文献8
习题10
第2章数据13
2.1数据类型14
2.1.1属性与度量15
2.1.2数据集的类型18
2.2数据质量22
2.2.1测量和数据收集问题22
2.2.2关于应用的问题26
2.3数据预处理27
2.3.1聚集27
2.3.2抽样28
2.3.3维归约30
2.3.4特征子集选择31
2.3.5特征创建33
2.3.6离散化和二元化34
2.3.7变量变换38
2.4相似性和相异性的度量38
2.4.1基础39
2.4.2简单属性之间的相似度和相异度40
2.4.3数据对象之间的相异度41
2.4.4数据对象之间的相似度43
2.4.5邻近性度量的例子43
2.4.6邻近度计算问题48
2.4.7选取正确的邻近性度量50
文献注释50
参考文献52
习题53
第3章探索数据59
3.1鸢尾花数据集59
3.2汇总统计60
3.2.1频率和众数60
3.2.2百分位数61
3.2.3位置度量：均值和中位数61
3.2.4散布度量：极差和方差62
3.2.5多元汇总统计63
3.2.6汇总数据的其他方法64
3.3可视化64
3.3.1可视化的动机64
3.3.2一般概念65
3.3.3技术67
3.3.4可视化高维数据75
3.3.5注意事项79
3.4OLAP和多维数据分析79
3.4.1用多维数组表示鸢尾花数据80
3.4.2多维数据：一般情况81
3.4.3分析多维数据82
3.4.4关于多维数据分析的最后评述84
文献注释84
参考文献85
习题86
第4章分类：基本概念、决策树与模型评估89
4.1预备知识89
4.2解决分类问题的一般方法90
4.3决策树归纳92
4.3.1决策树的工作原理92
4.3.2如何建立决策树93
4.3.3表示属性测试条件的方法95
4.3.4选择最佳划分的度量96
4.3.5决策树归纳算法101
4.3.6例子：Web机器人检测102
4.3.7决策树归纳的特点103
4.4模型的过分拟合106
4.4.1噪声导致的过分拟合107
4.4.2缺乏代表性样本导致的过分拟合109
4.4.3过分拟合与多重比较过程109
4.4.4泛化误差估计110
4.4.5处理决策树归纳中的过分拟合113
4.5评估分类器的性能114
4.5.1保持方法114
4.5.2随机二次抽样115
4.5.3交叉验证115
4.5.4自助法115
4.6比较分类器的方法116
4.6.1估计准确度的置信区间116
4.6.2比较两个模型的性能117
4.6.3比较两种分类法的性能118
文献注释118
参考文献120
习题122
第5章分类：其他技术127
5.1基于规则的分类器127
5.1.1基于规则的分类器的工作原理128
5.1.2规则的排序方案129
5.1.3如何建立基于规则的分类器130
5.1.4规则提取的直接方法130
5.1.5规则提取的间接方法135
5.1.6基于规则的分类器的特征136
5.2最近邻分类器137
5.2.1算法138
5.2.2最近邻分类器的特征138
5.3贝叶斯分类器139
5.3.1贝叶斯定理139
5.3.2贝叶斯定理在分类中的应用140
5.3.3朴素贝叶斯分类器141
5.3.4贝叶斯误差率145
5.3.5贝叶斯信念网络147
5.4人工神经网络150
5.4.1感知器151
5.4.2多层人工神经网络153
5.4.3人工神经网络的特点155
5.5支持向量机156
5.5.1最大边缘超平面156
5.5.2线性支持向量机：可分情况157
5.5.3线性支持向量机：不可分情况162
5.5.4非线性支持向量机164
5.5.5支持向量机的特征168
5.6组合方法168
5.6.1组合方法的基本原理168
5.6.2构建组合分类器的方法169
5.6.3偏倚—方差分解171
5.6.4装袋173
5.6.5提升175
5.6.6随机森林178
5.6.7组合方法的实验比较179
5.7不平衡类问题180
5.7.1可选度量180
5.7.2接受者操作特征曲线182
5.7.3代价敏感学习184
5.7.4基于抽样的方法186
5.8多类问题187
文献注释189
参考文献190
习题193
第6章关联分析：基本概念和算法201
6.1问题定义202
6.2频繁项集的产生204
6.2.1先验原理205
6.2.2Apriori算法的频繁项集产生206
6.2.3候选的产生与剪枝208
6.2.4支持度计数210
6.2.5计算复杂度213
6.3规则产生215
6.3.1基于置信度的剪枝215
6.3.2Apriori算法中规则的产生215
6.3.3例：美国国会投票记录217
6.4频繁项集的紧凑表示217
6.4.1极大频繁项集217
6.4.2闭频繁项集219
6.5产生频繁项集的其他方法221
6.6FP增长算法223
6.6.1FP树表示法224
6.6.2FP增长算法的频繁项集产生225
6.7关联模式的评估228
6.7.1兴趣度的客观度量228
6.7.2多个二元变量的度量235
6.7.3辛普森悖论236
6.8倾斜支持度分布的影响237
文献注释240
参考文献244
习题250
第7章关联分析：高级概念259
7.1处理分类属性259
7.2处理连续属性261
7.2.1基于离散化的方法261
7.2.2基于统计学的方法263
7.2.3非离散化方法265
7.3处理概念分层266
7.4序列模式267
7.4.1问题描述267
7.4.2序列模式发现269
7.4.3时限约束271
7.4.4可选计数方案274
7.5子图模式275
7.5.1图与子图276
7.5.2频繁子图挖掘277
7.5.3类Apriori方法278
7.5.4候选产生279
7.5.5候选剪枝282
7.5.6支持度计数285
7.6非频繁模式285
7.6.1负模式285
7.6.2负相关模式286
7.6.3非频繁模式、负模式和负相关模式比较287
7.6.4挖掘有趣的非频繁模式的技术288
7.6.5基于挖掘负模式的技术288
7.6.6基于支持度期望的技术290
文献注释292
参考文献293
习题295
第8章聚类分析：基本概念和算法305
8.1概述306
8.1.1什么是聚类分析306
8.1.2不同的聚类类型307
8.1.3不同的簇类型308
8.2K均值310
8.2.1基本K均值算法310
8.2.2K均值：附加的问题315
8.2.3二分K均值316
8.2.4K均值和不同的簇类型317
8.2.5优点与缺点318
8.2.6K均值作为优化问题319
8.3凝聚层次聚类320
8.3.1基本凝聚层次聚类算法321
8.3.2特殊技术322
8.3.3簇邻近度的Lance-Williams公式325
8.3.4层次聚类的主要问题326
8.3.5优点与缺点327
8.4DBSCAN327
8.4.1传统的密度：基于中心的方法327
8.4.2DBSCAN算法328
8.4.3优点与缺点329
8.5簇评估330
8.5.1概述332
8.5.2非监督簇评估：使用凝聚度和分离度332
8.5.3非监督簇评估：使用邻近度矩阵336
8.5.4层次聚类的非监督评估338
8.5.5确定正确的簇个数339
8.5.6聚类趋势339
8.5.7簇有效性的监督度量340
8.5.8评估簇有效性度量的显著性343
文献注释344
参考文献345
习题347
第9章聚类分析：其他问题与算法355
9.1数据、簇和聚类算法的特性355
9.1.1例子：比较K均值和DBSCAN355
9.1.2数据特性356
9.1.3簇特性357
9.1.4聚类算法的一般特性358
9.2基于原型的聚类359
9.2.1模糊聚类359
9.2.2使用混合模型的聚类362
9.2.3自组织映射369
9.3基于密度的聚类372
9.3.1基于网格的聚类372
9.3.2子空间聚类374
9.3.3DENCLUE：基于密度聚类的一种基于核的方案377
9.4基于图的聚类379
9.4.1稀疏化379
9.4.2最小生成树聚类380
9.4.3OPOSSUM：使用METIS的稀疏相似度最优划分381
9.4.4Chameleon：使用动态建模的层次聚类381
9.4.5共享最近邻相似度385
9.4.6Jarvis-Patrick聚类算法387
9.4.7SNN密度388
9.4.8基于SNN密度的聚类389
9.5可伸缩的聚类算法390
9.5.1可伸缩：一般问题和方法391
9.5.2BIRCH392
9.5.3CURE393
9.6使用哪种聚类算法395
文献注释397
参考文献398
习题400
第10章异常检测403
10.1预备知识404
10.1.1异常的成因404
10.1.2异常检测方法404
10.1.3类标号的使用405
10.1.4问题405
10.2统计方法406
10.2.1检测一元正态分布中的离群点407
10.2.2多元正态分布的离群点408
10.2.3异常检测的混合模型方法410
10.2.4优点与缺点411
10.3基于邻近度的离群点检测411
10.4基于密度的离群点检测412
10.4.1使用相对密度的离群点检测413
10.4.2优点与缺点414
10.5基于聚类的技术414
10.5.1评估对象属于簇的程度415
10.5.2离群点对初始聚类的影响416
10.5.3使用簇的个数416
10.5.4优点与缺点416
文献注释417
参考文献418
习题420
附录A线性代数423
附录B维归约433
附录C概率统计445
附录D回归451
附录E优化457

自从我和孟小峰等人翻译J. Han和M. Kamber的《数据挖掘：概念与技术》以来，我们高兴地看到数据挖掘的研究正在我国蓬勃开展。许多学者和研究人员都对这个新兴的学科领域表现出了极大的兴趣，他们之中不仅有来自数据库领域的专家，而且不乏统计学、人工智能和模式识别、机器学习等领域的研究者。国内的学者和研究者在数据挖掘方面的研究已经取得了一些令人鼓舞的成果，并且正在逐渐与国际学术界同步。
数据挖掘的产生和发展一直是分析和理解数据的实际需求推动的。数据挖掘研究的进展也正是在于一直重视与其他领域研究者的合作。数据挖掘从工业、农业、医疗卫生和商业的需求中获得动力，从统计学、机器学习等领域的长期研究与发展中汲取营养。我们相信，只要有理解数据的需求，就有推动数据挖掘研究与应用发展的动力；只要依靠多学科的团队，就能应对新的数据分析任务带来的挑战。
P. Tan、M. Steinbach和V. Kumar编写的这本《数据挖掘导论》是继《数据挖掘：概念与技术》一书之后的另一本重要的数据挖掘著作。三位作者都从事数据挖掘研究多年，其中Vipin Kumar教授是数据挖掘和高性能计算领域的国际知名学者。本书原版在正式出版之前就已经被斯坦福大学、得克萨斯大学奥斯汀分校等众多名校采用。J. Han教授也高度评价该书：“这是一本全新数据挖掘的教材，值得大力推荐。它将成为我们的主要参考书。”
本书不需要读者具备数据库背景，只需要少量统计学或数学背景知识，而且取材涉及的学科和应用领域较多，实用性强，因此适合的读者面较广。本书强调如何用数据挖掘知识解决各种实际问题，强调所挖掘的知识模式的评估。例如，就像我们能够从天空中的白云想象出各种动物和物体一样，每个聚类算法能够从几乎所有的数据集中发现聚类。如果数据集合中根本不存在自然的簇，所产生的聚类很难说具有实际意义。
全书共分10章。范明负责第1~8章的翻译，范宏建负责第9章和第10章的翻译。蒋宏杰、贾玉祥、许红涛和温箐笛也参加本书的最初翻译工作。全书的译文由范明负责统一定稿。在翻译的过程中，对发现的错误进行了更正，并得到原书作者的确认。
感谢P. Tan、M. Steinbach和V. Kumar为中文版撰写序言。感谢人民邮电出版社图灵公司的编辑们，他们在第一时间内引进本书，并组织翻译，使得中文版能够如此之快地与读者见面。
译文中的错误和不当之处，敬请读者朋友指正。意见和建议请发往mfan@zzu.edu.cn。希望读者喜欢这本译著，希望这本译著有助于推动我国的数据挖掘研究与应用的深入开展。
范明
2006年2月于郑州大学
数据生成和收集技术的进步促使商业和科研领域产生了海量数据集。数据仓库能够存储多种数据，如：企业销售和运作的详细情况，地球轨道卫星发送回地球的高分辨率图像和遥感数据，对越来越多的有机体进行的基因组实验产生的序列、结构和机能数据。收集和存储数据变得轻松简便，已经完全改变了人们对数据分析的态度，人们开始尽可能地收集各个时期和各种来源的数据。人们相信收集的数据肯定会有价值，或者当初收集它就有明确的目的，或者只是先收集起来再说。
传统数据分析技术在应对这些新型数据集提出的挑战时存在种种局限性，而数据挖掘技术突破了这些局限。数据挖掘并不是要取代其他分析领域，而是以它们为基础。尽管数据挖掘的某些主题（如关联分析）是其独有的，但是，还有许多主题（如聚类、分类和异常检测）则建立在其他领域长期工作的基础之上。事实上，数据挖掘研究者们主动利用已有技术对增强和拓展这个领域以及推动它的快速发展起到了促进作用。
该领域一直强调与其他领域的研究者合作，因而充满了活力。要迎接新类型数据分析的挑战，抛开理解数据的人和数据所处的领域而简单地使用数据分析技术是不可行的。通常，能否组建好多学科研究团队，已经成为数据挖掘项目（如创建新的独创性算法）成败的决定因素。正如历史上统计学的许多进展都是由农业、工业、医疗卫生和商业需求推动的一样，今天，数据挖掘的许多进展也正在被这些领域的需求所推动。
自1998年春季开始，我们在明尼苏达大学为高年级本科生和研究生开设了数据挖掘课程。为这些课程准备的演示幻灯片和习题随着时间不断积累，成为本书的基础。数据挖掘的聚类技术综述最初是为该领域的某项研究而写的，它也成为本书第8章的雏形。随着时间的推移，又增加了关于数据、分类、关联分析和异常检测的几章。本书定稿后已在作者所在的学校（明尼苏达大学和密歇根州立大学）以及其他一些大学作为教材试用。
在此期间，出现了许多数据挖掘方面的书籍，但是都不能完全满足我们学生的需要——他们主要是计算机科学专业的研究生和本科生，也包括来自工科和其他专业的学生。他们的数学和计算机背景差异很大，但是都有一个共同目标：尽可能直接地学习数据挖掘，尽快地将其应用到各自的领域。因此，要求较多数学和统计学预备知识的书对他们中的许多人都没有吸引力，需要坚实的数据库背景的书也有同样的问题。为了满足这些学生需求而逐渐写成的本书，现在的完稿使用了大量例子、习题并用简洁的语言描述了关键算法，尽可能直接把重点放在数据挖掘的主要概念上。
概述
具体而言，本书全面介绍了数据挖掘，方便学生、教师、研究人员和专业人士理解有关概念和技术。本书所涵盖的领域包括数据预处理、可视化、预测建模、关联分析、聚类和异常检测。目标是讲述每个主题的基本概念和算法，从而为读者提供将数据挖掘应用于实际问题所需的必要背景。此外，本书也为有志于从事数据挖掘和相关领域研究的读者提供一个起点。
本书涵盖五个主题：数据、分类、关联分析、聚类和异常检测。除异常检测外，每个主题都分两章讲述。对于分类、关联分析和聚类，前面一章讲述基本概念、代表性算法和评估技术，后面的一章深入讨论高级概念和算法。这样做的目的是使读者透彻地理解数据挖掘的基础，同时论述更多重要的高级主题。由于这种安排，本书既可用作为教材又可用作参考书。
为了帮助读者理解书中概念，我们提供大量示例、图表和习题。每一章的结尾给出了文献注释，是为那些对更高级的主题、重要的历史文献和当前趋势感兴趣的读者提供的。
致教师
作为一本教材，本书广泛适合于高年级本科生和研究生。由于学习这门课程的学生背景不同，他们可能不具备广博的统计学和数据库知识，因此本书只要求最低限度的预备知识——不需要数据库知识，并假定读者只有一般的统计学或数学背景。本书尽可能自成一体。统计学、线性代数和机器学习的必要基础知识或者已经融入正文，或者包含在附录中。
由于讨论主要数据挖掘主题的各章也是自成一体的，因此主题的讲授次序相当灵活。核心题材在第2、4、6、8和10章介绍。数据导论（第2章）应当最先讨论，基本的分类、关联分析和聚类（分别是第4、6、8章）可以以任意次序讲述。由于异常处理（第10章）与分类（第4章）和聚类（第8章）有一定的关系，这两章应当在第10章之前讲述。还可以根据课程安排和师生的兴趣从高级的分类、关联分析和聚类（分别为第5、7、9章）中选讲一些主题。我们也建议教师用数据挖掘的实际项目和练习强化课程的教学。尽管这样做很耗费时间，但是实践性的作业可以大大提高这门课程的价值。
支持材料
本书的教辅材料可以在Addison-Wesley的网站上找到 。提供给所有读者的支持材料如下。
课程幻灯片。
学生项目建议。
数据挖掘资源，如数据挖掘算法和数据集。
联机指南，使用实际的数据集和数据分析软件，为本书介绍的部分数据挖掘技术提供例子讲解。
其他支持材料（包括习题答案）只向采纳本书做教材的教师提供。意见和建议以及勘误请通过dmbook@cs.unm.edu发给作者。
致谢
许多人都为本书做出了贡献。我们首先向家人表示感谢，这本书是献给他们的。没有他们的耐心和支持，不可能写出本书。
我们要感谢明尼苏达大学和密歇根州立大学数据挖掘小组的学生所做的贡献。Eui-Hong（Sam）Han和Mahesh Joshi帮助我们准备了最初的数据挖掘课程。他们编制的某些习题和演示幻灯片已经收录在本书及其辅助幻灯片中。小组中的其他学生也为本书的初稿提出建议或以各种方式做出贡献，他们是Shyam Boriah、Haibin Cheng、Varun Chandola、Eric Eilertson、Levent Ert?z、Jing Gao、Rohit Gupta、Sridhar Iyer、Jung-Eun Lee、Benjamin Mayer、Aysel Ozgur、Uygar Oztekin、Gaurav Pandey、Kashif Riaz、Jerry Scripps、Gyorgy Simon、Hui Xiong、Jieping Ye和Pusheng Zhang。我们还要感谢明尼苏达大学和密歇根州立大学选修数据挖掘课程的学生，他们使用了本书的初稿，并提供了极富价值的反馈。我们特别感谢Bernardo Craemer、Arifin Ruslim、Jamshid Vayghan和Yu Wei的有益的建议。
Joydeep Ghosh（得克萨斯大学）和Sanjay Ranka（佛罗里达大学）试用了本书的初稿。我们也直接从得克萨斯大学下列学生那里获得了许多有用的建议：Pankaj Adhikari、Rajiv Bhatia、Frederic Bosche、Arindam Chakraborty、Meghana Deodhar、Chris Everson、David Gardner、Saad Godil、Todd Hay、Clint Jones、Ajay Joshi、Joonsoo Lee、Yue Luo、Anuj Nanavati、Tyler Olsen、Sunyoung Park、Aashish Phansalkar、Geoff Prewett、Michael Ryoo、Daryl Shannon和Mei Yang。
Ronald Kostoff（ONR）阅读了聚类部分的初稿，并提出了许多建议。Musetta Steinbach发现了图中的一些错误。
我们要感谢明尼苏达大学和密歇根州立大学的同事，他们帮助创建了良好的数据挖掘研究环境。他们是Dan Boley、Joyce Chai、Anil Jain、Ravi Janardan、Rong Jin、George Karypis、Haesun Park、William F. Punch、Shashi Shekhar和Jaideep Srivastava。我们还要向我们的数据挖掘项目的合作者表示谢意，他们是Ramesh Agrawal、Steve Cannon、Piet C. de Groen、Fran Hill、Yongdae Kim、Steve Klooster、Kerry Long、Nihar Mahapatra、Chris Potter、Jonathan Shapiro、Kevin Silverstein、Nevin Young和Zhi-Li Zhang。
明尼苏达大学和密歇根州立大学的计算机科学与工程系为本书写作及研究提供了计算资源和支持环境。ARDA、ARL、ARO、DOE、NASA和NSF等机构为本书作者提供了研究资助。特别应该提到的是，Kamal Abdali、Dick Brackney、Jagdish Chandra、Joe Coughlan、Michael Coyle、Stephen Davis、Frederica Darema、Richard Hirsch、Chandrika Kamath、Raju Namburu、N. Radhakrishnan、James Sidoran、Bhavani Thuraisingham、Walt Tiernin、Maria Zemankova和Xiaodong Zhang有力地支持了我们的数据挖掘和高性能计算研究。
与培生出版集团的工作人员的合作令人愉快。具体地，我们要感谢Michelle Brown、Matt Goldstein、Katherine Harutunian、Marilyn Lloyd、Kathy Smith和Joyce Wells。我们还要感谢George Nichols帮助绘图，Paul Anagnostopoulos提供LA TEX支持。我们感谢出版社邀请的审稿人：Chien-Chung Chan（阿克伦大学）、Zhengxin Chen（内布拉斯加大学奥马哈分校）、Chris Clifton（普度大学）、Joydeep Ghosh（得克萨斯大学奥斯汀分校）、Nazli Goharian（伊利诺伊理工学院）、J. Michael Hardin（阿拉巴马大学）、James Hearne（西华盛顿大学），Hillol Kargupta（马里兰大学巴尔的摩县分校和Agnik公司）、Eamonn Keogh（加利福尼亚大学里弗赛德分校）、Bing Liu（伊利诺伊大学芝加哥分校）、Mariofanna Milanova（阿肯色大学小石城分校）、Srinivasan Parthasarathy（俄亥俄州立大学）、Zbigniew W. Ras（北卡罗莱纳大学夏洛特分校）、Xintao Wu（北卡罗莱纳大学夏洛特分校）和Mohammed J. Zaki（伦斯勒理工学院）。