内容介绍
《Spark高级数据分析》是使用Spark进行大规模数据分析的实战宝典,由大数据公司Cloudera的数据科学家撰写。四位作者首先结合数据科学和大数据分析的广阔背景讲解了Spark,然后介绍了用Spark和Scala进行数据处理的基础知识,接着讨论了如何将Spark用于机器学习,同时介绍了常见应用中几个常用的算法。此外还收集了一些更加新颖的应用,比如通过文本隐含语义关系来查询Wikipedia或分析基因数据。作者简介
Sandy Ryza是Cloudera公司数据科学家,Apache Spark项目的活跃代码贡献者。领导了Cloudera公司的Spark开发工作。他还是Hadoop项目管理委员会委员。spark高级数据分析章节目录
推荐序 ix 译者序 xi 序 xiii 前言 xv 第1 章 大数据分析 1 1.1 数据科学面临的挑战 2 1.2 认识Apache Spark 4 1.3 关于本书 5 第2 章 用Scala 和Spark 进行数据分析 7 2.1 数据科学家的Scala 8 2.2 Spark 编程模型 9 2.3 记录关联问题 9 2.4 小试牛刀:Spark shell 和SparkContext 10 2.5 把数据从集群上获取到客户端 15 2.6 把代码从客户端发送到集群 18 2.7 用元组和case class 对数据进行结构化 19 2.8 聚合 23 2.9 创建直方图 24 2.10 连续变量的概要统计 25 2.11 为计算概要信息创建可重用的代码 26 2.12 变量的选择和评分简介 30 2.13 小结 31 第3 章 音乐推荐和Audioscrobbler 数据集 33 3.1 数据集 34 3.2 交替最小二乘推荐算法 35 3.3 准备数据 37 3.4 构建第一个模型 39 3.5 逐个检查推荐结果 42 3.6 评价推荐质量 43 3.7 计算AUC 44 3.8 选择超参数 46 3.9 产生推荐 48 3.10 小结 49 第4 章 用决策树算法预测森林植被 51 4.1 回归简介 52 4.2 向量和特征 52 4.3 样本训练 53 4.4 决策树和决策森林 54 4.5 Covtype 数据集 56 4.6 准备数据 57 4.7 第一棵决策树 58 4.8 决策树的超参数 62 4.9 决策树调优 63 4.10 重谈类别型特征 65 4.11 随机决策森林 67 4.12 进行预测 69 4.13 小结 69 第5 章 基于K 均值聚类的网络流量异常检测 71 5.1 异常检测 72 5.2 K 均值聚类 72 5.3 网络入侵 73 5.4 KDD Cup 1999 数据集 73 5.5 初步尝试聚类 74 5.6 K 的选择 76 5.7 基于R 的可视化 79 5.8 特征的规范化 81 5.9 类别型变量 83 5.10 利用标号的熵信息 84 5.11 聚类实战 85 5.12 小结 86 第6 章 基于潜在语义分析算法分析维基百科 89 6.1 词项- 文档矩阵 90 6.2 获取数据 91 6.3 分析和准备数据 92 6.4 词形归并 93 6.5 计算TF-IDF 94 6.6 奇异值分解 97 6.7 找出重要的概念 98 6.8 基于低维近似的查询和评分 101 6.9 词项- 词项相关度 102 6.10 文档- 文档相关度 103 6.11 词项- 文档相关度 105 6.12 多词项查询 106 6.13 小结 107 第7 章 用GraphX 分析伴生网络 109 7.1 对MEDLINE 文献引用索引的网络分析 110 7.2 获取数据 111 7.3 用Scala XML 工具解析XML 文档 113 7.4 分析MeSH 主要主题及其伴生关系 114 7.5 用GraphX 来建立一个伴生网络 116 7.6 理解网络结构 119 7.6.1 连通组件 119 7.6.2 度的分布 122 7.7 过滤噪声边 124 7.7.1 处理EdgeTriplet 125 7.7.2 分析去掉噪声边的子图 126 7.8 小世界网络 127 7.8.1 系和聚类系数 128 7.8.2 用Pregel 计算平均路径长度 129 7.9 小结 133 第8 章 纽约出租车轨迹的空间和时间数据分析 135 8.1 数据的获取 136 8.2 基于Spark 的时间和空间数据分析 136 8.3 基于JodaTime 和NScalaTime 的时间数据处理 137 8.4 基于Esri Geometry API 和Spray 的地理空间数据处理 138 8.4.1 认识Esri Geometry API 139 8.4.2 GeoJSON 简介 140 8.5 纽约市出租车客运数据的预处理 142 8.5.1 大规模数据中的非法记录处理 143 8.5.2 地理空间分析 147 8.6 基于Spark 的会话分析 149 8.7 小结 153 第9 章 基于蒙特卡罗模拟的金融风险评估 155 9.1 术语 156 9.2 VaR 计算方法 157 9.2.1 方差- 协方差法 157 9.2.2 历史模拟法 157 9.2.3 蒙特卡罗模拟法 157 9.3 我们的模型 158 9.4 获取数据 158 9.5 数据预处理 159 9.6 确定市场因素的权重 162 9.7 采样 164 9.8 运行试验 167 9.9 回报分布的可视化 170 9.10 结果的评估 171 9.11 小结 173 第10 章 基因数据分析和BDG 项目 175 10.1 分离存储与模型 176 10.2 用ADAM CLI 导入基因学数据 178 10.3 从ENCODE 数据预测转录因子结合位点 185 10.4 查询1000 Genomes 项目中的基因型 191 10.5 小结 193 第11 章 基于PySpark 和Thunder 的神经图像数据分析 195 11.1 PySpark 简介 196 11.2 Thunder 工具包概况和安装 199 11.3 用Thunder 加载数据 200 11.4 用Thunder 对神经元进行分类 207 11.5 小结 211 附录A Spark 进阶 213 附录B 即将发布的MLlib Pipelines API 221 作者介绍 226 封面介绍 226
使用说明
1、下载并解压,得出pdf文件云听是一款非常好用的音频比欧方软件,上面的功能还是比较齐全的,可以帮助用户享受到*佳的听觉感受,闭着眼睛就能够想象到画面,伴你入睡,陪你打发空闲的时间。很多人都很喜欢
首先点击手机页面上的【捞月狗】,如下图所示。 然后登录自己的手机号,如下图所示。 进入软件以后点击【我】,如下图所示。 接着点击【申请陪玩大神】,如下图所示。 再选择适合
火狐浏览器如何自制皮肤?最近有很多小伙伴问我火狐浏览器应该怎么样自制皮肤,那么今天的教程就给大家带来火狐浏览器自制皮肤的方法步骤,让我们一起来看看吧。
黎明觉醒武器怎么改造?游戏中的武器在获得之后都是可以进行改造的,玩家可以根据自己的想法结合武器的性能来改造武器,改造之后的武器性能属性都会有所改变。那么黎明觉醒中的武
黎明觉醒宠物类型有哪些?在游戏中会有不同类型的宠物,这些宠物不止造型可爱,而且还有不同的作用,可以帮助玩家减轻负担,在这场冒险中宠物也是陪伴玩家的忠实朋友。那么黎明觉
基本上每个人都在使用微信,但很少有人知道微信还有个借钱功能,叫微粒贷。由于借款方便,能够解很多人的燃眉之急,那么怎么提高微粒贷的额度呢?下面几个方法你可以试试。 首先
来不及了快上车角色怎么升级?很多玩家都非常喜欢这款游戏,该游戏目前已经和玩家们见面了,在游戏中,我们可以通过升级我们的角色,让游戏更加的有乐趣,不少玩家都想知道该如何
黎明觉醒职业哪个厉害?目前在游戏中一共有三种职业可以选择,不同的职业有不同的作用,在后期玩家的职业也是可以进行转职的。那么黎明觉醒职业选择哪个好呢?还有很多小伙伴们不
黎明觉醒金矿怎么得?游戏中的主要货币就是钻石、金币、银币,采集金矿不仅可以获得各种矿石资源也可以获得金币。那么黎明觉醒金矿的获取方法是什么呢?还有很多小伙伴们不知道,
黎明觉醒宠物有哪些?游戏中会有宠物系统,玩家可以养一只属于自己的宠物,这些宠物一般都是犬类,宠物不仅可以陪伴玩家一起冒险,各自还具备不同的作用。那么黎明觉醒宠物有哪些