当前位置：首页 > article >正文

【Spark分布式内存计算框架——Spark 基础环境】3. 快速入门（下）案例：词频统计、运行圆周率

article 来源：原创 2023/2/5 14:59:04

词频统计WordCount

大数据框架经典案例：词频统计WordCount，从文件读取数据，统计单词个数。
在这里插入图片描述
MapReduce WordCount
首先回顾一下MapReduce框架如何实现，流程如下图所示：

第一步、Map阶段：读取文件数据，分割为单词，出现次数为1

第二步、Reduce阶段：对map阶段输出的数据分组聚合，将相同Key的Value放在一起，聚合每个单词出现的总次数。
在这里插入图片描述
Spark WordCount
使用Spark编程实现，分为三个步骤：

第一步、从HDFS读取文件数据，sc.textFile方法，将数据封装到RDD中
第二步、调用RDD中高阶函数，进行处理转换处理，函数：flapMap、map和reduceByKey
第三步、将最终处理结果RDD保存到HDFS或打印控制台
首先回顾一下Scala集合类中高阶函数flatMap与map函数区别，
map函数：会对每一条输入进行指定的func操作，然后为每一条输入返回一个对象;
flatMap函数：先映射后扁平化；

Scala中reduce函数使用案例如下：

在Spark数据结构RDD中reduceByKey函数，相当于MapReduce中shuffle和reduce函数合在一起：按照Key分组，将相同Value放在迭代器中，再使用reduce函数对迭代器中数据聚合。

编程实现
准备数据文件：wordcount.data，内容如下，上传HDFS目录【/datas/】

## 创建文件
vim wordcount.data
## 内容如下
spark spark hive hive spark hive 
hadoop sprk spark
## 上传HDFS
hdfs dfs -put wordcount.data /datas/

编写代码进行词频统计：

## 读取HDFS文本数据，封装到RDD集合中，文本中每条数据就是集合中每条数据
val inputRDD = sc.textFile("/datas/wordcount.data")
## 将集合中每条数据按照分隔符分割，使用正则：https://www.runoob.com/regexp/regexp-syntax.html
val wordsRDD = inputRDD.flatMap(line => line.split("\\s+"))
## 转换为二元组，表示每个单词出现一次
val tuplesRDD = wordsRDD.map(word => (word, 1))
# 按照Key分组，对Value进行聚合操作， scala中二元组就是Java中Key/Value对
## reduceByKey：先分组，再聚合
val wordcountsRDD = tuplesRDD.reduceByKey((tmp, item) => tmp + item)
## 查看结果
wordcountsRDD.take(5)
## 保存结果数据到HDFs中
wordcountsRDD.saveAsTextFile("/datas/spark-wc")
## 查结果数据
hdfs dfs -text /datas/spark-wc/par*

截图如下：
在这里插入图片描述
查看保存结果：

监控页面
每个Spark Application应用运行时，启动WEB UI监控页面，默认端口号为4040，使用浏览器打开页面，如下：

点击【Job 0】，进入到此Job调度界面，通过DAG图展示，具体含义后续再讲。
在这里插入图片描述
大多数现有的集群计算系统都是基于非循环的数据流模型。即从稳定的物理存储（如分布式文件系统）中加载记录，记录被传入由一组确定性操作构成的 DAG（Directed AcyclicGraph，有向无环图），然后写回稳定存储。 DAG 数据流图能够在运行时自动实现任务调度和故障恢复。

运行圆周率

Spark框架自带的案例Example中涵盖圆周率PI计算程序，可以使用【$SPARK_HOME/bin/spark-submit】提交应用执行，运行在本地模式。

自带案例jar包：【/export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar】
提交运行PI程序

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit
–master local[2]
–class org.apache.spark.examples.SparkPi
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar
10

在这里插入图片描述

扩展：圆周率计算方式，采用蒙特卡洛算法
在这里插入图片描述
1）、在一个正方形中, 内切出一个圆形

2）、随机向正方形内均匀投 n 个点, 其落入内切圆内的内外点的概率满足如下

以上就是蒙特卡洛的大致理论, 通过这个蒙特卡洛, 便可以通过迭代循环投点的方式实现蒙特
卡洛算法求圆周率。

查看全文

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.dgrt.cn/a/391992.html

如若内容造成侵权/违法违规/事实不符，请联系一条长河网进行投诉反馈，一经查实，立即删除！

【Spark分布式内存计算框架——Spark 基础环境】3. 快速入门（下）案例：词频统计、运行圆周率

词频统计WordCount

运行圆周率

相关文章：

【Spark分布式内存计算框架——Spark 基础环境】3. 快速入门（下）案例：词频统计、运行圆周率

Python issubclass和isinstance函数：检查类型

仲裁期间投的简历竟被转发给原公司，原公司HR给我发截图，并转达老板威胁：老板行业圈子广，仲裁公司，以后投简历都是这个下场！...

社会,经济的1000+篇文章总结

Git：查看提交信息

JAVA练习40

2022-02广州调研

博客停更，再见CSDN。

现场直播计分识别软件Crack：Scoreboard OCR

算法分析

硬件常识_串口相关

[Daimayuan]循环子串（C++，字符串）

题目：1.两数之和

数据挖掘(2.4)--数据归约和变换

26、ADS使用记录之基于低通滤波匹配的超宽带功率放大器设计

改造vue-element-plus-admin，打通前后端

全志V85x开源硬件PCB方案汇总（内附PCB文件获取链接~）

使用Python从邮件中下载附件和提取元数据

分享我通过 API 赚钱的思路

从源码全面解析 synchronized 关键字的来龙去脉