首页
spark(关于spark的基本详情介绍)
返回

spark(关于spark的基本详情介绍)

2023-01-02 综合百科 By:佚名
最佳答案大家好我是小蝌蚪,spark,关于spark的基本详情介绍很多人还不知道,那么现在让我们一起来看看吧!1、Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。2、Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop ...

大家好我是小蝌蚪,spark,关于spark的基本详情介绍很多人还不知道,那么现在让我们一起来看看吧!

1、Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

2、Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

3、Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。

4、Spark 是在 Scala 语言中实现的,它将Scala 用作其应用程序框架。

5、与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

6、尽管创建 Spark 是为了支持分布式数据集上的迭代作业,但是实际上它是对 Hadoop 的补充,可以在 Hadoop 文件系统中并行运行。

7、通过名为 Mesos 的第三方集群框架可以支持此行为。

8、Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发,可用来构建大型的、低延迟的数据分析应用程序。

本文关于spark的基本详情介绍就讲解完毕,希望对大家有所帮助。

猜你喜欢
dominate是什么意思啊(dominate 什么意思)

dominate是什么意思啊(dominate 什么意思)

01-02 0 阅读
阚清子(关于阚清子的基本详情介绍)

阚清子(关于阚清子的基本详情介绍)

12-30 0 阅读
一只牛的异想世界(关于一只牛的异想世界的基本详情介绍)

一只牛的异想世界(关于一只牛的异想世界的基本详情介绍)

01-02 0 阅读
新编现代酒店岗位要求及上岗培训实务全书(关于新编现代酒店岗位要求及上岗培训实务全书的简介)

新编现代酒店岗位要求及上岗培训实务全书(关于新编现代酒店岗位要求及上岗培训实务全书的简介)

12-31 0 阅读
极微(关于极微的简介)

极微(关于极微的简介)

01-01 0 阅读
皮衣上的圆珠笔迹怎么去掉

皮衣上的圆珠笔迹怎么去掉

07-15 0 阅读
热门推荐
管理技能(关于管理技能的基本详情介绍)

管理技能(关于管理技能的基本详情介绍)

12-30 0 阅读
dominate是什么意思啊(dominate 什么意思)

dominate是什么意思啊(dominate 什么意思)

01-02 0 阅读
尺规作图专题训练(尺规作图练习题)

尺规作图专题训练(尺规作图练习题)

02-17 0 阅读
聆听植物的心声的读后感400(聆听植物的心声)

聆听植物的心声的读后感400(聆听植物的心声)

01-04 0 阅读
g15显卡驱动(geforce g105m)

g15显卡驱动(geforce g105m)

01-02 0 阅读
阚清子(关于阚清子的基本详情介绍)

阚清子(关于阚清子的基本详情介绍)

12-30 0 阅读
一只牛的异想世界(关于一只牛的异想世界的基本详情介绍)

一只牛的异想世界(关于一只牛的异想世界的基本详情介绍)

01-02 0 阅读
火箭季前赛开始时间(火箭季前赛)

火箭季前赛开始时间(火箭季前赛)

01-04 0 阅读
进驻商场的排他协议(进驻商场)

进驻商场的排他协议(进驻商场)

01-02 0 阅读
新编现代酒店岗位要求及上岗培训实务全书(关于新编现代酒店岗位要求及上岗培训实务全书的简介)

新编现代酒店岗位要求及上岗培训实务全书(关于新编现代酒店岗位要求及上岗培训实务全书的简介)

12-31 0 阅读