当前位置:首页 > TAG信息列表 > spark编程基础为什么Spark要用Scala实现?介绍

spark编程基础为什么Spark要用Scala实现?介绍

spark编程基础 为什么Spark要用Scala实现?

为什么spark要用scala实现?

1.斯帕克和斯卡拉真是天作之合。rdd的许多思想都与scala类似,如map、filter等高阶算子与scala的概念表完全相同。用很短的

代码,可以实现多行java函数;类似于fp中的不可变和惰性计算,rdd可以用分布式内存对象实现,同时可以实现流水线。scala善于利用例如,设计的初衷包括对jvm的支持,因此可以很好地借鉴java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、ec2中部署,使用hdfs、s3,借用配置单元的sql解析部分;

3。阿克卡也便于发展高效的网络通信。

为什么spark要用scala实现?

sbt更适合构建scala项目,maven更适合构建java项目。2对于spark中的api,java和scala是不同的,但是差别不大。三。如果用scala开发spark原型程序,可以使用spark-shell进行绘图,也可以直接使用spark-shell进行交互式实时查询。4scala代码的数量甚至会减少一个数量级,但使用scala的门槛相对较高。建议:使用scala构建spark作业,因为spark本身是由sbt构建的。同时,利用scala开发spark作业将有助于理解spark的实现机制。作者:egraldlo链接:

大数据中的scala好掌握吗,自学可以吗?

spark编程基础 为什么Spark要用Scala实现?

学习大数据技术需要掌握scala。

但是,在学习scala之前,您最好在一定程度上了解java和任何函数式语言(haskell、sml等),特别是在您可以在编程范式之间自由切换之后。

scala不偏向大数据方向的科学研究。它被用于许多地方,如火花。

1,jvm基础,与java完全兼容。对于坚实的java基础的学生,学习斯卡拉非常友好!2!在普通工具中,水槽和hadoop是用java编写的,scale和卡夫卡是scala编写的。

所以对于想学习大数据的学生来说,scala确实是最受推荐的。

作为一种相对较新的语言,scala有一个混乱的社区。在scala社区中有许多不同的尝试,主要是java和haskell,以及actor和reactive编程。如果你还没有掌握一个成熟的编程范例,我认为你很可能买不起scala。!当java编程基础很好的时候,学习hadoop系统,然后安排学习scala,然后学习scale,卡夫卡等等。这个顺序更科学合理,更容易让大家掌握。

推荐书籍:scala编程,scala函数编程https:///i6543924910664712718/

spark编程基础spark和scala的关系spark编程基础scala版pdf


艺林号 海瑞号

  • 关注微信关注微信

猜你喜欢

微信公众号