当前位置:首页 > TAG信息列表 > sparkrdd5大特性为什么Spark要用Scala实现?介绍

sparkrdd5大特性为什么Spark要用Scala实现?介绍

sparkrdd5大特性 为什么Spark要用Scala实现?

为什么spark要用scala实现?

1.斯帕克和斯卡拉真是天作之合。rdd的许多思想都与scala类似,如map、filter等高阶算子与scala的概念表完全相同。用很短的

代码,可以实现多行java函数;类似于fp中的不可变和惰性计算,rdd可以用分布式内存对象实现,同时可以实现流水线。scala善于利用例如,设计的初衷包括对jvm的支持,因此可以很好地借鉴java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、ec2中部署,使用hdfs、s3,借用配置单元的sql解析部分;

3。阿克卡也便于发展高效的网络通信。

sparkrdd5大特性spark多个rdd的连接在spark中常用的rdd有哪些

sparkrdd5大特性 为什么Spark要用Scala实现?


沧州百科 海瑞号

  • 关注微信关注微信

猜你喜欢

微信公众号