博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark算子:RDD行动Action操作(2)–take、top、takeOrdered
阅读量:6223 次
发布时间:2019-06-21

本文共 1387 字,大约阅读时间需要 4 分钟。

hot3.png

take

def take(num: Int): Array[T]

take用于获取RDD中从0到num-1下标的元素,不排序。

 
  1. scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
  2. rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21
  3.  
  4. scala> rdd1.take(1)
  5. res0: Array[Int] = Array(10)
  6.  
  7. scala> rdd1.take(2)
  8. res1: Array[Int] = Array(10, 4)
  9.  

top

def top(num: Int)(implicit ord: Ordering[T]): Array[T]

top函数用于从RDD中,按照默认(降序)或者指定的排序规则,返回前num个元素。

 
  1. scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
  2. rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21
  3.  
  4. scala> rdd1.top(1)
  5. res2: Array[Int] = Array(12)
  6.  
  7. scala> rdd1.top(2)
  8. res3: Array[Int] = Array(12, 10)
  9.  
  10. //指定排序规则
  11. scala> implicit val myOrd = implicitly[Ordering[Int]].reverse
  12. myOrd: scala.math.Ordering[Int] = scala.math.Ordering$$anon$4@767499ef
  13.  
  14. scala> rdd1.top(1)
  15. res4: Array[Int] = Array(2)
  16.  
  17. scala> rdd1.top(2)
  18. res5: Array[Int] = Array(2, 3)
  19.  

takeOrdered

def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

takeOrdered和top类似,只不过以和top相反的顺序返回元素。

 
  1. scala> var rdd1 = sc.makeRDD(Seq(10, 4, 2, 12, 3))
  2. rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[40] at makeRDD at :21
  3.  
  4. scala> rdd1.top(1)
  5. res4: Array[Int] = Array(2)
  6.  
  7. scala> rdd1.top(2)
  8. res5: Array[Int] = Array(2, 3)
  9.  
  10. scala> rdd1.takeOrdered(1)
  11. res6: Array[Int] = Array(12)
  12.  
  13. scala> rdd1.takeOrdered(2)
  14. res7: Array[Int] = Array(12, 10)
  15.  

转载于:https://my.oschina.net/chensanti234/blog/809181

你可能感兴趣的文章
MyEclipse------快速读取特定目录下的文件的内容(字节输入流)
查看>>
Linq查询操作之排序操作
查看>>
Spring 4支持的Java 8新特性一览
查看>>
RHEL6.2下挂载光驱安装软件
查看>>
YYCache 源码分析(二)
查看>>
2016年第9本:系统之美
查看>>
framebuff 显示子系统
查看>>
php手册杂记
查看>>
Yii2 定时任务创建(Console 任务)
查看>>
lombok+slf4j+logback SLF4J和Logback日志框架详解
查看>>
PHP 单例模式继承的实现方式
查看>>
思维杂谈(1)
查看>>
【Java深入研究】3、HashMap源码解析(jdk 1.7)
查看>>
1102 采药 2005年NOIP全国联赛普及组
查看>>
WebSockets Tutorial(教程一)WebSockets简介
查看>>
仿支付宝/微信的password输入框效果GridPasswordView解析
查看>>
【复制虚拟机】虚拟机复制后无ip的问题
查看>>
002-数据库命名开发规范
查看>>
vue、vuex、iview、vue-router报错集锦与爬坑记录
查看>>
Redis使用示例及在PHP环境中用redis存储session
查看>>