spark中各种连接操作以及有用方法「建议收藏」

spark中各种连接操作以及有用方法

大家好,又见面了,我是全栈君。

 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))
     val b = sc.parallelize(Array(("123",8.0),("789",10)))

    val c = a.join(b)
    c.foreach(println)
    /*
    (123,(4.0,8.0))
    (789,(9.0,10))
     */
    val d = a.cogroup(b)
    d.foreach(println)
    /*
    (456,(CompactBuffer(9.0),CompactBuffer()))
    (123,(CompactBuffer(4.0),CompactBuffer(8.0)))
    (789,(CompactBuffer(9.0),CompactBuffer(10)))
    */
    val e = a.leftOuterJoin(b)
    e.foreach(println)
    /*
      (456,(9.0,None))
      (123,(4.0,Some(8.0)))
      (789,(9.0,Some(10)))
      */
    val f = a.fullOuterJoin(b)
    f.foreach(println)
    /*
      (456,(Some(9.0),None))
      (123,(Some(4.0),Some(8.0)))
      (789,(Some(9.0),Some(10)))
      */
    val g = a.cartesian(b)
    g.foreach(println)
    /*
((123,4.0),(123,8.0))
((123,4.0),(789,10))
((456,9.0),(123,8.0))
((456,9.0),(789,10))
((789,9.0),(123,8.0))
((789,9.0),(789,10))
      */
    /*val h = a.coalesce(6,true)
    h.foreach(println)
    a.dependencies.foreach(println)*/
    val i = a.keyBy{case (k,v)=>("haha",234)}
    i.foreach(println)
    /*
      ((haha,234),(123,4.0))
      ((haha,234),(456,9.0))
      ((haha,234),(789,9.0))
     */

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/116173.html原文链接:https://javaforall.net

(0)
上一篇 2022年1月25日 上午7:00
下一篇 2022年1月25日 上午7:00


相关推荐

  • 可重入锁和不可重入锁的区别

    可重入锁和不可重入锁的区别不可重入锁示例(同一个线程不可以重入上锁后的代码段)如下是一个不可重入锁的逻辑过程,会发现执行main方法控制台会打印执行doJob方法前,然后就会一直线程阻塞,不会打印执行doJob方法过程中,原因在于第一次上锁后,由于没有释放锁,因此执行第一次lock后isLocked=true,这个时候调用doJob()内部又一次调用了lock()由于上个线程将isLocked=true,导致再次进入的时候就进入死循环。导致线程无法执行System.out.println(“执行doJob方法过程中”);这

    2022年6月26日
    37
  • 微软发布 VS Code 1.107:Agent HQ 指挥中心登场,组团 AI 智能体为你写代码

    微软发布 VS Code 1.107:Agent HQ 指挥中心登场,组团 AI 智能体为你写代码

    2026年3月16日
    2
  • android网格布局间距,Android布局之GridLayout网格布局「建议收藏」

    android网格布局间距,Android布局之GridLayout网格布局「建议收藏」网格布局标签是GridLayout。这个布局是android4.0新增的布局。这个布局只有4.0之后的版本才能使用。不过新增了一些东东①跟LinearLayout(线性布局)一样,他可以设置容器中组件的对齐方式②容器中的组件可以跨多行也可以跨多列(相比TableLayout直接放组件,占一行相比较)因为是android4.0新增的,APILevel14,在这个版本以前的sdk都需要导入项目,…

    2025年7月1日
    3
  • Cocos2d-x项目总结中的一些遇到的问题

    Cocos2d-x项目总结中的一些遇到的问题

    2022年1月1日
    55
  • matlab 心形曲线

    matlab 心形曲线1 有网格线 clearx 2 0 01 2 y sqrt 2 sqrt x 2 x 2 z asin abs x 1 pi 2 plot x y gridon holdon plot x z axisequal 效果图 2 无网格线 t 0 0 1 2 pi x 16 sin t 3 y 13 cos t 5 cos 2 t 2 co

    2026年3月19日
    1
  • sdp详细介绍

    sdp详细介绍1 SDP 协议概述 SDP Session nbsp Description nbsp Protocol 是一个用来描述多媒体会话的应用层控制协议 为会话通知 会话邀请和其它形式的多媒体会话初始化等目的提供了多媒体会话描述 它是一个基于文本的协议 这样就能保证协议的可扩展性比较强 这样就使其具有广泛的应用范围 SDP 完全是一种会话描述格式 nbsp 它不属于传输协议 它只使用不同的适当的传输协议 包括会话通知协议 SA

    2026年3月18日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号