spark中各种连接操作以及有用方法「建议收藏」

spark中各种连接操作以及有用方法

大家好,又见面了,我是全栈君。

 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))
     val b = sc.parallelize(Array(("123",8.0),("789",10)))

    val c = a.join(b)
    c.foreach(println)
    /*
    (123,(4.0,8.0))
    (789,(9.0,10))
     */
    val d = a.cogroup(b)
    d.foreach(println)
    /*
    (456,(CompactBuffer(9.0),CompactBuffer()))
    (123,(CompactBuffer(4.0),CompactBuffer(8.0)))
    (789,(CompactBuffer(9.0),CompactBuffer(10)))
    */
    val e = a.leftOuterJoin(b)
    e.foreach(println)
    /*
      (456,(9.0,None))
      (123,(4.0,Some(8.0)))
      (789,(9.0,Some(10)))
      */
    val f = a.fullOuterJoin(b)
    f.foreach(println)
    /*
      (456,(Some(9.0),None))
      (123,(Some(4.0),Some(8.0)))
      (789,(Some(9.0),Some(10)))
      */
    val g = a.cartesian(b)
    g.foreach(println)
    /*
((123,4.0),(123,8.0))
((123,4.0),(789,10))
((456,9.0),(123,8.0))
((456,9.0),(789,10))
((789,9.0),(123,8.0))
((789,9.0),(789,10))
      */
    /*val h = a.coalesce(6,true)
    h.foreach(println)
    a.dependencies.foreach(println)*/
    val i = a.keyBy{case (k,v)=>("haha",234)}
    i.foreach(println)
    /*
      ((haha,234),(123,4.0))
      ((haha,234),(456,9.0))
      ((haha,234),(789,9.0))
     */

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/116173.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • int(11,2)_算法笔记视频

    int(11,2)_算法笔记视频week1伪代码与时间复杂度伪代码(PseudoCode)这部分略过,基本上表达出自己意思别人也能看懂就行时间复杂度(Timecomplexity)要注意的是f(n)和大O(g(n)),f(n)=O(g(n))算法频度f(n):该算法基本操作需要执行的次数辅助函数g(n):n取无穷时可近似f(n)—》limf(n)/g(n)等于常数时间渐进复杂度O(g(n)):时间复杂度,通常用O(n)表示运行算法的规模下图为展示了时间复杂度之间比较关系部分题型:给定一式子,要求

    2022年8月11日
    2
  • docker 卸载出错

    docker 卸载出错场景:win10,一时脑抽,在安装了docker之后没有用正常的方式卸载(比如win10卸载,软件管家等)。直接把docker在c盘下的文件夹给删了,结果这一删,再也安不上了。现象:安装docker显示已经是最新版本(Existinginstallationisuptodate),如下图解决方法:…

    2022年9月8日
    2
  • 球谐函数

    球谐函数

    2021年5月25日
    197
  • 纸的大小图解_常用纸张尺寸及示意图(A0,A1A3,A4,A5A8)数据源维基百科.PDF

    纸的大小图解_常用纸张尺寸及示意图(A0,A1A3,A4,A5A8)数据源维基百科.PDF常用纸张尺寸及示意图(A0,A1A3,A4,A5A8)数据源维基百科mFPCharging-常用纸张尺寸说明2011-12-09v2.0常用纸张尺寸及示意图(A0,A1…A3,A4,A5…A8)数据源:维基百科标准定义ISO216定义了A、B、C三个系列的纸张尺寸。C系列纸张尺寸主要使用于信封。ISO216的格式遵循着的比率;放在一起的两张纸有着…

    2022年6月20日
    66
  • Intellij IDEA创建Maven Web项目

    Intellij IDEA创建Maven Web项目

    2021年12月5日
    61
  • Win10安装wget_linux wget安装

    Win10安装wget_linux wget安装安装下载点击下载依次如下:1.2、将下载好的wget.exe放到C:/windows/system32文件夹下3.3、在cmd中输入wget–version如下则成功:测试下载图片wgethttp://q1.xiongmaoya.com/2021/08/09/26045/1.jpg

    2022年10月17日
    3

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号