spark中各种连接操作以及有用方法「建议收藏」

spark中各种连接操作以及有用方法

大家好,又见面了,我是全栈君。

 val a = sc.parallelize(Array(("123",4.0),("456",9.0),("789",9.0))
     val b = sc.parallelize(Array(("123",8.0),("789",10)))

    val c = a.join(b)
    c.foreach(println)
    /*
    (123,(4.0,8.0))
    (789,(9.0,10))
     */
    val d = a.cogroup(b)
    d.foreach(println)
    /*
    (456,(CompactBuffer(9.0),CompactBuffer()))
    (123,(CompactBuffer(4.0),CompactBuffer(8.0)))
    (789,(CompactBuffer(9.0),CompactBuffer(10)))
    */
    val e = a.leftOuterJoin(b)
    e.foreach(println)
    /*
      (456,(9.0,None))
      (123,(4.0,Some(8.0)))
      (789,(9.0,Some(10)))
      */
    val f = a.fullOuterJoin(b)
    f.foreach(println)
    /*
      (456,(Some(9.0),None))
      (123,(Some(4.0),Some(8.0)))
      (789,(Some(9.0),Some(10)))
      */
    val g = a.cartesian(b)
    g.foreach(println)
    /*
((123,4.0),(123,8.0))
((123,4.0),(789,10))
((456,9.0),(123,8.0))
((456,9.0),(789,10))
((789,9.0),(123,8.0))
((789,9.0),(789,10))
      */
    /*val h = a.coalesce(6,true)
    h.foreach(println)
    a.dependencies.foreach(println)*/
    val i = a.keyBy{case (k,v)=>("haha",234)}
    i.foreach(println)
    /*
      ((haha,234),(123,4.0))
      ((haha,234),(456,9.0))
      ((haha,234),(789,9.0))
     */

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/116173.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 拜占庭将军问题_拜占庭为什么叫拜占庭

    拜占庭将军问题_拜占庭为什么叫拜占庭在https://blog.csdn.net/qq_41946557/article/details/102770531分布式系统之Paxos选举协议有提到Paxos有一个前提:没有拜占庭将军问题。,所以这里对拜占庭将军问题进行了解。拜占庭将军问题拜占庭将军问题(Byzantinefailures),是由莱斯利·兰伯特提出的点对点通信中的基本问题。含义是在存在消息丢失的不可靠信道上试…

    2025年8月19日
    2
  • Redis集群主从复制(一主两从)搭建配置教程【Windows环境】

    如何学会在合适的场景使用合适的技术方案,这值得思考。由于本地环境的使用,所以搭建一个本地的Redis集群,本篇讲解Redis主从复制集群的搭建,使用的平台是Windows,搭建的思路和Linux上基本一致! (精读阅读本篇可能花费您15分钟,略读需5分钟左右)Redis主从复制简单介绍为了使得集群在一部分节点下线或者无法与集群的大多数节点进行通讯的情况下, 仍然可以正常运…

    2022年2月27日
    57
  • parse_url   解析 URL,返回其组成部分

    parse_url   解析 URL,返回其组成部分

    2021年9月23日
    48
  • UTF-8编码占几个字节?

    UTF-8编码占几个字节?Blog:https://www.jsntian.com占2个字节的:带有附加符号的拉丁文、希腊文、西里尔字母、亚美尼亚语、希伯来文、阿拉伯文、叙利亚文及它拿字母则需要二个字节编码占3个字节的:基本等同于GBK,含21000多个汉字占4个字节的:中日韩超大字符集里面的汉字,有5万多个一个utf8数字占1个字节一个utf8英文字母占1个字节少数是汉字每个占用3个字节,多数占用…

    2022年6月26日
    32
  • 使用javascript实现对于chineseocr的API调用「建议收藏」

    ChineseOCR在线API网页地址界面提供多种接口调用方式,比如在线调用、Javascriptapi调用、curlapi调用和pythonapi调用四种方式,本次使用javascriptapi调用的方式进行OCR识别在线Javascript工具在线工具网页链接在线Base64转化工具在线工具网页链接代码修改新增一个变量fill_with_base64_image接收图片的base64编码的字符串 将input内的<fill_with_base6.

    2022年4月6日
    36
  • Otacle表查询

    Otacle表查询

    2021年12月10日
    59

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号