一眼看懂map和flatmap的区别

一眼看懂map和flatmap的区别map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:操作1:同map函数一样:对每一条输入进…

大家好,又见面了,我是你们的朋友全栈君。

       map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。

       flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

操作2:最后将所有对象合并为一个对象

object fla_map { 
   
 def main(args: Array[String]): Unit = { 
   
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i => println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f => f)
    println(strings)
    strings.foreach( i => println(i))
  }
}

在这里插入图片描述
map:List里有小的List
flatmap:是先flat再map,只能压一次,形成一个新的List集合,把原元素放进新的集合里面

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/136208.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • squid 代理服务器[通俗易懂]

    squid 代理服务器[通俗易懂]squid代理服务器(包括正向代理服务器、反向代理服务器(cdn加速)squid调度器:负载均衡(缓解企业服务器的压力))1.什么是squid代理服务器?Squid是一个高性能的代理缓存服务器,Squid支持FTP、gopher、HTTPS和HTTP协议和一般的代理缓存软件不同,Squid用一个单独的、非模块化的、I/O驱动的进程来处理所有的客户端请求Squid是一种用来缓冲Inter…

    2022年5月27日
    43
  • HTML文件的注释及其快捷键

    HTML文件的注释及其快捷键                                       <!–注释内容–>                   快捷键:ctrl+?…

    2022年4月29日
    76
  • document.body.clientWidth

    document.body.clientWidths="网页可见区域宽:"document.body.clientWidth; s="网页可见区域高:"document.body.clientHeight; s="网页可见区域宽:"document.body.offsetWidth"(包括边线和滚动条的宽)"; s="网页可见区域高:"document.body.offsetHeight"(包括边线的宽)&q

    2022年7月22日
    20
  • 使用rapidxml 生成xml文件[通俗易懂]

    使用rapidxml 生成xml文件[通俗易懂]rapidxml是一个快速的xml库,有C++

    2022年7月17日
    25
  • J2ME开发初探

    J2ME开发初探摘要:本文是J2ME开发的入门性文章,从零开始介绍了进行J2ME开发首先需要了解的一些东西。阅读本文几乎不需要相关的基础知识。1.1.       J2ME简介J2ME是Java2Platform,MicroEdition的简称。它是SunMicrosystems公司在Java的品脾之下的四种平台之一,其他三种分别是J2SE,J2EE和JavaCard。J2ME的目标是消费

    2022年7月11日
    19
  • k8s pod控制器_k8s控制器

    k8s pod控制器_k8s控制器k8sPod控制器的介绍ReplicaSet(RS)Deployment(Deploy)扩缩容镜像更新版本回退金丝雀发布Horizontal Pod Autoscaler(HPA)DaemonSet(DS)JobCronJob(CJ)StatefulSet(有状态)StatefulSet的金丝雀发布k8s的Pod控制器详解主要介绍各种Pod控制器的详细使用。Pod控制器的介绍在kubernetes中,按照Pod的创建方式可以将其分为两类:自主式Pod:kubernetes直接创建出来的Pod,这

    2022年8月11日
    9

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号