一眼看懂map和flatmap的区别

一眼看懂map和flatmap的区别map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:操作1:同map函数一样:对每一条输入进…

大家好,又见面了,我是你们的朋友全栈君。

       map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。

       flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

操作2:最后将所有对象合并为一个对象

object fla_map { 
   
 def main(args: Array[String]): Unit = { 
   
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i => println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f => f)
    println(strings)
    strings.foreach( i => println(i))
  }
}

在这里插入图片描述
map:List里有小的List
flatmap:是先flat再map,只能压一次,形成一个新的List集合,把原元素放进新的集合里面

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/136208.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • SpringCloud-Hystrix(服务熔断、服务降级)

    SpringCloud-Hystrix(服务熔断、服务降级)SpringCloud-Hystrix(服务熔断,服务降级)Hystrix(豪猪)注明:此项目为本人学习尚硅谷老师的教学视频然后整理核心的配置文件,所有的项目均在以下地址下载。https://github.com/xwbGithub/microservicecloud下载本项目请参考microservicecloud-provider…

    2022年5月12日
    36
  • 比较好用的Java模拟器,515最好的java模拟器

    比较好用的Java模拟器,515最好的java模拟器之前的那些 java 模拟器根本算不上真正适用的 一来操作麻烦 二来不支持现成的 java 程序 还必须手机上网下载 之前的那些 java 模拟器根本算不上真正适用的 一来操作麻烦 二来不支持现成的 java 程序 还必须手机上网下载 这个 dmidp2 才算得上真正的可以用的 java 模拟器 它最大的优点就是可以建立在卡上 而 java 程序也可以是实现成的 相信很多人都囤积了大量的从网上下载来的 java 游戏吧 这些

    2025年8月8日
    6
  • 计算机的性能主要取决于硬盘的容量对吗,计算机的性能主要取决于(计算机的常用单位是什么)…[通俗易懂]

    计算机的性能主要取决于硬盘的容量对吗,计算机的性能主要取决于(计算机的常用单位是什么)…[通俗易懂]微型计算机的功能或性能不是由某个指标决定的,而是由它的系统结构、指令系统、硬件组成、软件配置等因素决定的。但是对于大多数普通用户来说,电脑的性能一般可以从以下几个指标来评价。1.运行速度运算速度是衡量计算机性能的重要指标。一般来说,计算机的运算速度(平均运算速度)是指每秒可以执行的指令数,一般用mips(百万条指令每秒)来描述。同一台计算机可能需要不同的时间来执行不同的操作,因此通常使用不同的方法…

    2022年6月28日
    37
  • 易语言学习(基础入门)

    易语言学习(基础入门)

    2025年7月6日
    4
  • 浅谈md5加密[通俗易懂]

    浅谈md5加密[通俗易懂]md5加密是我们生活中十分常见的加密算法。我是最近在写一个H5的项目时接触到的这个算法,这个算法极大的引起了我的好奇心,是登陆界面,要求是将用户输入的密码使用md5加密之后,再传回服务器,当时我十分不理解原因是什么.废话少说原因密码在前端进行加密,然后服务器使用摘要进行比对,这样在整个密码的校验过程中是在服务器端不知道明码的情况下进行的,极大的保证了密码的安全在避免文件内容被篡改

    2022年7月11日
    15
  • 卷积神经网络CNN算法原理「建议收藏」

    卷积神经网络CNN算法原理「建议收藏」写在前面在上一篇【Deeplearning】卷积神经网络CNN结构中我们简单地介绍了CNN的结构。接下来我们看看这种结构的CNN模型是怎么运行的,包括CNN的前向传播和反向传播算法。1.CNN前向传播算法(1)输入层前向传播到卷积层输入层的前向传播是CNN前向传播算法的第一步。一般输入层对应的都是卷积层,因此我们标题是输入层前向传播到卷积层。我们这里还是以图像识别为例。先考虑…

    2025年8月28日
    8

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号