一眼看懂map和flatmap的区别

一眼看懂map和flatmap的区别map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:操作1:同map函数一样:对每一条输入进…

大家好,又见面了,我是你们的朋友全栈君。

       map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。

       flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

操作2:最后将所有对象合并为一个对象

object fla_map { 
   
 def main(args: Array[String]): Unit = { 
   
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i => println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f => f)
    println(strings)
    strings.foreach( i => println(i))
  }
}

在这里插入图片描述
map:List里有小的List
flatmap:是先flat再map,只能压一次,形成一个新的List集合,把原元素放进新的集合里面

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/136208.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • pycharm安装后运行不了_pycharm上无法安装各种库

    pycharm安装后运行不了_pycharm上无法安装各种库原博客链接:http://blog.csdn.net/qingyuanluofeng/article/details/46501427问题:pycharm安装后不能执行python脚本。我的是执行后老是报错,但是之前在cpython中都是可以的。于是上网查询解决方法原因:pycharm没有设置解析器/解释器设置错误(我的就是因为这个之前设置错了,位置也是错的,结果导致程序不能正常运行出

    2022年8月26日
    3
  • 什么是转发和重定向转发_转发和重定向的相同点

    什么是转发和重定向转发_转发和重定向的相同点通过代码和图解详细解释转发和重定向的区别。最后得出结论!

    2022年9月7日
    0
  • hadoop入门教程列表

    hadoop入门教程列表最近也在看hadoop,搜集了一些入门的教程。感觉不错。写在这里分享下。1、从安装到实例以及基本的原理都有涉及:虾虾皮hadoop系列入门。2、一份不错的单节点hadoop搭建环境以及运行WordCount的教程:running-hadoop-on-ubuntu-linux-single-node-cluster 。3、Eclipse远程编译运

    2022年6月9日
    28
  • Typora+PicGo+Gitee+坚果云实现Win+Linux+手机端完美Markdown云笔记套件

    Typora+PicGo+Gitee+坚果云实现Win+Linux+手机端完美Markdown云笔记套件Typora+PicGo+Gitee+坚果云实现Win+Linux+手机端完美Markdown云笔记套件写在前面Typora是什么?PicGo是什么?为什么用Gitee?为什么用坚果云?1.安装Typora2.安装PicGo3.安装nodejs4.安装Gitee插件5.注册并配置Gitee6.配置PicGo的Gitee图床设置7.配置Typora的图床8.手机端查看写在前面关于笔记软件,多年…

    2022年5月12日
    55
  • LoadRunner使用教程

    LoadRunner使用教程1.了解Loadrunner1.1 LoadRunner 组件有哪些?LoadRunner 包含下列组件:➤ 虚拟用户生成器用于捕获最终用户业务流程和创建自动性能测试脚本(也称为虚拟用户脚本)。➤ Controller 用于组织、驱动、管理和监控负载测试。➤ 负载生成器用于通过运行虚拟用户生成负载。➤ Analysis 有助于您查看、分析和比较性能结果。➤ Launch

    2022年5月24日
    37
  • ListNode示例

    ListNode*partition(ListNode*head,intx){ListNoderes(0),mid(0);if(!head)returnNULL;ListNode*small=&res;ListNode*big=∣while(head){if(head->val<

    2022年4月8日
    40

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号