【Flume】batchSize和transactionCapacity区别

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。当你处理的event数量超出了batchSize,那么事务就会提交了。注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacitytransactionC…

大家好,又见面了,我是你们的朋友全栈君。

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。

即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。

当你处理的event数量超出了batchSize,那么事务就会提交了。

注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacity

transactionCapacity这个概念来自于通道中,不同于batchSize(Source,Sink),说白了,就是batchSize与transactionCapactiy相互传递数据,好比两个人相互递交文件,所以batchSize的容量要小于在channel内的transactionCapactiy,否则文件会溢出。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129454.html原文链接:https://javaforall.net

(0)
上一篇 2022年4月15日 上午6:40
下一篇 2022年4月15日 上午6:40


相关推荐

  • 曼哈顿距离和切比雪夫距离转换

    曼哈顿距离和切比雪夫距离转换设平面空间内存在两点 它们的坐标为 x1 y1 x2 y2 曼哈顿距离 dis x1 x2 y1 y2 即两点横纵坐标差之和 切比雪夫距离 dis max x1 x2 y1 y2 即两点横纵坐标差的最大值 两者之间的关系两者的定义看上去好像毛线关系都没有 但实际上 这两种距离可以相互转化 我们考虑最简单的情况 在一个二维坐标系中 设原点为 0 0 如果用曼哈顿距离

    2026年3月18日
    2
  • jvm 垃圾回收器比较_jvm有哪些垃圾回收算法

    jvm 垃圾回收器比较_jvm有哪些垃圾回收算法十种垃圾回收器的简介以及调优的一些经验

    2025年8月28日
    6
  • 费曼学习法

    费曼学习法费曼学习法我的理解:费曼学习法就是把学好的东西用简洁易懂的语言,传授给别人举例:你学完微积分,然后自己去培训班,自己做老师,传授给学生们,并且学生们都能听懂费曼学习法的四个步骤:1.确定目标

    2022年8月6日
    8
  • 基于蓝墨云平台的计算机教学,基于蓝墨云班课的中职计算机“分层教学”模式探究…

    基于蓝墨云平台的计算机教学,基于蓝墨云班课的中职计算机“分层教学”模式探究…崔月娇一 教学现状概述一方面 我校是面向全国招生 部分欠发达地区的学生由于资源配置导致计算机基础相当薄弱 而来自发达地区的学生早早地接触了计算机 部分计算机基础操作已相当熟练 学生的计算机水平参差不齐 这样大大增加了教师教学的难度 另一方面 随着科技的不断进步 移动互联网的不断发展 越来越多的学生开始将手机带入课堂 十九大报告指出 发展素质教育 推进教学公平 要建设 人人皆学 时时可学 处处能

    2026年3月19日
    2
  • datax(24):远程调试datax

    datax(24):远程调试datax一、datax开启远程debug1、环境本地:win10,idea专业版2020.3,datax3.0远程:CentOS6.5,datax3.02、效果3、步骤3.1远程开启debug/apps/datax/bin/datax.py/apps/datax/job/job.json-d即在后面添加-d即可,默认端口为9999,也可以自行修改datax.py文件第35行REMOTE_DEBUG_CONFIG=”-Xdebug-Xrunjdwp:transport=dt

    2022年5月17日
    131
  • android的layout_android可拖拽layout

    android的layout_android可拖拽layoutViewGroup.LayoutParams介绍LayoutParams携带了子控件针对父控件的信息,告诉父控件如何放置自己LayoutParams类也只是简单的描述了宽高,宽和高都可以设置成三种值:1,一个确定的值;2,FILL_PARENT,即填满(和父容器一样大小);3,WRAP_CONTENT,即包裹住组件就好。每一个ViewGroup(例如LinearLayout,RelativeLa…

    2026年2月9日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号