【Flume】batchSize和transactionCapacity区别

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。当你处理的event数量超出了batchSize,那么事务就会提交了。注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacitytransactionC…

大家好,又见面了,我是你们的朋友全栈君。

batchSize是针对Source和Sink提出的一个概念,它用来限制source和sink对event批量处理的。

即一次性你可以处理batchSize个event,这个一次性就是指在一个事务中。

当你处理的event数量超出了batchSize,那么事务就会提交了。

注意,这里有一个隐晦的地方,就是batchSize一定不能大于transactionCapacity

transactionCapacity这个概念来自于通道中,不同于batchSize(Source,Sink),说白了,就是batchSize与transactionCapactiy相互传递数据,好比两个人相互递交文件,所以batchSize的容量要小于在channel内的transactionCapactiy,否则文件会溢出。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/129454.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 组合数常用计算公式

    组合数常用计算公式Cnm=n!m!∗(n−m)!C_n^m=\frac{n!}{m!*(n-m)!}Cnm​=m!∗(n−m)!n!​Cn2=n∗(n−1)2C_n^2=\frac{n*(n-1)}{2}Cn2​=2n∗(n−1)​Cn3=n∗(n−1)∗(n−2)6C_n^3=\frac{n*(n-1)*(n-2)}{6}Cn3​=6n∗(n−1)∗(n−2)​Cnm=Cn−1m−1+Cn−1mC_n^m…

    2022年7月25日
    10
  • 使用 Amazon EC2 启动 Windows 虚拟机「建议收藏」

    使用 Amazon EC2 启动 Windows 虚拟机

    2022年2月15日
    40
  • 线程天敌TerminateThread与SuspendThread

    线程天敌TerminateThread与SuspendThread目的 不是演示 TerminateThr 和 SuspendThrea 的原理而是希望能在自己的程序中摒弃它们 也许结束一个线程最可靠的方法就是确定这个线程不休眠无限期的等待下去 一个支持可以被要求停止的线程 它必须定期的检查看它是否被要求停止或者如果它在休眠的话看它是否能够被唤醒

    2025年10月29日
    3
  • Linux文件误删除恢复操作「建议收藏」

    Linux文件误删除恢复操作「建议收藏」本文参考http://write.blog.csdn.net/postedit?ticket=ST-491405-OGjDDusZeyMgVQ7bHW7f-passport.csdn.net前言作为一个多用户、多任务的操作系统,Linux下的文件一旦被删除,是难以恢复的。尽管删除命令只是在文件节点中作删除标记,并不真正清除文件内容,但是其他用户和一些有写盘动作的进程会很快覆盖这些数据。不过……

    2022年9月20日
    3
  • License授权方案「建议收藏」

    License授权方案「建议收藏」源码地址:https://github.com/sixj0/license解决的问题:将项目卖给其他公司,需要将jar包在客户的服务器上部署,为了避免客户将项目jar包进行二次售卖,或者…

    2022年7月26日
    15
  • 软件是bs架构还是cs架构_数据库为什么cs架构

    软件是bs架构还是cs架构_数据库为什么cs架构从定义上:CS即客户端到服务器架构;BS即浏览器到服务器架构从效率上:C/S效率高,大部分的数据已经安装在系统上,B/S效率低,每次都要加载最新的数据从迭代升级上:C/S需要删除老版本在安装新版本(在升级完成桌面图标会有一个刷新的动作);B/S则无缝升级;从安全上:C/S更安全,需要安装\注册\登录;B/S有浏览器就可以使用,安全程度低;从开发成本上:B/S成本低;C/S需要不同的系统开发人员,成本高…

    2025年10月9日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号