nifi集群_nifi架构

nifi集群_nifi架构nifi 是运行在 jvm 上的一个软件 NIFI 的主要组成部分如下 WebServer 网络服务 WebServer 的主要作用是提供网页服务和 restapiFlowC 流控制器 FlowControll 是 NIIF 操作的大脑 它为处理器 processor 提供线程执行任务 同时管理处理器的执行调度 Extensions Preocessor 处理器 NIFI 中拥有众多的类

nifi集群_nifi架构

nifi是运行在jvm上的一个软件,NIFI的主要组成部分如下:

nifi集群_nifi架构Web Server(网络服务)

Web Server的主要作用是提供网页服务和rest api

Flow Controller(流控制器)

Flow Controller是NIIF操作的大脑。它为处理器(processor)提供线程执行任务,同时管理处理器的执行调度

Extensions(Preocessor处理器) NIFI中拥有众多的类型处理器,主要分为以下几类:Data Transformation(数据转换)

Routing and Mediation(路由和调解)

Database Access(数据库访问)

Attribute Extraction(属性提取)

System Interaction(系统交互)

Data Ingestion(数据撷取)

Data Egress / Sending Data(数据出口/数据发送)

Splitting and Aggregation(拆分和聚合)

HTTP

Amazon Web Services(亚马逊网络服务)

FlowFile Repository(流文件仓库)

FlowFlie仓库是NIFI 保持追踪流中flowfile的相关信息的地方,仓库的实现是可插拔的,默认的方法是位于一个指定的磁盘分区持久写式日志。 Write-Ahead Log方法

Content Repository(内容仓库)

内容仓库是存储FlowFile的实际内容的地方。仓库的实现是可插拔的。默认的方法是相当简单的机制-直接在文件系统中存储数据块。可以指定多个系统存储地址从而获得不同的物理分区优化单个文件卷的IO性能问题

Provenance Repository(源谱仓库)

Provenance Repository是所有源谱事件数据的存储位置。该库的构建是可插拔使用,默认的实现是使用一个或多个物理磁盘卷。在每个位置的事件数据进行索引和搜索。

NiFi同时也是支持集群的,如下

nifi集群_nifi架构

NiFi 从1.0.0版本发布以来便已实现Zero-Master Clustering(不知道怎么翻译),每一个节点对不同对数据执行相同的操作。apache zookeeper选取一个节点作为协调器(Coordinator),zookeeper自动处理故障切换。所有集群的节点发送心跳和状态信息到集群的协调器,协调器负责连接和断开节点。此外,每一个集群一个都有zookeeper选举的主节点。操作人员可以从任何一个节点的用户界面(UI)的NiFi集群互动,所做的任何更改将被复制到集群中的所有节点,允许多个入口点。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/205880.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月19日 下午4:58
下一篇 2026年3月19日 下午4:58


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号