kafka简单了解

Published on with 0 views and 0 comments

#kafka 可以以来 zookeeper 进行,最新版本 kafka 已经不需要额外再安装 zookeeper 了,它可以自己存储元数据信息了。#

kafka 的核心概念

Broker 消息中间件处理节点(服务器),一个节点就是一个 broker,一个 Kafka 集群由一个或多个 broker 组成

Topic Kafka 对消息进行归类,发送到集群的每一条消息都要指定一个 topic

Partition 物理上的概念,每个 topic 包含一个或多个 partition,一个 partition 对应一个文件夹,这个文件夹下存储 partition 的数据和索引文件,每个 partition 内部是有序的

Producer 生产者,负责发布消息到 broker

Consumer 消费者,从 broker 读取消息

ConsumerGroup 每个 consumer 属于一个特定的 consumer group,可为每个 consumer 指定 group name,若不指定,则属于默认的 group,一条消息可以发送到不同的 consumer group,但一个 consumer group 中只能有一个 consumer 能消费这条消息

kafka 的特点

高吞吐,顺序消费,分布式

高吞吐

十万级别的吞吐量

使用到了内存零拷贝,使用到了硬盘的顺序存储

顺序消费

使用 zookeeper 存储 offset,记录上一次访问到了那里

分布式

kafka 支持分区存储数据,搭建集群

适合大数据

大数据喜欢 kafka,因为它是使用的流式处理数据,高吞吐量


标题:kafka简单了解
作者:cuijianzhe
地址:https://cjzshilong.cn/articles/2022/04/12/1649756136376.html