-
81.Broker 弄丢了数据？
81.Broker 弄丢了数据？ 81.Broker 弄丢了数据？ 这块比较常见的一个场景，就是 Kafka 某个 Broker 宕机，然后重新选举 Partition 的 leader。大家想想，要是此时其他的 follower 刚好还有些数据没有同步，结果此时 leader 挂了，然后选举某个 follower 成 leader 之后，不就少了一... -
16.重要的消费者参数
重要的消费者参数 1. fetch.min.bytes 2. fetch.max.bytes 3. fetch.max.wait.ms 4. max.partition.fetch.bytes 5. max.poll.records 6. connections.max.idle.ms 7. exclude.internal.topics 8.... -
19.配置管理
配置管理 主题端参数 配置管理 kafka-configs.sh 脚本是专门用来对配置进行操作的，这里的操作是指在运行状态下修改原有的配置，如此可以达到动态变更的目的。kafka-configs.sh 脚本包含变更配置 alter 和查看配置 describe 这两种指令类型。同使用 kafka-topics.sh 脚本变更配置的原则一样，增、删、... -
2. Kafka入门
安装与配置 1. JDK的安装与配置 2. ZooKeeper安装与配置 3. Kafka的安装与配置 生产与消费 服务端参数配置 1. zookeeper.connect 2. listeners 3. broker.id 4. log.dir和log.dirs 5. message.max.bytes 总结 安装与配置 本节... -
24.修改副本因子
修改副本因子 修改副本因子 创建主题之后我们还可以修改分区的个数，同样可以修改副本因子（副本数）。修改副本因子的使用场景也很多，比如在创建主题时填写了错误的副本因子数而需要修改，再比如运行一段时间之后想要通过增加副本因子数来提高容错性和可靠性。 前面主要讲述了分区重分配的相关细节，本节中修改副本因子的功能也是通过重分配所使用的 kafka-reas... -
75.Kafka 的副本机制是怎么样的？
75.Kafka 的副本机制是怎么样的？ 75.Kafka 的副本机制是怎么样的？ Kafka 的副本机制，是多个 Broker 节点对其他节点的 Topic 分区的日志进行复制。当集群中的某个节点出现故障，访问故障节点的请求会被转移到其他正常节点(这一过程通常叫 Reblance)，Kafka 每个主题的每个分区都有一个主副本以及 0 个或者多个副... -
17.主题与分区
主题与分区 主题的管理 创建主题 主题与分区 主题和分区是 Kafka 的两个核心概念，前面章节中讲述的生产者和消费者的设计理念所针对的都是主题和分区层面的操作。主题作为消息的归类，可以再细分为一个或多个分区，分区也可以看作对消息的二次归类。分区的划分不仅为 Kafka 提供了可伸缩性、水平扩展的功能，还通过多副本机制来为 Kafka 提供数据冗... -
29.Kafka Mirror Maker
Kafka Mirror Maker Kafka Mirror Maker Kafka Mirror Maker 是用于在两个集群之间同步数据的一个工具，其实现原理是通过从源集群中消费消息，然后将消息生产到目标集群中，也就是普通的生产和消费消息。如果了解 RabbitMQ，那么会发现这个工具和 RabbitMQ 中的数据迁移插件 Federation... -
62. Kafka 的架构是怎么样的？
62. Kafka 的架构是怎么样的？ 62. Kafka 的架构是怎么样的？ Kafka 架构图 Kafka 的整体架构非常简单，是分布式架构，Producer、Broker 和Consumer 都可以有多个。 Producer，Consumer 实现 Kafka 注册的接口。 数据从 Producer 发送到 Broker 中，Brok... -
23.复制限流
复制限流 复制限流 在上一节中我们了解了分区重分配本质在于数据复制，先增加新的副本，然后进行数据同步，最后删除旧的副本来达到最终的目的。数据复制会占用额外的资源，如果重分配的量太大必然会严重影响整体的性能，尤其是处于业务高峰期的时候。减小重分配的粒度，以小批次的方式来操作是一种可行的解决思路。如果集群中某个主题或某个分区的流量在某段时间内特别大，那么...