2021年底文章略读 郝伟 2021年度 [TOC]

1. 大数据方向

• Kafka学习之路 （一）Kafka的简介 对Kafka进行基本概念的介绍。Kafka一种高吞吐量的分布式的消息订阅与发布系统，它具有解耦能力、支持冗余（副本）、高扩展性、灵活性&峰值处理能力、可恢复性、顺序保证、缓冲、异步通信等特点。

  kafka有几个非常重要的基本概念：

• broker：Kafka 集群包含一个或多个服务器，服务器节点称为broker。
• Topic：每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。
• Partition：Topic中的数据分割为一个或多个partition。每个topic至少有一个partition。
• Producer：生产者即数据的发布者，该角色将消息发布到Kafka的topic中。
• Consumer：消费者可以从Broker中读取数据，一个消费者可以消费多个topic中的数据。
• Consumer Group：每个Consumer属于一个特定的Consumer Group。
• Leader：每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。
• Follower：Follower跟随Leader，以实现Follower与Leader保持数据同步。