Кафка для самых маленьких

Результат модуля

Понимаешь, какие проблемы решает Kafka и когда она действительно нужна, а когда только усложнит систему.

• Отличаешь синхронное взаимодействие от асинхронного и понимаешь ограничения каждого подхода.
• Объясняешь отличие Kafka от RabbitMQ и интеграционной шины.
• Представляешь путь сообщения от продюсера к консьюмеру и разницу push- и pull-моделей.
• Понимаешь идеи Event Driven Architecture и можешь решить, подходит ли Kafka для конкретной задачи.

Результат модуля

Kafka перестаёт быть чёрным ящиком: ты понимаешь, где физически лежат сообщения и что происходит с ними внутри кластера.

• Понимаешь устройство топиков, партиций и кластера и объясняешь, почему Kafka работает быстро.
• Разбираешь структуру сообщения, основные настройки топика, retention и compaction.
• Понимаешь переход от ZooKeeper к KRaft.
• Поднимаешь Kafka локально, создаёшь топики и наблюдаешь распределение сообщений через UI.

Результат модуля

Умеешь спроектировать запись так, чтобы сообщения не терялись и сохраняли требуемый порядок.

• Выбираешь ключ и стратегию распределения данных по партициям.
• Настраиваешь подтверждение записи и находишь баланс между скоростью и надёжностью.
• Разбираешь потери, дубли, идемпотентного продюсера и параметры производительности.
• Решаешь проблему записи в БД и Kafka через Transactional Outbox.
• Проектируешь и при желании реализуешь продюсер с REST-входом.

Результат модуля

Понимаешь жизненный цикл сообщения и строишь надёжную обработку даже при сбоях и высокой нагрузке.

• Разбираешь consumer groups, распределение партиций и причины повторной обработки.
• Проектируешь идемпотентный консьюмер, retries и DLQ.
• Настраиваешь static membership и рассчитываешь количество партиций под нагрузку.
• Выбираешь между обычными consumer groups и share groups.
• Проектируешь обработчик с дедупликацией, БД и маршрутизацией невалидных сообщений.

Результат модуля

Понимаешь, когда интеграцию можно не писать вручную, а собрать на Kafka Connect.

• Отличаешь Source Connector от Sink Connector и подключаешь внешние системы.
• Понимаешь CDC и то, как Debezium превращает изменения в базе данных в события.
• Сравниваешь CDC с Transactional Outbox.
• Используешь Single Message Transformations и выбираешь между кодом и готовым коннектором.

Результат модуля

Проектируешь Kafka-интеграцию целиком: от требований и контракта до безопасности и дальнейшего развития.

• Выбираешь структуру сообщения и подходящий формат данных.
• Развиваешь контракт с учётом совместимости схем.
• Понимаешь механизмы безопасности на уровне кластера, пользователя и топика.
• Используешь Schema Registry и описываешь асинхронный API через AsyncAPI.
• Понимаешь назначение REST Proxy и когда он полезен.

Результат модуля

Умеешь проверить интеграцию и понять, что сломалось, если в production начались проблемы.

• Тестируешь продюсеров, консьюмеров и интеграцию целиком.
• Понимаешь метрики состояния Kafka и работы консьюмеров.
• Следишь за consumer lag и определяешь, когда отставание становится проблемой.

Результат модуля

Разбираешься в возможностях за рамками схемы «producer → topic → consumer» и понимаешь, когда они действительно нужны.

• Понимаешь транзакции Kafka и exactly-once в транзакционных сценариях.
• Отличаешь Kafka Streams от Apache Flink и выбираешь инструмент под задачу.
• Понимаешь Tiered Storage, Diskless Topics и направление развития Kafka.
• Отделяешь полезные продвинутые возможности от избыточной сложности.