Вы используете мобильную версию

перейти на Полную версию сайта

Запись

[Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka

Складчина [Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka. Совместные покупки курсов, тренингов, обучения. Присоединяйтесь! Важен каждый вкладчик.

Тема найдена по тегам:
Цена:
72000 руб
Взнос:
921 руб
Организатор:
Magnetka

Список участников складчины:

1. Magnetka
open
2
  1. Magnetka
    Magnetka Организатор складчин

    [Школа Больших Данных] KAFKA: Курс Администрирование кластера Kafka

    [​IMG]
    Программа курса Администрирование кластера Kafka

    1. Введение в Kafka
    • Что такое Apache Kafka?
    • Сценарии использования Kafka
    • Компоненты Kafka и Kafka экосистемы
    • Архитектура Kafka
    • Кластер Zookeeper (Установка кластера Kafka без использования Zookeeper KIP-500)
    2. Основные концепции Kafka
    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
    • Потребители данных (Consumers): Очереди Consumers.
    3. Установка кластера Apache Kafka
    • Требования по установке кластера Kafka
    • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper.
    • Установка кластера Kafka без использования Zookeeper KIP-500
    • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
    • Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
    • Конфигурация Listeners. Отказоустойчивость кластера Kafka.
    • Установка кластера Kafka на Yandex Cloud
    4. Базовые операции в Apache Kafka
    • Операции с Топиками (Topic)
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer
    • Пользовательские интерфейсы для работы с Kafka
    5. Оптимизация кластера Apache Kafka
    • Оптимизация производительности компонент кластера
    • Масштабирование кластера
    • Балансировка разделов(partition) и использование Partition Reassignment Tools
    • Best Practices Kafka/Confluent
    • Мониторинг кластера Kafka
    • Настройка мониторинга кластера Kafka с использованием Prometheus/Zabbix + Grafana
    6. Интеграция с Apache Kafka (обзорно)
    • Использование Apache NiFi
    • Интеграция Apache Hadoop с Kafka
    • Сценарии интеграции с Apache Kafka
    7. Расширенная конфигурация кластера Kafka
    • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
    • Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
      логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    • Confluent REST Proxy. Confluent Schema Registry (обзорно)
    • Репликация кластера с использованием Mirror Maker 2
    8. Безопасность в Kafka
    • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
      клиентов
    • Аутентификация SSL/SASL
    • Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
    • Авторизация в Kafka
    • Управление списками управления доступом (ACL)
    Продолжительность: 3 дня, 24 академических часа.
    Соотношение теории к практике 50/50

    Курс предназначен для специалистов, которые хотят изучить:
    • методы администрирования и настройки кластера Apache Kafka;
    • настройку безопасности Kafka с SSL и Kerberos;
    • примеры интеграции;
    • мониторинг и оптимизацию кластера Apache Kafka с использованием практических примеров;
    • практику развертывания кластера Kafka в облаке Yandex;
    • особенности использования Yandex Manager Service для Apache Kafka
    Предварительная подготовка
    • Уверенное знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)

     
    Последнее редактирование модератором: 2 мар 2024
    Magnetka, 1 мар 2024
  2. Похожие складчины
    Загрузка...
Наверх