Максим Подлесный и Павлов Дмитрий

Максим Подлесный и Павлов Дмитрий

Максим Подлесный и Павлов Дмитрий

Apache Kafka production experience

Тема доклада — Apache Kafka production experience
Содержание:
• What is Apache Kafka
• Why Kafka? Data Streaming
• Main difference from Rabbitmq, Apache ActiveMQ and other brokers
• Basic concepts of Apache Kafka APIs — Producer, Consumer, Connector, Streams
• Apache Kafka abstractions — topics, partitions, logs and what you should know before using them
• Our production use cases of Apache Kafka
• Quick start with Apache Kafka
• What software do you need to start own Apache Kafka cluster
• Cluster structure and node roles
• High availability and cluster maintenance
• Apache Kafka monitoring
• Ways of monitoring Apache Kafka cluster
• Overview of important metrics
• Example of production monitoring dashboard
• Apache Kafka’s pitfalls
• Issues related to unstable zookeeper cluster
• Mistakes with topic/partitions settings
• Ways of tracking consumers’ offsets (zookeeper, internal topic _consumers_offset, Storm’s low level kafka driver and writing to zookeeper’s root)
• Deleting messages from Apache Kafka topic
• Topic auto creation
• Client settings for leaders re-election and delivery  retries.
Двойной доклад!
Спикеры:
Максим Подлесный
Должность — ITOps инженер
Компания — Smartling/Archer
О себе:
Серверный системный администратор, DevOps инженер
7 лет опыта работы, опыт в проектирование и внедрение систем обработки больших массивов данных, системное и веб программирование. Увлекаюсь пулевой стрельбой.
 www.linkedin.com/in/mpidlisnyi
Павлов Дмитрий
Должность — Senior Network Operations Engineer
Компания — Smartling/Archer
О себе:
Operations Engineer / DevOps — 7+ лет опыта работы с различными серверными системами, SAN инфраструктурой, создание cloud хостинга, автоматизация процессов, системное программирование, etc
Увлекаюсь катанием на сноуборде
www.linkedin.com/in/dmitriy-pavlov-ops/