Артем Оробец

Артем Оробец

Артем Оробец

Запускаем BigData pipeline за 40 минут

6+ лет в разработке ПО.

Выступал спикером на:
• JeeConf 2011. CQRS innovations
• JeeConf 2012. OrientDB – document database with master-master replication support
• DJUG 2014. Advantages of graph model.
• JavaDay 2014. How do you store your data.

Тема доклада: “Запускаем BigData pipeline за 40 минут”

Инфраструктура для BigData проекта не обязательно должна быть сложной. Современные облачные провайдеры предоставляют сервисы, с помощью которых можно очень просто создавать очень сложные вещи.

Во время доклада мы пройдем через все шаги создания BigData приложения. Мы начнем c написания простого Spark приложения, запустим его в облаке с помощью AWS EMR и закончим настройкой расписания запуска с помощью AWS DataPipelines.
В качестве бонуса, в конце я покажу как, используя Terraform, всю эту инфраструктуру можно декларативно описывать в виде кода.

Free WordPress Themes