Welcome to Spark

Той, у кого в руці молоток, в усьому бачить цвях! Нерозумно?
А що якщо це не молоток, а універсальний інструмент, який може бути і бензопилою, і пилососом і зубною щіткою?

У світі Big Data є Hadoop і цілий зоопарк інструментів, які на нього працюють і кожен загострений під щось своє, а ще там недавно з'явився Spark, який можна застосовувати для будь-яких цілей. Якщо ви хочете писати в Hadoop з різних СКБД, стрімити всякі дані в реальному часі, паралельно робити з даними якусь складну обробку і не за допомогою якихось батчів, скриптів та sql запитів, а за допомогою потужної функціонального мови - ласкаво просимо до Spark!

Даний тренінг познайомить вас з основними компонентами екосистеми Hadoop, а також розкриє перед вами можливості Spark-у. Ви дізнаєтеся, як він працює, які завдання він здатний вирішувати, як їм правильно користуватись.

Ми обговоримо проблеми та їх рішення, з якими спочатку стикаються недосвідчені Spark розробники. Розберемося з його синтаксисом і всякими хитрощами, а головне я покажу, як можна писати Spark на Java за допомогою відомих вам фреймворків, інструментів і концепцій. Inversion of Control, design patterns, Spring framework, Maven / Gradle, Junit нікуди не йдуть, навпаки, ви побачите, що вони можуть допомогти зробити ваше Spark застосування більш елегантним, читабельним і звичним.

Буде багато завдань, live coding-у і в кінцевому підсумку ви вийдете з цього тренінгу з достатніми знаннями, щоб почати самостійно працювати на Spark-у в звичному світі Java.

Програма

Введення до світу Біг Дати

• Data locality
• Map reduce
• Проблема старих імплементацій, новий підхід
• Імплементації Хадупу
• Cloudera

Hadoop і зоопарк його інструментів

• HDFS
• HBase
• YARN
• Hue
• Sqoop
• Flume
• Hive
• Impala
• Oozie

Теормінімум зі Scala (не хвилюйтесь, писатимемо на Java!)

• Singleton objects
• Функціональне програмування
• Анонімні параметри
• Тапли
• Matcher pattern

Освіжаємо знання по Spring (для роботи зі Spark)

• Ознайомлення з усіма модулями (Core, AOP, REST, MVC)
• Коли треба писати свої BeanPostProcessor-и
• Як працювати більше ніж з одним контекстом
• Як налаштовувати біни, якщо частина потрібної їм інформації приходить через аргументи мейн-у

Writing Spark with Java

• Ознайомлення з основними модулями Spark
• Як Spark працює в кластерному режимі
• Spark Submit
• Spark API
• Scala vs Java
• Використання Spring при роботі зі Spark
• Юніт тести для Spark
• Від REST-сервісу до Spark-а (написання цільного застосування)

Про спікера:

Євген Борисов є Big Data Technical Leader в NAYA Technologies

Працює на Java вже понад 15 років, пройшовши шлях від простого програміста до Java-архітектора. Сьогодні Євген активно консультує та веде проекти, повязані з використанням мови Spark у Java, Scala та Python.