TicketForEvent uses cookies OK

Conference

Evgeny Borisov: Welcome to Spark

10 — 11 June 2016

Events like this one

You are viewing an event which has already passed. Perhaps, the following upcoming events wil be useful to you

Tickets

Please select the number of tickets you want to order
Please select the number of tickets you want to order
Tickets for "Evgeny Borisov: Welcome to Spark" (06/10/2016 – 06/11/2016)
Ticket sales have ended on 28 May 2016 01:10

Event details

Welcome to Spark

Той, у кого в руці молоток, в усьому бачить цвях! Нерозумно?
А що якщо це не молоток, а універсальний інструмент, який може бути і бензопилою, і пилососом і зубною щіткою?

У світі Big Data є Hadoop і цілий зоопарк інструментів, які на нього працюють і кожен загострений під щось своє, а ще там недавно з'явився Spark, який можна застосовувати для будь-яких цілей. Якщо ви хочете писати в Hadoop з різних СКБД, стрімити всякі дані в реальному часі, паралельно робити з даними якусь складну обробку і не за допомогою якихось батчів, скриптів та sql запитів, а за допомогою потужної функціонального мови - ласкаво просимо до Spark!

Даний тренінг познайомить вас з основними компонентами екосистеми Hadoop, а також розкриє перед вами можливості Spark-у. Ви дізнаєтеся, як він працює, які завдання він здатний вирішувати, як їм правильно користуватись.

Ми обговоримо проблеми та їх рішення, з якими спочатку стикаються недосвідчені Spark розробники. Розберемося з його синтаксисом і всякими хитрощами, а головне я покажу, як можна писати Spark на Java за допомогою відомих вам фреймворків, інструментів і концепцій. Inversion of Control, design patterns, Spring framework, Maven / Gradle, Junit нікуди не йдуть, навпаки, ви побачите, що вони можуть допомогти зробити ваше Spark застосування більш елегантним, читабельним і звичним.

Буде багато завдань, live coding-у і в кінцевому підсумку ви вийдете з цього тренінгу з достатніми знаннями, щоб почати самостійно працювати на Spark-у в звичному світі Java.

Програма

Введення до світу Біг Дати

  • Data locality
  • Map reduce
  • Проблема старих імплементацій, новий підхід
  • Імплементації Хадупу
  • Cloudera

Hadoop і зоопарк його інструментів

  • HDFS
  • HBase
  • YARN
  • Hue
  • Sqoop
  • Flume
  • Hive
  • Impala
  • Oozie

Теормінімум зі Scala (не хвилюйтесь, писатимемо на Java!)

  • Singleton objects
  • Функціональне програмування
  • Анонімні параметри
  • Тапли
  • Matcher pattern

Освіжаємо знання по Spring (для роботи зі Spark)

  • Ознайомлення з усіма модулями (Core, AOP, REST, MVC)
  • Коли треба писати свої BeanPostProcessor-и
  • Як працювати більше ніж з одним контекстом
  • Як налаштовувати біни, якщо частина потрібної їм інформації приходить через аргументи мейн-у

Writing Spark with Java

  • Ознайомлення з основними модулями Spark
  • Як Spark працює в кластерному режимі
  • Spark Submit
  • Spark API
  • Scala vs Java
  • Використання Spring при роботі зі Spark
  • Юніт тести для Spark
  • Від REST-сервісу до Spark-а (написання цільного застосування)

Про спікера:

Євген Борисов є Big Data Technical Leader в NAYA Technologies

Працює на Java вже понад 15 років, пройшовши шлях від простого програміста до Java-архітектора. Сьогодні Євген активно консультує та веде проекти, повязані з використанням мови Spark у Java, Scala та Python.

10
10 — 11 June 2016
Friday — Saturday
Starts at 10:00
O.Stepanivny 45, Lviv, Ukraine, 79018
Ukraine, L'viv
Oleny Stepanivny Street 45

Event host

contact@javaday.org.ua