[МФТИ] Профессия Data Engineer (Гайк Инанц, Олег Ивченко)

​

Почему Data Engineering?

• Спрос
  Спрос на квалифицированных инженеров по обработке данных намного превышает предложение
  
  
• Работа удаленно
  Возможно работать как в офисе, так и удаленно
  
  
• Математический барьер
  Сильно ниже, чем в data science
  
  
• Data engineering
  – фундамент любой data-driven компании
  
  
• Зарплаты
  Одна из самых высоких заработных плат
  
  
• Востребованность в будущем
  Тренд на обработку больших данных усиливается - не будет проблем с трудоустройством

Чем занимается Data Engineer:

Спойлер

1. собирает информацию о продукте и/или клиентах из разных источников
2. сортирует и обрабатывает информацию так, чтобы с ней можно было работать дальше
3. организовывает безопасное хранение данных, на основании которых принимаются взвешенные бизнес-решения и создаются конкурентоспособные продукты

Для кого программа?

Спойлер

• Для аналитиков
  Освоите работу с большими данными, чтобы решать более сложные и интересные аналитические задачи, перейдете на более оплачиваемую работу
  
  
• Для начинающих IT-специалистов
  Освоите продвинутые инструменты работы с большими данными, прокачаете навыки и будете готовы для ускоренного карьерного роста
  
  
• Для практикующих разработчиков
  Расширите свои профессиональные возможности и получите новые навыки работы с большими данными, сможете перейти в востребованное направление и зарабатывать больше

Какие компетенции вы получите:

Спойлер

• Настраивать и автоматизировать процессы сбора, трансформации, очистки, хранения и первичного анализа данных с помощью SQL и базового Python
• Пользоваться высокоуровневыми языками программирования для BigData для обработки большого объема данных на вычислительном кластере
• Анализировать проблемы, возникающие при решении задач извлечения данных, трансформации и очистки, и предложить пути их решения
• Решать задачи статистики, задачи поиска и индексации, задачи машинного обучения на Hadoop кластере
• Пользоваться распределенной файловой системой
• Работать с большими объемами данных и располагать кругозором в выборе архитектурного решения поставленной задачи
• Писать задачи для запуска на Hadoop кластере с помощью нативного Java-интерфейса, а также любого другого языка программирования (с помощью инструментария Hadoop streaming) и запускать

Спойлер: Программа:

1. Курс: "Старт в Data Engineering" (3 месяца, 8 часов в неделю)
   • Автоматизируете процессы сбора, очистки и анализа реальных данных без разработчиков (ETL)
   • Освоите инструменты: Git, SQL, базовый Python
   • Научитесь работать с хранилищами данных (DWH)
   
   
2. Курс: "Python: основы языка" (1 месяц, 8 часов в неделю)
   • Освоите стартовые навыки программирования на языке Python
   • Далее сможете изучать необходимые вам библиотеки Python в зависимости от выбранной области
   
   
3. Курс: "Инструменты работы с большими данными" (2,5 месяца, 8 часов в неделю)
   Освоите самые популярные инструменты для работы с большими данными
   • Apache Hadoop (HDFS, MapReduce, YARN)
   • Apache Hive
   • Apache Spark (в том числе технологии Streaming)
   • Apache Kafka
   • NoSQL в больших данных (Apache Cassandra, Apache HBase)

В ходе программы предусмотрен сбор профессионального портфолио. Вы не только набьете руку на новых проектах, но и сможете еще более качественно представить собственную кандидатуру на рынке труда.

Спойлер: Преподаватели:

Гайк Инанц
7 лет опыта работы в Big Data и разработки в веб на различных проектах (ВТБ, Райффайзен, Альфа).
На данный момент работает над проектом Ингосстраха, Лаборатории Инноватики и школы Феникс по подготовке middle fullstack разработчиков. Преподает в МФТИ и израильской школе программирования HackerU

Илья Склонин
Преподаватель курса "Python: основы языка".
МФТИ, аспирант кафедры информатики и вычислительной математики
работал в команде компьютерного зрения TCS Group, преподаватель курсов "Программирование на Python" , "Основные алгоритмы" и "Алгебра логики, комбинаторики и теория графов" в МФТИ

Олег Ивченко
Преподаватель курса "Инструменты работы с большими данными"
Разработчик системы HJudge - системы автоматизирванного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space

Кто такой Data Engineer?​

Спойлер

Скрытый текст. Открывается зарегистрированным пользователям.

​