Войти
Каталог
Практический курс по одному из самых перспективных направлений в Big Data
Курс по Data Engineering
По итогам курса вы:
Выполните реальный проект из практики дата-инженера
Автоматизируете процесс очистки и сбора данных
Автоматизируете процесс очистки и сбора данных
Автоматизировать процесс очистки и сбора данных
Для тех, кто хочет
Hadoop, Linux, SQL, Apache Spark, Apache Airflow
Для новичков
Требования
Включает
Партнер курса
Оценка курса
4.6
4.6
2,5 мес
Длительность
Формат
онлайн
онлайн
Научитесь строить пайплайны данных в реальном времени
В современных компаниях накапливается большой объем данных, из которых можно извлекать важную аналитику, строить гипотезы или прогнозные модели. Data Engineer — это специалист, который собирает данные из разных источников, очищает их и передает в удобном виде аналитикам для принятия бизнес-решений.
Аналитикам данных нужно знать, как работает хранилище данных, в каком виде там хранятся данные, как они обрабатываются и как их можно получить для анализа.
Курс ориентирован на практику и основные инструменты, подходит для тех, кто имеет базовые знания языка Python. За два месяца вы освоите все важные этапы Data Engineering.
Преподаватель
Михаил Королев
Ведущий Data Engineer в «АльфаСтрахование»
• Системный программист, изобретатель, руководитель, наставник
• Серьезно занимался параллельным программированием
• Имеет большой опыт в ритейле, страховании и брокерском бизнесе
• Работает с данными с 1996 года
• Приверженец и практик в Agile и самоуправлении
• Работал в крупных компаниях, в том числе зарубежных
• Системный программист, изобретатель, руководитель, наставник
• Серьезно занимался параллельным программированием
• Имеет большой опыт в ритейле, страховании и брокерском бизнесе
• Работает с данными с 1996 года
• Приверженец и практик в Agile и самоуправлении
• Работал в крупных компаниях, в том числе зарубежных
Курс из специализации Data Science
Python
Math&Stat
Machine Learning
Deep Learning
Data Engineering
Менеджмент
Программа курса
МОДУЛИ
1
Введение, практический linux
Кто такой Data Engineer и зачем ему Linux?
2
Современные хранилища данных
Разнообразие баз данных и их особенности
3
Экосистема Hadoop
Что такое Hadoop, что он умеет и как им пользоваться
4
Источники данных и работа с ними
Файлы как источники данных, JDBC — структурированные данные, SQL для выгрузки данных
5
Apache Spark и обработка данных
Зачем нужен Apache Spark и как с ним работать
6
Hadoop как хранилище данных
Особенности и нюансы hdfs
7
Apache Airflow для оркестрации конвейеров
Настройка data pipelines
8
Обзор облачных хранилищ
Особенности и нюансы работы с облачными хранилищами: Google, Amazon, Azure
Преимущества курса
В рамках курса вас ждет сквозной проект — реальная задача дата-инженера. На каждом новом этапе вы будете решать часть большой задачи, а в финале автоматизируете весь процесс.
Курс основан на практике. Мы рассматриваем инструмент или технологию, после чего сразу отрабатываем ее на практике.
Программа построена по принципу от простого к сложному. Вы узнаете и освоите самое важное о Data Engineering, что нужно знать инженеру данных.
В процессе обучения вам будет помогать преподаватель и команда кураторов, которые помогут разобраться с предметом и решат все технические и организационные вопросы.
Как проходит обучение
Вы сможете проходить обучение из любой точки планеты. Новые модули будут открываться раз в неделю.
Слушаете лекции преподавателей
Выполняете практические задания
По каждой теме вы выполняете практику — основанные на реальных кейсах задачи по Big Data.
Помощь преподавателя и коллектива
Вы будете получать поддержку наставников и постоянно общаться со своими сокурсниками в наших каналах в Slack.
Итоговый проект
В конце курса вы завершите собственный проект по настройке пайплайнов и хранилища данных.
1
2
3
4
Слушаете лекции преподавателей
Получите должность Android-разработчика
уровня Middle
уровня Middle
Жизнь на курсах SkillFactory
Уроки с упором на практику
Вы не просто изучаете алгоритмы, а учитесь использовать их в решении реальных бизнес-задач. После обучения сможете сразу использовать навыки в деле, а не разбираться с тем, как приспособить знания к жизни.
Уроки доступны на онлайн-платформе, для вдумчивого изучения в любое время.
Уроки доступны на онлайн-платформе, для вдумчивого изучения в любое время.
Помощь преподавателя и коллектива
Если что-то не получается, вы не останетесь один на один с трудностями. Рядом всегда будет преподаватель, который поможет разобраться с проблемой.
Когда видишь успехи остальных, учиться легче. Если у кого-то получается лучше, это подстегивает к более активным действиям. Если получается лучше остальных, то вы помогаете коллегам.
Когда видишь успехи остальных, учиться легче. Если у кого-то получается лучше, это подстегивает к более активным действиям. Если получается лучше остальных, то вы помогаете коллегам.
Общаемся и помогаем друг другу в Slack
Для курса создается сообщество в Slack. В нем участники делятся впечатлениями и решениями задач, спрашивают совета, а преподаватель все подробно разъясняет.
Делаем домашние задания
Тут все очевидно: чтобы научиться, нужно практиковаться. Дома вы делаете задания, строите дашборды, а преподаватель и сокурсники вам в этом помогают.
На курсе обучение не заканчивается
Развитие карьеры и бизнеса
Помощь с трудоустройством и стажировкой, тусовка специалистов и полезные знакомства
Часто задаваемые вопросы
Задача Data Engineering — сбор, обработка и хранение данных для того, чтобы их могли использовать аналитики и другие сотрудники компании.
Эти накопленные данные используют, например, для машинного обучения и построения прогнозов, для анализа и принятия управленческих решений.
Эти накопленные данные используют, например, для машинного обучения и построения прогнозов, для анализа и принятия управленческих решений.
Бизнес-аналитикам часто приходится самостоятельно заниматься процессами сбора данных из разных источников, первоначальной обработкой, очисткой, настройкой пайплайнов.
Если вы работаете на позиции Data Scientist, то вы постоянно общаетесь с инженерами данных. Вам нужно знать методы и технологии хранения и доставки данных, чтобы эффективно взаимодействовать с инженерами.
Если вы работаете на позиции Data Scientist, то вы постоянно общаетесь с инженерами данных. Вам нужно знать методы и технологии хранения и доставки данных, чтобы эффективно взаимодействовать с инженерами.
Курс предназначен для профессиональных бизнес-аналитиков, специалистов по Data Science, аналитиков данных, разработчиков, которые хотят научиться выстраивать потоки данных, и менеджеров, руководителей, которым нужно понимать, как устроено хранилище данных, как собираются и очищаются данные.
Область Big Data — бесконечная, требующая постоянного самообразования и отслеживания новых технологий. Вы пройдете от точки «я ничего не знаю» до точки «я решаю задачи по Data Engineering и знаю, где это применить и как развиваться дальше».
Основной ответ такой — наш курс не является заменой бесплатным онлайн-курсам. Напротив, такие онлайн-курсы — это очень хорошо и полезно. Но у наших курсов есть неоспоримые преимущества: фокус на практике, помощь преподавателя и поддержка группы.
Вы будете учиться по принципу одно занятие = одна задача. Вместе с опытным специалистом по инжинирингу данных вы пройдете все этапы извлечения, обработки, загрузки, хранения, очистки, доставки данных.
Если вы столкнетесь с проблемой при выполнении задания, вам всегда будет, к кому обратиться: вы сможете получить совет от одногруппников и помощь преподавателя в закрытом сообществе в Slack.
Вы будете учиться по принципу одно занятие = одна задача. Вместе с опытным специалистом по инжинирингу данных вы пройдете все этапы извлечения, обработки, загрузки, хранения, очистки, доставки данных.
Если вы столкнетесь с проблемой при выполнении задания, вам всегда будет, к кому обратиться: вы сможете получить совет от одногруппников и помощь преподавателя в закрытом сообществе в Slack.
Да. Убедитесь в этом, посмотрите статистику профессии Data Engineer на русскоязычных и зарубежных кадровых сайтах.