Ерин Data Scientist в Yousician. Программный директор курса Data Science PRO
Профессия Data Engineer
- ★ 4,6 из 5
рейтинг курса на основе 14 267 оценок
- Авторы курса
эксперты из Сбера, Visa, Wildberries, Luxoft, PropellerAds
- 9 проектов
для портфолио
- -40%
Скидка действует
0 дня 00:00:00
О профессии
Дата-инженер — специалист, который работает с большими данными (big data). Он организует сбор, очистку и загрузку данных в базы, создаёт инфраструктуру для хранения, чтобы дата-аналитики могли найти в них полезные инсайты для бизнеса.
- от 60 000 рублей
зарплата после 9 месяцев обучения на платформе
- Райффайзенбанк, Тинькофф Банк, Сбер, ВТБ, VK
компании, в которые устроились участники курса
- 3 500+ вакансий
для дата-инженеров открыто на hh.ru
Первый уровень: базовая подготовка
Познакомитесь с основными направлениями Data Science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, основам статистики и теории вероятностей. Всё это поможет вам разобраться в основных принципах работы с данными.
Кому подойдёт этот курс
- Новичкам
С нуля освоите Python и SQL для дата инженеров. Научитесь собирать, анализировать и обрабатывать данные. Решите задачи на основе реальных кейсов и добавите их в портфолио. Сможете начать карьеру в Data Engineering во время обучения на курсе.
- Программистам
Подтянете знание SQL для работы с базами данных. Пройдёте весь путь дата-инженера от сбора сырых данных до деплоя модели. Опыт в программировании поможет быстро разобраться в новой профессии и сменить сферу.
- Начинающим аналитикам
Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников, выстраивать архитектуру для её хранения и визуализировать отчёты. Сможете самостоятельно подготовить данные для последующего анализа.
Чему вы научитесь
- Использовать инструменты анализа
Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.
- Обрабатывать данные
Узнаете, как подключаться к источникам информации и загружать их в систему. Сможете очищать, сохранять и интегрировать данные.
- Тестировать код
Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.
- Взаимодействовать с заказчиком
Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.
- Разворачивать Data Science проект
Поймёте, как реализовывать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.
- Работать в команде
Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.
Кейсы, на которых вы будете учиться
Записаться на курс или получить бесплатную консультацию
Поможем найти работу или вернём деньги
Вас ждёт индивидуальная поддержка
HR-специалиста. Вместе вы составите резюме, подготовите портфолио и разработаете карьерный план, который поможет найти работу быстрее. Сможете выбрать привлекательные вакансии и получите приоритет перед другими соискателями.
Чем вам поможет Центр карьеры:
-
Резюме
Презентуем вас работодателям с выгодной стороныПроведём онлайн-встречу, где оценим ваши сильные стороны, навыки и профессиональный опыт. Поможем оформить профиль на сайтах с вакансиями и разработать привлекательное резюме, которое точно впечатлит работодателей.
-
Индивидуальный карьерный план
Расскажем, как начать и развивать карьеруПроведём онлайн-консультацию, определим ваши цели и расскажем, как их добиться. Сформируем индивидуальный путь вашего развития в профессии. Вы узнаете, где искать работу и какие навыки развивать, чтобы продвинуться в карьере.
-
Партнерские вакансии
Порекомендуем вашу кандидатуру партнёрамУ вас будет доступ к закрытому чату с вакансиями наших партнёров. Вы сможете выбрать подходящие предложения, а консультант поможет написать сопроводительное письмо и подготовиться к собеседованию. Вашу кандидатуру рассмотрят в числе первых.
-
Оформление портфолио
Поможем эффектно представить ваши проектыРасскажем, как создать продающее портфолио. Вместе выберем привлекательные работы и отдадим на ревью эксперту. Поможем оформить проекты так, что их по достоинству оценят работодатели.
-
Карьерные консультации
Подготовим вас к старту карьерыКонсультанты ответят на ваши вопросы о карьере, подготовят к собеседованиям и соберут обратную связь от работодателей. Вы узнаете, как вести себя на интервью и избежать ошибок при поиске работы. Сможете участвовать в карьерных воркшопах и вебинарах.
Почему мы уверены в вашем трудоустройстве?
-
Определяем потребности рынка
Мы тщательно анализируем профессии, в которых помогаем с трудоустройством: опрашиваем специалистов, оцениваем вакансии, потребность в кандидатах и доступность профессии для новичков.
-
Даём качественные знания
Помогаем получить навыки, которые необходимы здесь и сейчас. Все спикеры — практикующие специалисты, а их знания востребованы на рынке.
-
Поддерживаем на старте карьеры
Наши консультанты контролируют каждый шаг на пути к вашей карьере. Они помогают избежать ошибок и спланировать профессиональный путь.
- 500+ пользователей меняют карьеру ежеквартально
- 600+ новых вакансий ежеквартально размещают работодатели на нашей площадке
Что даёт профессия Data Engineer?
-
Востребованную специальность, на которую растёт спрос
Практически каждая компания ведёт бизнес в онлайн-сфере и собирает огромные объёмы данных для эффективной работы. Этим занимаются поисковые системы, соцсети, музыкальные сервисы, финансовые, научные и промышленные организации. А это значит, что дата-инженерам точно будет чем заняться. На ваши навыки всегда будет спрос — опытный Data Engineer может зарабатывать от 150 000 рублей.
-
Профессиональную свободу
Дата-инженеры нужны в любой компании, которая работает с большими объёмами информации. Сможете найти своё место в любой сфере: IT, банкинг, маркетинг, интернет-ритейл, промышленность, телеком. А находиться в офисе необязательно — сможете работать онлайн из любой точки мира.
-
Возможность стать частью процесса Data Science
С дата-инженера начинается работа с данными. Он собирает огромные и хаотичные массивы информации и раскладывает всё по полочкам. Результаты работы дата-инженера анализируют дата-сайентисты и используют в алгоритмах ИИ ML-специалисты. Вы станете первым звеном в цепочке Data Science и примете участие в создании инновационного продукта.
Записаться на курс или получить бесплатную консультацию
О Skillbox
Как проходит обучение на платформе
Команда поддержки будет рядом
-
Куратор-эксперт будет проверять ваши работы и помогать сделать их лучше. А ещё — проводить воркшопы с разбором домашних заданий. В кураторы мы берём практикующих экспертов с опытом работы от 5 лет. Они проходят методическое обучение — и умеют объяснять сложное.
Куратор-эксперт
Подробно разбирает домашние задания, помогает сделать их лучше
-
HR-консультант поможет в поиске работы. Вместе вы составите план развития, резюме и портфолио. Консультант подготовит вас к собеседованиям и даст доступ к закрытому каналу с вакансиями.
HR-консультант
Помогает в поиске работы: от плана действий до собеседований
-
Служба заботы поддержит в решении всех технических вопросов. Например, поможет установить лицензионные программы или объяснит, как работать с учебной платформой.
Служба заботы
Помогает с вопросами по платформе и прохождению курса
Уровни обучения
Содержание курсов
Вас ждут тематические модули и практика на основе реальных кейсов.
- 12 месяцев обучения
- 3 итоговых проекта
Первый уровень: базовая подготовка
Среднее время прохождения — 5 месяцев.
-
Введение в Data Science
-
- Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Создадите первый проект на основе реальных данных совместно с VK и сервисом «СберАвтоподписка».
-
Второй уровень: введение в дата-инженерию и трудоустройство
Среднее время прохождения — 4 месяца. В процессе вам предстоит решить 6 реальных кейсов из практики дата-инженера и выполнить итоговый проект.
-
Data Engineer Junior
-
- Разбираемся в типах источников данных.
- Работаем с потоковыми источниками и API: загружаем данные из внешних сервисов.
- Подключаем источники с помощью Data Ingestion Tool.
- Кейс: напишете приложение, которое загружает данные в базу, или построите процесс обработки данных с помощью NiFi.
- Используем Docker для автоматизации.
- Подключаем мониторинг для контроля за сервисами.
- Настраиваем логирование для анализа работы сервисов.
- Кейс: развернёте приложение для загрузки данных в продовом окружении. Упакуете его в Docker, подключите сервисы мониторинга и логирования для контроля его работы.
- Разбираемся с Hadoop для масштабирования вычислений.
- Используем Spark для обработки данных.
- Учимся обрабатывать сложные данные в Spark.
- Используем Hive для анализа слабоструктурированных данных.
- Кейс: подготовить датасет клиентских запросов компании, чтобы найти причины сбоя сервиса.
- Разбираемся в хранилищах данных для аналитики.
- Строим хранилище по архитектуре Data Lake.
- Управляем ETL-процессами с помощью Airflow.
- Знакомимся с ClickHouse.
- Кейс: подготовить Data Lake на основе данных IoT для анализа энергопотребления арендаторов жилья.
- Моделируем DWH.
- Работаем с аналитическими базами данных.
- Строим DWH.
- Создаём витрины данных.
- Кейс: подготовить DWH для анализа успеваемости студентов на онлайн-курсах.
- Тестируем Python-приложения на примере DAG Airflow.
- Ищем проблемы в данных и учимся их устранять.
- Создаём процедуры для контроля качества данных.
- Кейс: создать пайплайн обработки данных биллинга с проверкой качества данных и бизнес-правил для телеком-компании.
-
-
✦ Трудоустройство с помощью Центра карьеры
-
- Карьерный консультант поможет подготовиться к собеседованию в компании-партнёре. Разберёте частые вопросы и научитесь меньше переживать на интервью.
- Напишете сопроводительное письмо и грамотно оформите резюме.
- Будете готовы пройти собеседование — карьерный консультант организует встречу с работодателем.
- На интервью презентуете проекты, над которыми вы работали на курсе, а знания и навыки пригодятся для выполнения тестовых задач.
-
Продвинутый уровень: погружение в профессию
Среднее время прохождения — 3 месяца.
-
Data Engineer advanced
Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.
Дополнительные курсы
-
Основы математики для Data Science
Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.
-
Основы статистики и теории вероятностей
Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.
-
Основы статистики и теории вероятностей. Advanced
Узнаете подробнее о случайных величинах, зависимостях и процессах. Научитесь использовать Python для проверки закономерностей, применять функции генерации основных распределений. Протестируете гипотезы и поставите задачи А/В-тестирования.
-
Карьера разработчика: трудоустройство и развитие
Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.
-
Система контроля версий Git
Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.
Уже прошли какие-либо курсы Skillbox?
Скажите об этом менеджеру — платить за них не придётся.
Получить презентацию курса и консультацию специалиста
Итоговые проекты
Спикеры
Ерин Data Scientist в Yousician. Программный директор курса Data Science PRO
Железной Middle+ Data Engineer, Wildberries
Шмидт Product analyst Team Lead в Citrix (США) и Wrike
Фаттахова Автор и спикер курса Machine Learning Engineer. AI Product Manager, SberData, «Сбер»
Ершов Data Solutions Manager, Visa
Самигуллин Автор «Профессии Data Analyst». Product Intelligence team lead @ EQ SberDevices. 5 лет в промышленном анализе данных
Ваше резюме после курса
Data Engineer
от 90 000 ₽
Инструменты
Навыки
- Подключаю данные из разных источников
- Обеспечиваю окружение, мониторинг и логирование
- Работаю с большими объёмами данных в Hadoop
- Создаю хранилища данных
- Выстраиваю Data Lake для хранения любых объёмов данных
- Разворачиваю программную инфраструктуру для сбора, обработки и хранения данных
- Создаю контейнеры в Docker
- Тестирую дата-пайплайны контролирую качество данных
- Визуализирую данные и создаю дашборды в Power BI
Проекты
- Приложение, загружающее данные в базу или запускающее процесс обработки данных с помощью NiFi
- Приложение, упакованное в Docker, для загрузки данных в продовом окружении
- Процессы обработки больших данных с помощью Spark в экосистеме Hadoop
- Data Lake на основе данных IoT от измерительных приборов для анализа уровней потребления электроэнергии арендаторами помещений
- DWH для высоконагруженной системы или EDTech-стартапа
- Процесс автоматизированного получения, обработки и загрузки данных, от источников до витрины, для e-commerce-проекта
Подтверждение ваших навыков
В конце обучения получите сертификат установленного образца. Мы обучаем по государственной лицензии №Л035−1 298−77/179 609.
Где работают участники курсов Skillbox
Часто задаваемые вопросы
-
У меня нет опыта работы с данными. Подходит ли мне этот курс?
Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное не пожалейте времени на первый этап. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
-
Какое отношение дата-инженер имеет к data science?
Работа с данными процесс, в котором каждый участник команды дата-сайентистов выполняет свою задачу. Дата-инженер извлекает данные из разных источников, очищает их от «мусора» и автоматизирует эти процессы, ML-инженер обучает модели машинного обучения для анализа этих данных, а дата-аналитики общаются с заказчиками и помогают бизнесу принимать верные решения на основе исследований.
В зависимости от того, какое направление вам интересно, вы можете выбрать себе курс по data science в Skillbox: «Профессия Data Analyst», «Профессия Data Engineer», «Профессия ML Engineer». А если вы не можете определиться, записывайтесь на курс «Профессия Data Scientist PRO» там можно выбрать любое из 3 направлений после первого уровня. -
Какой компьютер нужен для работы на курсе?
Подойдёт компьютер на macOS, Windows 10, с процессором i3, i5 или i7 или аналогичный на AMD.
-
Можно ли стать дата-инженером за 9 месяцев и найти работу?
Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-инженеры. Если заниматься регулярно, выполнять практические работы и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование. Всё остальное мы берём на себя: поможем составить резюме, подберём вакансии и подготовим к интервью.
-
Требуются ли знания математики?
На начальных этапах от вас не требуется продвинутых знаний достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили, проверяющий эксперт поможет освежить знания или даст ссылки на полезные материалы.
-
Нужно ли знать английский?
Значения важных англоязычных терминов объясним на курсах. В практических работах перевести незнакомые слова поможет Google Переводчик. Но со знанием языка проще ориентироваться в среде разработки, читать документацию, участвовать в международных проектах.
Поэтому пользователям платформы Skillbox мы дарим бесплатные занятия в онлайн-школе КЭСПА на год. За это время вы освоите грамматику, пополните словарный запас и научитесь свободно читать и говорить на английском. -
Какой график обучения? Получится ли совмещать его с работой?
Вы можете изучать материалы курса в удобном вам режиме, совмещать прохождение курсов с работой и личной жизнью. Более того, все видео будут доступны и по окончании курса, так что вы сможете освежить свои знания в любой момент.
-
Сколько часов в неделю мне нужно будет уделять обучению на платформе?
Чтобы пройти полный курс за год, советуем заниматься от 8 до 10 часов в неделю. При таком графике вы сможете научиться основам дата-инженерии за 9 месяцев — после этого вы трудоустроитесь Junior-специалистом и параллельно продолжите изучать продвинутые темы.
-
Кто будет проверять практические работы?
Никаких автоматических проверок и скриптов. С вами будет работать живой человек проверяющий эксперт. Он не только укажет на ошибки, но и поможет разобраться в сложных темах и ответит на вопросы. Помощь эксперта и доступ к Telegram-чату уже входят в стоимость курса ни за что доплачивать не нужно.
-
Действуют ли какие-нибудь программы рассрочки?
Да, вы можете купить курс в рассрочку и спланировать свой бюджет, разбив всю сумму на небольшие ежемесячные платежи.
-
Чем рассрочка отличается от кредита?
Вы оплачиваете только стоимость курса проценты мы берём на себя. Для оформления рассрочки не требуются официальное трудоустройство и хорошая кредитная история.
-
Могу ли я получить налоговый вычет за обучение на платформе?
Да, вы можете вернуть часть средств в виде налогового вычета. Основные условия: быть налоговым резидентом РФ и платить НДФЛ. Налоговый вычет составит до 13% от стоимости курса. Максимальная сумма возврата части НДФЛ — 15 600 рублей за год при цене курса 120 000 рублей.
- Вы можете вернуть средства через работодателя или налоговую.
- Для этого понадобится договор на обучение на платформе, наша лицензия на образовательную деятельность и чек об оплате курса, который придёт вам на почту или в личный кабинет банка.
- Если вы будете оформлять вычет через налоговую, нужно будет заполнить декларацию 3-НДФЛ. Удобнее всего это сделать в личном кабинете на сайте Федеральной налоговой службы.
- В течение 30 дней налоговая подтвердит ваше право на вычет.
- Если будете оформлять возврат части НДФЛ через работодателя, вам останется подать ему заявление о получении налогового вычета.
Не переживайте, если процесс кажется вам сложным. Наши менеджеры помогут разобраться в том, как вернуть налоговый вычет.
- Санкт-Петербург
- Алматы
- Минск
- Москва
- Санкт-Петербург
- Алматы
- Волгоград
- Воронеж
- Екатеринбург
- Казань
- Красноярск
- Нижний Новгород
- Новосибирск
- Омск
- Пермь
- Ростов-на-Дону
- Уфа
- Челябинск
- Вологда
- Гомель
- Ижевск
- Иркутск
- Калининград
- Кемерово
- Киров
- Краснодар
- Курск
- Липецк
- Махачкала
- Оренбург
- Пенза
- Ростов
- Рязань
- Саратов
- Сочи
- Ставрополь
- Сургут
- Тверь
- Тольятти
- Томск
- Тула
- Тюмень
- Ульяновск
- Хабаровск
- Чебоксары
Отзывы участников
20 отзывов