Образовательная платформа
Осенняя распродажа Скидка 40% действует 0 дней 00:00:00
Курс

Data Engineer с нуля до Junior

Вы научитесь разворачивать инфраструктуру для сбора, преобразования и загрузки больших данных, освоите Python и SQL. Начнёте с основ, а через год сможете найти работу Junior-специалистом.

О профессии

Дата-инженер создаёт отказоустойчивые системы для работы с Big Data. Он программирует на Python, пишет SQL-запросы, работает с базами данных и облачными хранилищами, знаком с инструментами Kafka, Airflow, Git, Spark.

Задачи специалиста — собрать сырые данные, очистить их и разработать пайплайн для последующей работы ML-инженеров и дата-аналитиков.

Станьте IT-специалистом и получите поддержку от государства

Сотрудники аккредитованных IT-компаний могут:

  • Купить квартиру или дом на выгодных условиях. IT-специалистам доступна льготная ипотека по ставке 5%.
  • Получить отсрочку от армии. Молодые люди от 18 до 27 лет имеют право не служить, пока работают.

Кому подойдёт этот курс

  • Новичкам

    С нуля освоите Python и SQL. Научитесь собирать, анализировать и обрабатывать данные. Решите задачи на основе реальных кейсов и добавите их в портфолио. Сможете начать карьеру в Data Engineering во время обучения.

  • Программистам

    Подтянете знание SQL для работы с базами данных. Пройдёте весь путь дата-инженера от сбора сырых данных до деплоя модели. Опыт в программировании поможет быстро разобраться в новой профессии и сменить сферу.

  • Начинающим аналитикам

    Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников, выстраивать архитектуру для её хранения и визуализировать отчёты. Сможете самостоятельно подготовить данные для последующего анализа.

О Skillbox

Skillbox —
по качеству обучения. Вся теория записана с топовыми экспертами рынка, а практика максимально приближена к реальным рабочим задачам. Послушайте, что говорят те, кто уже достиг своих целей вместе со Skillbox.

Чему вы научитесь

  • Использовать инструменты анализа

    Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.

  • Обрабатывать данные

    Узнаете, как подключаться к источникам. Сможете очищать, сохранять и интегрировать данные.

  • Тестировать код

    Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.

  • Взаимодействовать с заказчиком

    Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.

  • Разворачивать Data Science проект

    Поймёте, как реализовать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.

  • Работать в команде

    Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Учитесь сейчас, платите потом!

Расходы за первые 3 месяца обучения на платформе Skillbox берёт на себя. В это время вы смотрите видеоматериалы, практикуетесь на реальных задачах, прокачиваете навыки и начинаете зарабатывать.

Кредитная программа от надёжных банков

  • Для граждан РФ
  • Без первого взноса
  • Без переплаты по процентам
  • Одобрение в день обращения

Что даёт профессия Data Engineer?

  • Востребованную специальность, на которую растёт спрос

    Данные — это новая нефть. IT-корпорации, финансовые, научные и промышленные организации принимают решения на основе анализа Big Data. Чтобы собрать и обработать терабайты данных из разрозненных источников, компании нанимают дата-инженеров. Опытный специалист может зарабатывать от 150 000 рублей.

  • Профессиональную свободу

    Сможете найти своё место в любой сфере: IT, банкинг, маркетинг, интернет-ритейл, промышленность, медицина, телеком. Находиться в офисе необязательно — сможете работать онлайн из любой точки мира.

  • Возможность стать частью процесса Data Science

    С работы дата-инженера начинается каждый проект. Он добывает данные, на основе которых ML-инженеры обучают нейросети, а дата-аналитики принимают важные бизнес-решения. Вы будете первым звеном в команде дата-сайентистов.

Как проходит обучение на платформе

  • Иллюстрация этапа обучения
    Регистрация

    Знакомитесь с платформой

    Платформа Skillbox — собственная разработка компании, которую мы постоянно улучшаем. Вас ждут видео, практические задания и общение с кураторами. Доступ к материалам откроется сразу после покупки курса.

  • Иллюстрация этапа обучения
    Теория

    Получаете знания

    Курсы состоят из тематических видео разной длительности. Смотрите их когда и где угодно. Доступ бессрочный, чтобы вы всегда могли вернуться и повторить теорию.

  • Иллюстрация этапа обучения
    Практика

    Выполняете задания

    Мы уверены, что навыки отрабатываются только через практику. Поэтому после теории вас ждёт практическая работа или тест. Все задачи приближены к реальным — их можно с гордостью положить в портфолио.

  • Иллюстрация этапа обучения
    Обратная связь

    Работаете с куратором

    Проверкой заданий занимаются кураторы. Это эксперты по теме курса. Они помогут с трудными задачами и подскажут, как улучшить ваши проекты. Общаться с проверяющими кураторами можно прямо на платформе.

Содержание курсов

Вас ждут 80+ тематических модулей с различным уровнем сложности, видео с теорией и практика на задачах, приближенных к реальным.

  • 9 месяцев обучения
  • 2 итоговых проекта

Первый уровень: базовая подготовка

Познакомитесь с основными направлениями Data Science, обучите и внедрите свою первую ML-модель. Получите базовые знания по математике, статистике и теории вероятностей. Всё это поможет вам разобраться в основных принципах работы с данными. Среднее время прохождения — 5 месяцев.

  1. Введение в Data Science

      1. Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.

  2. Основы математики для Data Science

      1. Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

  3. Основы статистики и теории вероятностей

      1. Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

Второй уровень: Data Engineer Junior

Научитесь собирать сложные наборы данных, подготавливать витрины и выстраивать пайплайны для работы, разворачивать DS-проекты с нуля и тестировать код. Будете готовы работать на позиции Junior Data Engineer. Среднее время прохождения — 4 месяца.

  1. Вводный блок

      1. Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.

  2. SQL

      1. Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы.
      2. Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
      3. Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.

  3. Python. LVL 2

      1. Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.

  4. Библиотеки для Python

      1. Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.

  5. Airflow

      1. Рассмотрите ключевые понятия и практики по работе с Airflow. Изучите архитектуру и основы взаимодействия от UI до CLI. Построите свой первый data pipeline.

  6. Основы Spark

      1. Освоите Spark: узнаете, какими ресурсами вычислений он оперирует, как хранит данные и работает с памятью и диском. Развернёте свой первый локальный стенд.
      2. Изучите основы RDD: базовые концепции, работу с источниками, actions. Научитесь работать с Dataframe API. Изучите вопросы производительности и оптимизации при использовании Dataframe, источники и типы данных, работу с валидными/невалидными данными, обработку ошибок, UDF, взаимодействие с Python и SQL.

  7. Основы алгоритмов Machine Learning

      1. Разберёте основные виды моделей машинного обучения, ключевые термины и определения. Изучите алгоритмы регрессии и алгоритмы кластеризации.

  8. Deployment

      1. Изучите основные этапы подготовки модели к деплою, подходы к построению API и способы обработки ошибок и отладки приложений. Сможете устранять проблемы при деплое и освоите основные инструменты swagger.
      2. Познакомитесь с ключевыми процессами bash: написанием скриптов, работой с переменными и текстовыми редакторами sed и awk.

Итоговые проекты

После прохождения первого уровня — подготовите вводный проект. В конце курса презентуете итоговую работу.

  1. Введение в Data Science

      1. Закрепите новые знания на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.

  2. Data Engineer

      1. Итоговый проект уровня Junior. Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.

Бонусные курсы

  1. Карьера разработчика: трудоустройство и развитие

      1. Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

  2. Система контроля версий Git

      1. Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.

  3. Английский для IT-специалистов

      1. Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.

Уже прошли какие-либо курсы Skillbox?

Скажите об этом менеджеру — платить за них не придётся.

Авторы и спикеры курсов

Евгений Виноградов
Евгений
Виноградов Автор профессии Data Engineer, руководитель отдела разработки хранилищ данных и аналитических сервисов, ЮMoney. 5 лет разрабатывает системы поддержки принятия решений.
Владимир Ершов
Владимир
Ершов Автор курса «Machine Learning». Data Solutions manager, Visa. В data science больше 7 лет
Вячеслав Архипов
Вячеслав
Архипов Автор курса «Статистика и теория вероятностей», математик, Banuba development. Опыт преподавания более 8 лет.
Юлдуз Фаттахова
Юлдуз
Фаттахова Автор курса Senior Data Scientist, Team Lead, SberData, Сбер
Николай Герасименко
Николай
Герасименко Data Scientist в Сбербанке, математик в ВЦ РАН. Блок «Основы математики для Data Science»
Пётр Емельянов
Пётр
Емельянов Спикер курса. R&D Director, UBIC Tech

Студенты довольны обучением

  • 93% выпускников отмечают, что Skillbox помог достичь поставленной цели
  • 78% выпускников готовы рекомендовать обучение в Skillbox

Данные независимого опроса выпускников Skillbox, проведённого Высшей школой экономики (НИУ ВШЭ)

4500+ оценок на разных независимых площадках

  • 4,7
    4967 оценок
  • 4,7
    974 оценки
  • 4,8
    490 оценок
  • 4,5
    2368 оценок
  • 4,7
    559 оценок
  • 5,0
    321 оценка
  • 4,5
    230 оценок
  • 4,7
    232 оценки

Отзывы участников курсов

  • Отзывы студентов Иван Медведев, г. Ивантеевка Курс «Профессия Инженер по тестированию»
    Если какой-то материал тяжело даётся, есть вопрос по ДЗ, достаточно написать преподавателю, который поможет разобраться с информацией и подскажет, как решить задачу.
    По итогу 9-месячной учёбы стал по-другому смотреть на сайты. Замечаю баги, разбираюсь в вёрстке, веду репорты. Узнал, как работать со специфическим ПО.
    Уже сейчас нисколько не жалею, что выбрал Skillbox. Спасибо!!!
  • Отзывы студентов Валентина Нарушевич, г. Санкт-Петербург Курс «Графический дизайнер с нуля до PRO»
    Благодаря курсу я научилась создавать классные постеры и векторные изображения. Также мой список новых скилов пополнили ретушь и обтравка изображений — одни из главных навыков профессионального графического дизайнера.
    Ну, и умение верстать журналы! Теперь я, как самый настоящий графический дизайнер, с лёгкостью могу создать разворот какого-нибудь модного журнала.
  • Отзывы студентов Яна Щербицкая, г. Санкт-Петербург Курс «Photoshop с нуля до PRO»
    Курс очень круто структурирован, там есть все знания, которые мне нужны, чтобы освоить программу. Сама бы я точно что-нибудь пропустила.
    Преподаватели всё спокойно и терпеливо объясняют. Если ты что-то не понял, снимут дополнительный видеоролик и покажут ещё раз.
    Самое крутое в курсах Skillbox — постоянная связь с теми, кто подскажет, как правильно.
  • Отзывы студентов Алла Комиссаренко Курс «UX-дизайнер с нуля до PRO»
    Работать дизайнером мне очень нравится, от UX я вообще в восторге, тяга к аналитике у меня была всегда. После долгих поисков работы в новой сфере подруга помогла мне получить заказ на редизайн сайта большой компании.
    Отдельно хочу сказать спасибо куратору Александру Свободе, он очень подробно расписывал все недочёты и ошибки решений в дизайне.
  • Отзывы студентов Елена Кальво, г. Ницца, Франция Курс «Копирайтинг от А до Я 2.0»
    «Почему бы не сделать из хобби источник заработка?» — однажды подумала я.
    Недолго размышляя, записалась на курс в Skillbox и встала в ряд претендентов на гордое звание копирайтера.
    Работа с текстом помогла мне вернуть свою жизнь, вдохновила. Я начала снова ухаживать за собой, читать. Увидела, что я не только мать, но и писатель.

  • Отзывы студентов Ирина Семёнова, г. Бельцы, Молдова Курс «Профессия SMM-специалист»
    Я узнала, что такое охваты, KPI и прочие слова, которые раньше пугали. Поняла, что чем проще и понятнее, тем лучше. Разобралась в сложной иерархии рекламного кабинета и научилась настраивать аудиторию и рекламу.

    Я уже в теме и не боюсь назвать своих более опытных друзей коллегами.

Год английского языка бесплатно

Skillbox запустил онлайн‑платформу для изучения английского. Запишитесь на курс и получите годовой бесплатный доступ к материалам проекта.

Предложение действительно для пользователей, которые приобрели любой курс с 22 декабря 2021 года.

Вас ждут:

  • методика ускоренного запоминания слов и грамматики;
  • персональная программа освоения языка, которая поможет заговорить с нуля;
  • возможность индивидуальных сессий с кураторами.
Изображение KESPA
  • Старт курса: 5 октября
  • Осталось: 7 мест

Стоимость курса

Скидка действует 0 дня 00:00:00

  • 7 247 ₽/мес
  • -40%
4 348 ₽/мес
  • В рассрочку на 22 месяца
  • Первый платёж через 3 месяца
  • Студенты могут вернуть до 13% стоимости курса, оформив налоговый вычет

Выберите вариант оплаты

Заполните контактные данные

Похоже, произошла ошибка. Попробуйте отправить снова или перезагрузите страницу.

Нажимая на кнопку, я соглашаюсь на обработку персональных данных и с правилами пользования Платформой

Нажимая на кнопку, я соглашаюсь с публичной офертой и политикой обработки персональных данных

Спасибо!

Ваша заявка успешно отправлена

Вам может понравиться

    Где работают участники курсов Skillbox

    Часто задаваемые вопросы

    • У меня нет опыта работы с данными. Подходит ли мне этот курс?
      Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное — не пожалейте времени на первый этап, в котором вы получите базовые навыки. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
    • Можно ли стать дата-инженером за год и найти работу?
      Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-сайентисты. Если заниматься регулярно, практиковаться и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование.
    • Требуется ли знание математики?
      На начальных этапах от вас не требуется продвинутых знаний — достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили — куратор поможет освежить знания или даст ссылки на полезные материалы.
    • Нужно ли знать английский язык?
      Значения важных англоязычных терминов объясним на курсах. В практических работах перевести незнакомые слова поможет Google Переводчик. Но со знанием языка проще ориентироваться в среде разработки, читать документацию, участвовать в международных проектах.

      Поэтому пользователям платформы Skillbox мы дарим бесплатные занятия в онлайн-школе КЭСПА на год. За это время вы освоите грамматику, пополните словарный запас и научитесь свободно читать и говорить на английском.
    • Сколько часов в неделю мне нужно будет уделять учёбе?
      Всё зависит только от вас. В среднем участники курса занимаются от 3 до 5 часов в неделю.
    • Кто будет проверять практические задания?
      Никаких автоматических проверок и скриптов. Куратор-практик не только укажет на ошибки, но и поможет разобраться в сложных темах, ответит на вопросы. Проверка практических заданий и доступ к Telegram-чату уже входят в стоимость курса — ничего доплачивать не нужно.
    • Действуют ли какие-нибудь программы рассрочки?
      Да, вы можете купить курс в рассрочку — и спланировать свой бюджет, разбив всю сумму на небольшие ежемесячные платежи.
    • Чем рассрочка отличается от кредита?
      Вы оплачиваете только стоимость курса — проценты мы берём на себя. Для оформления рассрочки не требуются официальное трудоустройство и хорошая кредитная история.
    • Что значит 3 месяца бесплатно?
      Освоить новую профессию с нуля — непросто, особенно в начале обучения. Поэтому расходы за первые 3 месяца мы берём на себя — вам не придётся вносить ежемесячные платежи. Вместо этого сфокусируетесь на занятиях — и без стресса пройдёте необходимые основы. Внести остаток и оплатить полную стоимость курса можно до конца периода рассрочки.
    • Могу ли я получить налоговый вычет за обучение на платформе?
      Да, вы можете вернуть часть средств в виде налогового вычета. Основные условия: быть налоговым резидентом РФ и платить НДФЛ. Налоговый вычет составит до 13% от стоимости курса. Максимальная сумма возврата части НДФЛ — 15 600 рублей за год при цене курса 120 000 рублей.

      • Вы можете вернуть средства через работодателя или налоговую.
      • Для этого понадобится договор на обучение на платформе, наша лицензия на образовательную деятельность и чек об оплате курса, который придёт вам на почту или в личный кабинет банка.
      • Если вы будете оформлять вычет через налоговую, нужно будет заполнить декларацию 3-НДФЛ. Удобнее всего это сделать в личном кабинете на сайте Федеральной налоговой службы.
      • В течение 30 дней налоговая подтвердит ваше право на вычет.
      • Если будете оформлять возврат части НДФЛ через работодателя, вам останется подать ему заявление о получении налогового вычета.

      Не переживайте, если процесс кажется вам сложным. Наши менеджеры помогут разобраться в том, как вернуть налоговый вычет.