Data Engineer (экосистема Hadoop)

Нашему Партнёру, российскому проекту, специализирующемуся на разработке масштабируемых решений для распределенных систем в энтерпрайзе, в связи с ростом команды требуется:Data Engineer Мы ищем опытного Data Engineer, который обладает глубокими знаниями и навыками в области обработки данных с использованием экосистемы Hadoop и смежных технологий. Кандидат будет отвечать за разработку, миграцию и поддержку приложений, а также обеспечивать безопасную и эффективную работы с большими объемами данных. О проекте: организация экспертов по данным, специализирующаяся на разработке масштабируемых решений для распределенных систем. Мы сотрудничаем с клиентами из различных отраслей, в том числе: компании-разработчики программного обеспечения, банки и финансовые организации, телекоммуникации, розничная торговля и дистрибьюторы. Чем Вы будете заниматься: Разработка и поддержка приложений для пакетной и потоковой обработки данных с использованием технологий Hadoop, Spark, Impala, Trino, Flink, Airflow и Ozone. Миграция и адаптация приложений для работы с различными версиями и компонентами, например, между Impala и Trino, между разными версиями Spark Работа с DWH и Data Lake, включая проектирование схем данных, оптимизацию запросов и обеспечение высокой производительности. Понимание принципов безопасной работы с данными, включая аутентификацию и авторизацию с использованием Kerberos и Ranger, обеспечение конфиденциальности и целостности информации. Проведение анализа производительности системы и оптимизация процессов обработки данных для обеспечения высокой скорости и эффективности работы. Что мы хотим в Вас видеть: Опыт работы на позиции Data Engineer от 3-х лет. Опыт работы с экосистемой Hadoop и связанными технологиями, такими как Spark, Impala, Trino, Flink, Airflow и Ozone. Глубокое понимание принципов пакетной и потоковой обработки данных. Знание основных концепций Data Warehouse, Data Lake и Lake House. Понимание принципов безопасной работы с данными, включая использование Kerberos и Ranger. Умение мигрировать и адаптировать приложения для работы с различными версиями и компонентами. Отличные аналитические и проблемно-ориентированные навыки. Коммуникабельность и способность работать в команде. Что мы предлагаем: Оформление в аккредитованную IT-компанию по ТК РФ. Удалённый формат работы. Возможность при желании работать из офиса в Санкт-Петербурге (район метро "Московские ворота")