Data Engineer (Scala)

Сейчас мы развиваем команду, поэтому начинаем поиск кандидатов на вакансию Data Engineer Scala для участия в сложных наукоемких проектах для западных и крупных российских компаний. Стек технологий: Scala, Apache Spark, ClickHouse, HDFS, Apache Airflow, PostgreSQL, Apache Kafka, Apache Hive, Apache IcebergЧем предстоит заниматься: Построение, поддержка ETL-процессов и решение разнообразных бизнес-задач для обработки больших объёмов данных с использованием Spark+Scala Оптимизация скорости обработки данных и потребления системных ресурсов Поиск и устранение причин ошибок, аномалий в результирующих данных Создание оптимальных SQL-запросов средней сложности для анализа больших объёмов данных по требованиям бизнеса Что мы ожидаем от кандидата: Владение Java, Scala Консольный минимум Linux Опыт работы со Spark, уверенное понимание принципов работы и потенциальных проблем Знание основ работы с БД, уверенное знание SQL Будет плюсом: Опыт работы с Scala Dataframe/Dataset API Опыт построения и оркестрации ETL-процессов для обработки Big Data Опыт оптимизации spark-запросов и настройки потребляемых ресурсов Углублённое понимание принципов работы и конфигурационных параметров Spark Опыт работы с Zepellin или Jupiter Опыт работы с ClickHouse или иными NoSQL Опыт работы с Apache Airflow Знание Hadoop/HDFS, работа с Parquet-файлами, работа с hive Умение работать с GitLab CI Знание Bash достаточное, чтобы внести исправления в скрипты Минимальные знания Python Английский на уровне, достаточном для чтения документации Что мы предлагаем: ​​​​​​​Высокую белую и ежегодно индексируемую заработную плату Оформление по ТК, 100% оплату больничного и отпуска Добровольное медицинское страхование (ДМС) со стоматологией Работу с применением гибкой методологии разработки (Agile/Scrum) Демократичный подход к дресс-коду и процессам, гибкое начало рабочего дня Еженедельные семинары, участие в конференциях и митапах, корпоративный английский и оплачиваемые сертификационные экзамены Игры, зажигательные тимбилдинги, масштабные корпоративные мероприятия, выезды на природу Спортивные кружки: волейбол, йога; участие в соревнованиях «Гонка Героев», «Забег.РФ» и других спортивных событияхГоловной офис компании — в Санкт-Петербурге. Также у нас есть офисы в Оренбурге, Казани, Твери, Самаре, Екатеринбурге, Таганроге, Тюмени, Калининграде, Ульяновске, Воронеже и Петрозаводске. Планируется открытие в Сыктывкаре.Если в Вашем городе нет офиса WaveAccess, с нами можно работать удаленно.