Data engineer (офис)

05 Августа

Партнерские Вакансии

Компания "Совкомбанк Технологии"

Описание проекта: Участие в проектах развития систем больших данных банка.

Стек технологий на проекте: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow.

Обязанности:

• Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3;
• Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы);
• Участие в проектирование технических и архитектурных решений, необходимых для реализации бизнес-задач;
• Взаимодействие с архитекторами, системными аналитиками, QA, DevOps;
• Наставничество для новых членов команды.

Мы ищем:

• Опыт в Big Data от 2+ лет (Lakehouse, Hadoop);
• Глубокое знание SQL, оптимизация запросов в MPP движках;
• Знание Java/Scala на высоком уровне;
• Понимание принципов работы Spark;
• Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников.

​​​​​​​Мы ценим:

• Самостоятельность - способность выполнять задачи с минимальным контролем;
• Командную работу - эффективное взаимодействие и координация с коллегами;
• Ответственность - доведение задач до завершения с учетом требований качества;
• Проактивность - инициативность и своевременное уточнение деталей;
• Развитие экспертизы - постоянное обучение и обмен знаниями в команде.

Будет плюсом:

• Знание Python на базовом уровне;
• Понимание процесса разработки процессоров NiFi на Python/Java;
• Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres;
• Участие в проектировании архитектуры Big Data решений;
• Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala;
• Опыт работы с форматом Iceberg;
• Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins) - Опыт работы с Docker, K8s ​​​​​​​.

Условия:

• Официальное оформление по ТК РФ с первого дня работы;
• Дружеская атмосфера и поддержка с самого начала: для новичков предусмотрен онбординг с опытным наставником, который поможет разобраться в процессах, расскажет о продуктах и всегда будет на связи;
• Гибкие процессы, которые мы постоянно улучшаем, учитывая мнение каждого члена команды;
• Минимум бюрократии: большинство вопросов решается быстро через электронный документооборот;
• Удобный офис в отличной локации с современным оборудованием и всем необходимым для комфортной работы;
• Уникальные бенефиты: ДМС (включая стоматологию), фитнес, курсы иностранных языков, скидки на продукты банка и партнеров;
• Поддержка профессионального роста: оплата тренингов, курсов и участие в ИТ-мероприятиях (митапы, хакатоны, конференции);
• Свобода и комфорт: гибкий график, отсутствие дресс-кода, минимум бюрократии и максимум вовлеченности.
• Присоединяйся – с нами будет интересно!