Data Platform Engineer

Описание проекта: Развитие и сопровождение системы класса CDP (Customer Data Platform); Объединение данных из 20+ источников в единую «Карточку клиента» с обеспечением требований Business Critical; Система включает компоненты online профиля клиента (streaming processing) и offline профиль клиента (batch processing); Выходным продуктом системы являются данные по клиентам, готовые для использования в бизнес-процессах. Чем предстоит заниматься: Проектировать и разрабатывать batch- и streaming processing сервисы, удовлетворяющих требованиям Business Critical; Реализовывать интеграции с системами-источниками и системами-потребителями в части клиентских данных; Внедрять DQ-проверки на этапах обработки данных; Выстраивать мониторинг, логирование и сбор метрик системы; Реализовывать CI/CD, требования ИБ, компоненты для повышения надежности и стабильности сервисов. Наши ожидания: 3+ года опыта в роли Data Engineer/Backend Developer; Java: уверенное владение для streaming processing; Python: для написания DAGs Airflow (DAG, операторы, сенсоры); Airflow: DAG, операторы, сенсоры; SQL: глубокое знание, оптимизация запросов, опыт работы с PostgreSQL и ClickHouse; Kafka: опыт работы с producers/consumers, настройка кластера/брокеров/топиков; СУБД: Redis/ClickHouse/PostgreSQL или подобные системы; CI/CD: Gitlab CI, Runners, Docker, Bash. Мы предлагаем: Работу среди профессионалов финансового рынка; Насыщенную корпоративную жизнь; Возможность карьерного роста и профессионального развития; Стабильный конкурентный доход; Оформление согласно ТК РФ; Комфортный офис в центре (м. Проспект Мира); График работы 5/2 с 9:30 до 18:00, удаленный формат работы; ДМС, корпоративные скидки и предложения для сотрудников.