Data engineer

• Владение SQL на уровне оптимизированных сложных запросов;
• Понимание принципов функционирования традиционных СУБД и баз данных класса MPP;
• Опыт программирования на языках Python и/или Java, Scala;
• Опыт оркестрации ETL-пайплайнов с помощью Airflow;
• Наличие опыта взаимодействия с инструментом dbt;
• Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop);
• Владение технологией Apache Spark (Spark DataFrames, Spark SQL);
• - Опыт работы с банковской предметной областью.

• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh, streaming, etc.);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты;
• - Настраивать и поддерживать процессы и инструменты интеграции Near-Real Time платформы с системами-источниками и потребителями данных.

Откликнуться