About the vacancy
МегаФон ищет middle Python-разработчика в Екатеринбурге для разработки и сопровождения ETL-процессов, потоковой обработки данных и инфраструктуры на базе ClickHouse, PostgreSQL и Apache Kafka.
Задачи
- Проектировать, разрабатывать, оптимизировать и поддерживать ETL-процессы для загрузки данных из различных источников.
- Управлять потоковой обработкой данных с использованием Apache Kafka.
- Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL.
- Строить, администрировать и настраивать кластеры ClickHouse.
- Разрабатывать и поддерживать решения на базе ClickHouse или связки PostgreSQL и ClickHouse.
- Интегрировать данные между PostgreSQL, Kafka, ClickHouse, API, очередями и S3.
- Осуществлять мониторинг производительности, отказоустойчивости и безопасности конвейеров данных и баз данных.
- Автоматизировать процессы обработки данных и развертывания с использованием CI/CD.
- Взаимодействовать с аналитиками, разработчиками и product owner для реализации потребностей в данных.
- Устранять неисправности в конвейерах данных и базах данных.
Условия
Работа в офисе в Екатеринбурге.
Компания
МегаФон