О вакансии

Проект:

Совместно с компанией заказчика разрабатываем инновационный и полезный для потребителей продукт по цифровизации в сфере производства и реализации товаров. Продукт высоконагруженной и масштабной системы, где действительно можно поработать с большими объёмами данных и крутыми технологиями. Уже сейчас система обрабатывает миллиарды транзакций ежедневно и оперирует петабайтами данных на скоростях десятки тысяч запросов в секунду. Наши данные в цифрах: поток > 20k RPS, > 900 млрд. фактов, > 10Пб данных в HDFS.

Система построена на микросервисной архитектуре и работает в кластерах Kuber, расположенных в собственных дата-центрах. Для хранения петабайт данных о товарах и их перемещении по стране используются HBase и Cassandra. Обмен сообщениями осуществляется через Kafka, а интерфейс для работы с данными создан на базе ELK. Аналитические функции реализованы с помощью Spark и Clickhouse. Также в работе применяются Prometheus, Grafana, Kibana и Graylog, Rancher, Helm и GitLab.

Стек:

Хранение данных: Hbase, YTsaurus, Clickhouse, PostgreSQL;
ETL: Airflow, Python/Java, YQL, Spark;
BI: Apache Superset, Jasperserver.

Чем предстоит заниматься:

Разработкой архитектуры доставки, хранения и обработки данных;
Проектированием модели данных, построением аналитических витрин для операционной аналитики и интерактивных дашбордов;
Оптимизацией существующих процессов обработки данных, решением проблем, связанных с задержками доставки данных.

Что ожидаем от кандидата:

2+ года опыта работы в сфере BigData на позиции Data Engineer;
3+ лет опыта работы с Python или Java;
Опыт разработки процессов загрузки и обработки данных из распределённых хранилищ с использованием Apache Airflow;
Уверенные знания SQL: агрегации, джойны, вложенные запросы, оптимизация запросов, а также знание NoSQL;
Опыт работы с различными моделями хранилищ данных, таких как Data Vault, Anchor или hNhM;
Понимание принципов CI/CD, опыт работы с Kubernetes, Docker, GitLab;
Опыт проектирования аналитических моделей, дашбордов и отчетов в BI системах;
Практический опыт использования одного из фреймворков Apache Spark(Streaming)/ Apache Flink/ Apache Beam.