Data-инженер в команду SQL-SWAT
О команде: Команда SQL-SWAT отвечает за бизнес-критичный технический проект миграции DWH с легаси-платформы Vertica на целевую платформу LakeHouse на базе Trino и Ceph. Также команда поддерживает пользователей по вопросам создания витрин данных и пайплайнов в DWH.Инженеры команды мигрируют объекты DWH, разрабатывают селф-сервис-инструменты для миграции и помогают пользователям работать с ними.
Какие задачи вас ждут: разрабатывать сервисы, CLI-инструменты и LLM-инструменты для ускорения и упрощения процесса миграции;самостоятельно мигрировать объекты с помощью созданных инструментов:транслировать код;верифицировать данные;переносить историю;переключать зависимости;обучать и поддерживать пользователей при работе с селф-сервис-инструментами автоматизированной миграции;в рамках регулярных дежурств поддерживать пользователей в чатах и консультировать по вопросам работы с витринами данных;мигрировать сложные и критичные витрины данных на новую платформу с сохранением производительности и соблюдением SLA;улучшать существующие инструменты с применением современных технологий, например AI-элементов для ускорения процессов;взаимодействовать с владельцами витрин из аналитических команд, согласовывать допустимые расхождения в данных и необходимые изменения бизнес-логики.
Примеры будущих задач: доработать сервис трансляции SQL-кода, чтобы ускорить трансляцию на 20%;создать LLM-инструменты для верификации данных во время миграции на локальной машине пользователя;мигрировать сложные MERGE REFRESH-витрины с учётом специфики Trino и деградацией времени ежедневного расчёта не более чем на 10%;оптимизировать витрины на Trino, чтобы снизить потребление вычислительных ресурсов на 20%;ответить на вопрос пользователя в чате, например о том, почему витрина не проходит тесты на производительность.
Мы ждем, что вы: работали с аналитическими СУБД: Vertica, Snowflake, ClickHouse, StarRocks, Presto, Trino или другими;знаете, что для СУБД значит выполнить SQL-запрос, и понимаете, как оптимизировать аналитические запросы;разрабатывали пайплайны обработки данных;уверенно владеете SQL, включая сложные оконные и аналитические функции;разбираетесь в планах запросов и можете оптимизировать запросы;разрабатывали сервисы и приложения на Python или Go.
Работа у нас — это: возможность реализовывать идеи в проекте с многомиллионной аудиторией;возможность предлагать инициативы, проводить эксперименты и внедрять собственные идеи;влияние на аналитическую платформу, которой пользуются десятки команд Авито, и на эффективность критичных бизнес-процессов компании;рабочее оборудование и всё необходимое для продуктивной работы;прозрачная система премий, условия компенсации обсудим на собеседовании;возможность внешнего и внутреннего обучения за счёт компании (курсы, тренинги, лекции, обмен опытом и менторство);забота о сотрудниках и их здоровье: с первого дня работы вы получите страховку со стоматологией, в офисе ведут приём терапевт и массажист;возможность удалённой работы и офис в 2 минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха.