Внедрение ETL-процесса в работу аналитика

Часто данные распределены по разным обновляемым таблицам в базе данных. Необходимость их предобработки по отдельности и дальнейшее сведение для просмотра каких-либо показателей на ежедневной основе затрачивают время. Этот рутинный процесс можно и нужно автоматизировать.

На примере данных из социальной сети, используя Airflow покажу как можно решить эту задачу.

Автоматизация базовой отчетности

Бизнес-заказчик - руководитель по маркетинговому направлению. Коллега хочет получать аналитическую сводку в Телеграм каждый день для мониторинга показателей. Отчет должен включать:

  • ключевые метрики: DAU, просмотры, лайки и CTR
  • текст с информацией о значениях ключевых метрик за предыдущий день
  • график со значениями метрик за предыдущие 7 дней

    • Автоматизация базовой отчетности (глобальная сводка)

    Бизнес-заказчик - руководитель по маркетинговому направлению соц. сети. Коллега хочет получать всю важную аналитическую информацию в графической форме по направлениям ленты новостей и мессенджера в Телеграм на ежедневной основе.

  • отчет должен помогать отвечать бизнесу на вопросы о работе всего приложения совокупно
  • должны присутствовать метрики приложения как единого целого

    • Поиск аномалий (Система алертов)

    Бизнес-задача - Заказчик в лице ML-отдела выкатил новый алгоритм, рекомендующий пользователям интересные посты. Заказчик хочет подстраховаться от непредвиденных ситуаций и быть проинформированным, если одна из целевых метрик покажет аномальный рост или падение от среднего значения.

  • система должна с периодичностью каждые 15 минут проверять ключевые метрики, такие как активные пользователи в ленте / мессенджере, просмотры, лайки, CTR, количество отправленных сообщений
  • Если у пользователя меньше 50 просмотров, то алгоритм не сработает
  • в случае обнаружения аномального значения, в группу Телеграм должен отправиться алерт.

    • Contact Information