Tarn проверяет события каждый час и помогает заметить ошибки после релиза
Не каждое снижение объёма означает поломку. Tarn учитывает привычную активность по часам и дням недели, а отдельные проверки показывают изменения на конкретной платформе или версии. Вы получаете уведомление с данными, по которым можно начать разбор.
У каждого события своя норма для каждого часа суток и дня недели
У событий свой ритм: активность ночью и в выходные может отличаться от дневной. Tarn строит сезонный профиль по четырём неделям наблюдений и сравнивает объём с ожидаемым значением для этого часа и дня недели.
- Медиана и устойчивая оценка разброса уменьшают влияние разовых всплесков на базовый уровень
- Пока истории мало, Tarn использует более строгие условия обнаружения; полнота базового периода видна в интерфейсе
- В первые сутки после подключения расхождения видны в интерфейсе, но отдельные уведомления не отправляются
Проверки смотрят внутрь события, а не только на его объём
Событие может продолжать приходить с неверными данными: без обязательного параметра, с новым типом или с выручкой в копейках вместо рублей. Tarn отдельно проверяет состав параметров, допустимые значения и числовые ограничения.
- Пустая строка и отсутствующее значение — разные вещи, и проверка обязательности их различает
- Резкий рост числа различных значений виден, даже когда сами значения мы не храним
- Проверка распределения числового параметра работает и без заданных границ
Объём остался прежним, а людей стало вдвое меньше
Общий объём может скрывать два одновременных изменения: пользователей стало меньше, но каждый отправляет больше событий. Поэтому Tarn отдельно проверяет число уникальных пользователей и событий на пользователя. Это помогает заметить повторы отправки или ошибки идентификации.
- Для источников аналитики число уникальных пользователей оценивается без сохранения исходных идентификаторов
- В SQL-источнике уникальные пользователи подсчитываются внутри вашего хранилища
- Приблизительный подсчёт отмечен в уведомлениях и сводках
Amplitude говорит одно, Mixpanel — другое
Одно событие может попадать в Amplitude и не попадать в Mixpanel из-за настройки SDK или фильтра выгрузки. Tarn сравнивает источники между собой и показывает устойчивую разницу. Так можно найти проблему, которую трудно заметить по одному источнику.
- Перед сравнением Tarn учитывает задержку между выгрузками источников
- Расхождение должно держаться шесть часов из суток, чтобы стать находкой
- Событие, которое есть у одного вендора и полностью отсутствует у другого, — отдельный, более серьёзный случай
Tarn сам знает, какая версия вышла и когда
Tarn записывает, когда версия впервые появилась в событиях и когда её доля достигла 10% событий платформы. Эти даты помогают сопоставить релиз с началом расхождения и понять, могла ли новая версия повлиять на данные.
- Если версия сервера или сайта не передаётся в событиях, релиз можно добавить вручную
- Один и тот же релиз не появится дважды: пара «платформа и версия» уникальна, поэтому искать релизы можно на каждом опросе источника
- Если расхождение началось до появления версии, разбор отметит, что время релиза не подтверждает эту гипотезу
О расхождении вы узнаёте, не открывая Tarn
Настройте отдельные уведомления для критичных расхождений и ежедневную сводку для команды. Поддерживаются почта, Slack и Telegram. В сообщении указаны событие, масштаб изменения и ссылка на разбор; для каждого канала выбирается минимальная важность.
- Повторная проверка не отправляет то же расхождение заново. Если его важность повысилась, Tarn уведомит об этом отдельно
- После десяти отдельных сообщений за одну проверку остальные расхождения объединяются в сводное уведомление
- Журнал доставок показывает успешные отправки и ошибки. При временном сбое Tarn повторяет попытку
Чем это отличается от порога на графике
Проверьте, что нужно команде кроме порога на графике: сезонность, параметры, срезы и разбор расхождений.