Ладно, мы с Илюшей почти победили треш на бэке со статистикой и когда-нибудь я напишу отдельный пост про то, как мы мигрировали на кликхаус. Но сейчас мне даже временно перехотелось всё бросить. Потому что дальше случилось невероятное...
А сейчас на базе Clickhouse + старый добрый cxApi мы запилим сервис для сплит-тестирования заголовков на внутрисайтовых переходах.
Это особенно актуально для редакции, в которой есть школа классической журналистики ("в случае теракта, да, допустимы два пуша, а не один"), которую мы все бесконечно уважаем, и есть весь такой диджитал-кликбейт-трафик-воу-воу-шефред сайта с одного френеми телеканала, который тоже очень ничего. В день раз по десять возникают споры по поводу более и менее мягких/попсовых формулировок, поэтому мы сделаем экспериментальную ньювейв-группу на сайте и контрольную классическую.
Допилим админку так, чтобы редактор мог ввести альтернативный заголовок и в режиме реального времени наблюдать, какой побеждает. Скрипт будет раз в пару минут обходить все текущие эксперименты. И это будет нормальный сплит-тест с соблюдением всех контрольных и экспериментальных групп, байесовской статистикой своими руками, расхождением доверительных интервалов, неизменяемыми условиями и причем феншуем. Полностью server-side.
Сложим хиты в кликхаус, подружим с базой данных по документам.
Победителя будем автоматически выставлять на фронт.
Закинем куки в Google Analytics, чтобы посмотреть динамику поведения групп (да, аналитикс будем использовать только для этого, потому что слоты кастомных переменных забиты, а группы как-то отделить от остальных надо будет. А всю статистику сами посчитаем, чем мы не оптимайз).
В общем, рабочее название TITsplit 2.0
Надеюсь, доделаем к Айметриксу и даже найдем, в чём сила.
А сейчас на базе Clickhouse + старый добрый cxApi мы запилим сервис для сплит-тестирования заголовков на внутрисайтовых переходах.
Это особенно актуально для редакции, в которой есть школа классической журналистики ("в случае теракта, да, допустимы два пуша, а не один"), которую мы все бесконечно уважаем, и есть весь такой диджитал-кликбейт-трафик-воу-воу-шефред сайта с одного френеми телеканала, который тоже очень ничего. В день раз по десять возникают споры по поводу более и менее мягких/попсовых формулировок, поэтому мы сделаем экспериментальную ньювейв-группу на сайте и контрольную классическую.
Допилим админку так, чтобы редактор мог ввести альтернативный заголовок и в режиме реального времени наблюдать, какой побеждает. Скрипт будет раз в пару минут обходить все текущие эксперименты. И это будет нормальный сплит-тест с соблюдением всех контрольных и экспериментальных групп, байесовской статистикой своими руками, расхождением доверительных интервалов, неизменяемыми условиями и причем феншуем. Полностью server-side.
Сложим хиты в кликхаус, подружим с базой данных по документам.
Победителя будем автоматически выставлять на фронт.
Закинем куки в Google Analytics, чтобы посмотреть динамику поведения групп (да, аналитикс будем использовать только для этого, потому что слоты кастомных переменных забиты, а группы как-то отделить от остальных надо будет. А всю статистику сами посчитаем, чем мы не оптимайз).
В общем, рабочее название TITsplit 2.0
Надеюсь, доделаем к Айметриксу и даже найдем, в чём сила.
Вдохновиться трешем всегда можно в бложике Медиатора и ещё
Комментарии
Отправить комментарий