Uplift-археология: как откопать эффект в слоях шума
В uplift‑моделировании выбор алгоритма — лишь часть задачи. Результат во многом зависит от постановки эксперимента, качества исторических данных, схемы валидации, выбора метрик и, наконец, от того, насколько правильно мы интерпретируем полученные результаты. На примере CVM «Магнита» мы разберёмся, где теряется uplift‑сигнал, почему красивые офлайн‑метрики не гарантируют успеха в эксплуатации и что помогает создать модель, которой действительно можно доверять. Почему «археология»? Потому что искомый эффект редко лежит на поверхности: он погребён под слоями шума — естественной изменчивостью поведения, чужими кампаниями, промо и ценами, — и его нужно раскопать, не повредив. Эта статья основана на моем докладе на MAGNIT TECH NIGHT. Посмотреть видео выступления можно здесь . Читать далее