Как провести безопасный эксперимент: guardrail metrics

Привет, Хабр!

Хотел было назвать эту статью «Защитные метрики», но тут такая штука — погуглил в рунете, а там тишина (ну, почти). Пришлось пойти по классике и оставить название на английском — guardrail metrics.

Guardrail metrics — это метрики, которые используются в A/B тестировании для предотвращения нежелательных побочных эффектов. Их основная цель — следить за тем, чтобы изменения, которые вы вносите для улучшения определенных показателей, не повредили другим важным аспектам продукта.

Рассмотрим подробнее.

Читать далее