Distribución a priori y calibración del ROI

Las distribuciones a priori del ROI ofrecen una manera intuitiva de incorporar el conocimiento del dominio, como los resultados de experimentos anteriores, en tu modelo para guiar su proceso de entrenamiento.

Cuando se usan los resultados de un experimento del ROI para establecer distribuciones a priori del ROI específicas de cada canal, Meridian se refiere a este proceso como calibración. No es necesario tener resultados de experimentos para utilizar las distribuciones a priori del ROI. Las distribuciones a priori del ROI son el enfoque recomendado, independientemente de los datos disponibles para fundamentarlos.

Las distribuciones a priori del ROI garantizan que la distribución a priori del coeficiente efectivo utilice una escala adecuada en relación con la inversión de cada canal. Puede ser tentador pensar que las distribuciones a priori del coeficiente son mejores como distribuciones a priori no informativas, pero eso no es así. Si usas la misma distribución a priori del coeficiente no informativa en todos los canales, estarás asignando efectivamente distribuciones a priori del ROI muy diferentes en esos canales, que podrían diferir por órdenes de magnitud.

A continuación, se incluyen algunas consideraciones importantes para tener en cuenta a la hora de establecer distribuciones a priori del ROI:

• No existe ninguna fórmula específica para traducir el resultado de un experimento en una distribución a priori. Una opción es alinear la estimación puntual y el error estándar del experimento con la media y el error estándar de la distribución a priori (consulta un ejemplo en Cómo establecer distribuciones a priori personalizadas con experimentos anteriores). Sin embargo, si hablamos de la fórmula bayesiana, el conocimiento de la distribución a priori se define de manera más amplia y no necesita ser un cálculo formulado. Se pueden usar otros conocimientos del dominio en combinación con resultados de un experimento para establecer las distribuciones a priori de forma subjetiva.

• En Meridian, la distribución a priori del ROI predeterminada es log-normal. Esta distribución se eligió como predeterminada porque tiene dos parámetros, lo que brinda control sobre la desviación media y estándar. Sin embargo, se puede usar cualquier distribución con cualquier cantidad de parámetros en lugar de la distribución log-normal. En general, no se recomienda permitir valores de ROI negativos, ya que esto puede aumentar la varianza posterior y generar un sobreajuste.

• El ROI que se mide a través de un experimento nunca coincide perfectamente con el que se mide con el MMM. (En términos estadísticos, el experimento y el MMM tienen diferentes variables por estimar). Los experimentos siempre se relacionan con condiciones específicas, como el período, las regiones geográficas y la configuración de la campaña. Los resultados del experimento pueden proporcionar información muy pertinente sobre el ROI del MMM, pero conseguir que se correspondan esos resultados con una distribución a priori del MMM supone una capa adicional de incertidumbre más allá del error estándar del experimento.

• Cuando configures distribuciones a priori y desviaciones estándar a priori en particular, haz lo siguiente:

  • Ten en cuenta que, por lo general, es necesario cierto grado de regularización para lograr una compensación adecuada entre el sesgo y la varianza. Aunque algunos modeladores podrían tender a usar distribuciones a priori planas y no informativas para canales que no cuenten con experimentos de distribuciones a priori, esto puede generar un sobreajuste y resultados deficientes (sesgo bajo, pero varianza alta).

  • Encontrar un grado de regularización adecuado puede ser un proceso iterativo que implique consultar la adecuación del modelo fuera de la muestra en varios niveles de regularización. Los puristas bayesianos podrían oponerse a esto porque la distribución a posteriori no tiene una interpretación clara, a menos que la distribución a priori refleje con precisión el conocimiento previo. Si bien esto es cierto, este enfoque no es necesariamente práctico para MMM. Además, no es posible obtener conocimientos del dominio y establecer una distribución a priori verdadera en cada parámetro del modelo, y la inferencia bayesiana debe interpretarse en función de esto.

Para obtener más información, consulta:

• Distribuciones a priori del ROI (para obtener detalles técnicos)
• Cómo ajustar la calibración del ROI (para obtener información sobre cómo establecer distribuciones a priori del ROI en función de los resultados del experimento)
• Cómo establecer el período de calibración del ROI (para usar el argumento roi_calibration_period y aplicar la distribución a priori del ROI a un período más corto).