Acerca del MMM como metodología de inferencia causal

Ten en cuenta las siguientes generalizaciones sobre el modelado de combinación de marketing (MMM) como metodología de inferencia causal:

• El MMM es una herramienta de inferencia causal para estimar el impacto que el nivel y la asignación de tu presupuesto publicitario tienen sobre el KPI. Las estadísticas derivadas a través del MMM, como el ROI y las curvas de respuesta, tienen una interpretación causal clara, y la metodología de modelado debe ser adecuada para este tipo de análisis.

• El marco de inferencia causal ofrece importantes beneficios, que también son componentes fundamentales de cualquier análisis de MMM interpretable y válido:

  • El ROI y otras variables causales por estimar se definen claramente con la notación de resultados potenciales, que es intuitiva y matemáticamente rigurosa.

  • Se pueden identificar suposiciones necesarias y hacerse explícitas. Todos los modelos requieren suposiciones para proporcionar estimaciones válidas de las variables causales por estimar.

• Es de conocimiento general que los experimentos aleatorizados se consideran la forma ideal para estimar los efectos causales. Sin embargo, el MMM es un ejemplo de inferencia causal a partir de datos observables.

• El MMM ofrece importantes ventajas sobre los experimentos:

  • En el caso de la publicidad, muchos diseños experimentales requieren datos individuales a nivel del usuario que no cumplen con los estándares de privacidad modernos. El MMM usa datos observacionales a un nivel agregado que resguarda la privacidad.

  • Los experimentos suelen ser difíciles de ejecutar debido al costo y la falta de practicidad. Por otro lado, los datos observacionales son fáciles de obtener.

  • Los experimentos suelen estar diseñados para estimar una cantidad específica. En publicidad, por ejemplo, un experimento geográfico podría estar diseñado para estimar el ROAS de un canal específico, como la TV. Un modelo de inferencia causal, como el MMM, puede proporcionar muchas estadísticas, como el ROI de cada canal de medios, las curvas de respuesta completas y la asignación del presupuesto, todo sin necesidad de un diseño experimental complejo y riguroso que podría resultar poco práctico.

Suposiciones inverificables y verificables

Debido a que el MMM se basa en datos observacionales, requiere suposiciones estadísticas que no son necesarias en la mayoría de los experimentos. Estas suposiciones se pueden clasificar como inverificables y verificables.

¿Por qué son importantes estas suposiciones desde un punto de vista práctico? Varios modelos pueden tener una buena capacidad de predicción y ajuste, y aun así proporcionar diferentes resultados de ROI y optimización, lo que dificulta la elección del modelo más adecuado.

Suposiciones inverificables

• Una condición conocida como intercambiabilidad condicional es la principal suposición inverificable necesaria para que un modelo de regresión de MMM proporcione resultados precisos de inferencia causal. Esta condición es inverificable porque no hay una manera estadística de determinar su validez solo a partir de datos observacionales.

• En general, la intercambiabilidad condicional significa que el conjunto de variables de control tiene las siguientes características:

  • Incluye todas las variables de confusión, es decir, aquellas que afectan causalmente la ejecución de los medios y el KPI.

  • Excluye las variables mediadoras, es decir, aquellas que se encuentran en la cadena causal entre los medios y el KPI.

• Se puede usar un gráfico causal para justificar la suposición de intercambiabilidad condicional. El gráfico causal debe crearse en función del conocimiento experto del dominio, ya que no hay una prueba estadística para determinar su estructura correcta solo a partir de datos observacionales.

• En realidad, la suposición de intercambiabilidad nunca se cumple a la perfección. Se aplica el principio clásico de que "todos los modelos son incorrectos, pero algunos son útiles".

Suposiciones verificables

• Las suposiciones verificables incluyen todo lo relacionado con la estructura matemática del modelo. Considera lo siguiente:

  • ¿Cómo se representan los efectos de los medios en el modelo, incluidos los efectos rezagados y la disminución de los retornos?

  • ¿Cómo se modelan las variables de control?, ¿se requieren transformaciones no lineales?

  • ¿Cómo se modelan las tendencias y la estacionalidad?

• Las suposiciones verificables se pueden evaluar en cierta medida con las métricas de adecuación del ajuste, incluidas las métricas predictivas, como el coeficiente de determinación R² fuera de la muestra. Sin embargo, ten en cuenta lo siguiente:

  • Las métricas de adecuación del ajuste no ofrecen un panorama completo de qué tan adecuado es un modelo para la inferencia causal. Además, es probable que el mejor modelo para la inferencia causal no sea el mismo que el más apropiado para la predicción.

  • Cuantos más modelos candidatos compares, mayor será el riesgo de sobreajuste. Por ejemplo, el modelo más adecuado no es el que parece tener el mejor ajuste fuera de la muestra.

  • No hay un umbral para el coeficiente de determinación R² ni para otras métricas que permita determinar si un modelo es adecuado o no. Un modelo con un coeficiente de determinación R² fuera de la muestra del 99% puede ser poco adecuado para la inferencia causal.

Conclusiones

Dados los principios fundamentales de la inferencia causal basada en datos observacionales, no existe una única solución adecuada y definitiva en lo que respecta al MMM. Recomendamos a todos los profesionales del MMM que adopten un enfoque crítico hacia este tipo de modelado en el marco de la inferencia causal, sin importar si usan Meridian o cualquier otra solución. La misión de Meridian es ofrecerte la mayor claridad posible sobre qué es el MMM, cómo funciona y cómo debes interpretar tus resultados.