À propos de la MMM en tant méthodologie d'inférence causale

Tenez compte des généralisations suivantes concernant la modélisation du mix marketing (MMM, Marketing Mix Modeling) en tant que méthodologie d'inférence causale :

  • MMM est un outil d'inférence causale qui permet d'estimer l'impact du niveau et de la répartition de votre budget publicitaire sur les KPI. Les insights issus de la MMM, tels que le ROI et les courbes de réponse, donnent une interprétation causale claire, et la méthodologie de modélisation doit être adaptée à ce type d'analyse.

  • Le framework d'inférence causale offre des avantages importants, qui constituent aussi des composants essentiels de toute analyse MMM valide et interprétable :

    • Le ROI et les autres estimands causaux sont clairement définis à l'aide de la notation des résultats potentiels, qui est à la fois intuitive et mathématiquement rigoureuse.

    • Les hypothèses nécessaires peuvent être déterminées et rendues transparentes. Tous les modèles nécessitent des hypothèses pour fournir des estimations valides des estimands causaux.

  • Chacun sait que les tests aléatoires sont considérés comme le moyen idéal d'estimer les effets de causalité. Cependant, la MMM est un exemple d'inférence causale à partir de données d'observation.

  • La MMM présente des avantages importants par rapport aux tests :

    • Dans le cas de la publicité, de nombreuses conceptions expérimentales nécessitent des données individuelles au niveau de l'utilisateur qui ne respectent pas les normes de confidentialité actuelles. La MMM utilise des données d'observation à un niveau agrégé qui respecte la confidentialité.

    • Les tests sont souvent difficiles à réaliser pour des raisons de coût et de praticité. En revanche, les données d'observation sont facilement accessibles.

    • Les tests sont généralement conçus pour estimer une quantité spécifique. Dans la publicité, par exemple, un test géographique peut être conçu pour estimer le ROAS d'un canal spécifique, comme la TV. Un modèle d'inférence causale, tel que la MMM, peut fournir de nombreux insights comme le ROI pour chaque canal média, des courbes de réponse complètes et la répartition du budget, sans avoir besoin d'une conception de test complexe et rigoureuse qui pourrait s'avérer peu pratique.

Hypothèses testables et non testables

La MMM étant basée sur des données d'observation, elle nécessite des hypothèses statistiques qui ne sont pas nécessaires pour la plupart des tests. Ces hypothèses peuvent être classées comme non testables et testables.

Pourquoi ces hypothèses sont-elles importantes d'un point de vue pratique ? Plusieurs modèles peuvent être bien adaptés et offrir de bonnes performances prédictives, mais fournir des résultats différents en termes de ROI et d'optimisation, ce qui complique le choix du meilleur modèle.

Hypothèses non testables

  • Une condition appelée "échangeabilité conditionnelle" constitue la principale hypothèse non testable requise pour qu'un modèle de régression MMM fournisse des résultats d'inférence causale précis. Cette condition n'est pas testable, car il n'existe aucun moyen statistique de déterminer sa validité uniquement à partir de données d'observation.

  • En général, l'échangeabilité conditionnelle signifie que l'ensemble de variables de contrôle :

    • inclut toutes les variables pouvant prêter à confusion, qui affectent causalement l'exécution média et le KPI ; et

    • exclut toutes les variables médiatrices, qui sont situées dans le chemin causal entre le média et le KPI.

  • Un diagramme causal peut être utilisé pour justifier l'hypothèse d'échangeabilité conditionnelle. Il doit s'appuyer sur les connaissances d'experts du domaine, car il n'existe aucun test statistique permettant de déterminer la structure appropriée du diagramme à partir de données d'observation uniquement.

  • En réalité, l'hypothèse d'échangeabilité n'est jamais parfaitement respectée. Le principe classique s'applique : "tous les modèles sont faux, mais certains sont utiles".

Hypothèses testables

  • Les hypothèses testables incluent tout ce qui concerne la structure mathématique du modèle. Prenez en compte ces éléments :

    • Comment les effets média sont-ils représentés dans le modèle, y compris les effets différés et la diminution des rendements ?

    • Comment les variables de contrôle sont-elles modélisées ? Des transformations non linéaires sont-elles requises ?

    • Comment la tendance et la saisonnalité sont-elles modélisées ?

  • Les hypothèses testables peuvent être évaluées dans une certaine mesure par des métriques de qualité d'ajustement, y compris des métriques de prédiction (coefficient de détermination hors échantillon, par exemple). Toutefois :

    • Les métriques de qualité d'ajustement ne donnent pas une image complète de la qualité d'un modèle pour l'inférence causale. Il est probable que le meilleur modèle dans ce domaine soit différent du meilleur modèle pour la prédiction.

    • Plus vous comparez de modèles candidats, plus le risque de surapprentissage est élevé. Par exemple, le meilleur modèle n'est pas celui qui semble présenter le meilleur ajustement hors échantillon.

    • Il n'existe aucun seuil pour le coefficient de détermination ou d'autres métriques qui déterminent si un modèle est bon ou mauvais. Un modèle ayant un coefficient de détermination hors échantillon de 99 % peut malgré tout être peu performant pour l'inférence causale.

Conclusions

Il n'existe pas de solution idéale pour la MMM, qui découle des principes fondamentaux de l'inférence causale à partir de données d'observation. Nous recommandons à tous les professionnels de la MMM d'avoir une réflexion critique dans un framework d'inférence causale, qu'ils utilisent Meridian ou une autre solution. La mission de Meridian est de vous fournir les informations les plus claires possible sur votre MMM, son fonctionnement et la manière d'interpréter vos résultats.