La calibration est le processus qui consiste à utiliser les résultats de tests et d'autres connaissances sur le domaine pour définir des a priori spécifiques aux canaux.
Les a priori par défaut de Meridian sont modérément informatifs. Les données peuvent comporter du bruit. Il est souvent utile de calibrer les a priori de traitement, qui vous permettent de "guider" le modèle avec vos connaissances métier réelles, qu'elles proviennent de tests rigoureux ou de vos attentes professionnelles.
Considérez un a priori calibré comme un "garde-fou". Il peut être tentant d'utiliser des garde-fous faibles, voire de s'en passer (sous la forme d'a priori non informatifs), mais cette approche est risquée et peut nuire à la qualité des résultats du modèle. Pour en savoir plus, consultez la section A priori plats et régularisation.
Par exemple, sans un a priori suffisamment fort, le modèle pourrait estimer qu'un canal avec de faibles dépenses génère des revenus considérables. La calibration des a priori permet de guider les estimations du modèle vers une plage de valeurs réaliste.
Formuler vos croyances antérieures
La calibration des a priori n'est pas un calcul exact. Elle repose sur une combinaison de données, de connaissances sur le domaine et de jugement subjectif.
Une fois votre métrique choisie, vous pouvez passer à la calibration en tenant compte des points suivants.
Utiliser des tests d'incrémentalité
Les tests d'incrémentalité constituent sans doute la base la plus solide pour forger votre intuition, mais convertir les résultats de ces tests en a priori ne relève pas d'une formule exacte.
Du test à l'a priori
Il n'existe pas de formule unique pour traduire un résultat de test en a priori. Au sens bayésien, les connaissances a priori sont définies de manière plus large et ne découlent pas nécessairement d'un calcul formel. Vous pouvez combiner différents éléments de preuve (comme les résultats de plusieurs tests ou d'autres connaissances sur le domaine) et leurs incertitudes dans une seule distribution a priori, plutôt que d'appliquer de manière rigide les résultats d'un seul test.
De plus, les tests et les MMM ont souvent des estimands et des objectifs de mesure différents. En d'autres termes, ils ne définissent pas le ROI de la même manière. Les tests sont liés aux conditions spécifiques du test, telles que la période, les zones géographiques et les paramètres de la campagne. Bien que les tests fournissent des informations très pertinentes, n'oubliez pas que leur conversion en un a priori de MMM introduit une part d'incertitude supplémentaire qui va au-delà de la simple erreur standard du test.
Pour simplifier ce workflow, Meridian propose CalibrationBuilder, un outil qui automatise la conversion des tests d'incrémentalité en a priori de ROI calibrés et offre une intégration directe à Meridian GeoX. Pour savoir comment calibrer des a priori à partir d'anciens tests et prendre en compte les différences de dépenses, de récence et de durée, consultez Définir des a priori de ROI personnalisés à l'aide d'anciens tests.
Considérations sur la pertinence
Si vous utilisez des tests antérieurs, évaluez soigneusement leur pertinence. Avant d'utiliser les résultats de tests pour définir vos a priori, posez-vous les questions suivantes :
- Récence : le test a-t-il été effectué avant, pendant ou après la période couverte par vos données MMM ? Les résultats issus d'une période différente ne sont pas forcément directement applicables.
- Durée : le test a-t-il duré suffisamment longtemps pour rendre compte des effets à long terme du marketing ? Ce n'est pas forcément le cas des tests courts.
- Précision des médias : le test mesurait-il les médias avec le même niveau de précision que la MMM ? Par exemple, utiliser un test au niveau de la campagne pour calibrer une MMM au niveau du canal.
- Différences de population : la population ciblée lors du test était-elle la même que celle prise en compte dans la MMM ?
- Complexité : si le test porte sur une combinaison de canaux, il peut être difficile d'obtenir des insights clairs sur les performances de chaque canal.
- Différences entre les estimands : le contrefactuel de la MMM correspond à des dépenses nulles, alors que certains tests peuvent définir le ROI par rapport à une autre référence, comme des dépenses réduites (un contrefactuel non nul). Les tests qui mesurent le lift marginal introduisent une incohérence entre les estimands par rapport au contrefactuel de dépenses nulles de la MMM.
Calibration automatisée avec Meridian GeoX
La méthodologie de calibration des a priori de Meridian et le framework expérimental Meridian GeoX permettent de prendre en compte ce qui suit :
- Méthode de calibration (
CalibrationBuilder) : tient automatiquement compte de la récence (via des ajustements qui ajoutent de l'incertitude aux tests plus anciens) et de la durée (via des ajustements qui mettent à l'échelle les estimations ponctuelles et augmentent l'incertitude en fonction du report lié à la diminution de l'adstock). Elle applique également des ajustements de dépenses pour tenir compte des différences d'échelle de dépenses et de précision des médias entre le test et le canal MMM modélisé. Des ajustements liés à la complexité peuvent également être effectués à l'aide des arguments d'ajustement utilisateur facultatifs. Pour en savoir plus, consultez Définir des a priori de ROI personnalisés à l'aide d'anciens tests. - Conception expérimentale de Meridian GeoX : favorise la représentativité géographique (différences de population) en utilisant l'échantillonnage stratifié sur les unités géographiques afin de s'assurer que les groupes de traitement et de contrôle sont représentatifs de la population géographique plus large modélisée dans la MMM.
Utiliser les connaissances sur le domaine et l'intuition
Dans la mesure du possible, vous pouvez et devez utiliser vos connaissances sur le domaine pour définir vos a priori. Définir des a priori consiste à faire appel à votre intuition pour déterminer une plage de valeurs plausible pour les performances de chaque canal marketing. Ce processus repose sur une combinaison de jugements éclairés, s'appuyant sur diverses sources comme les connaissances sur le domaine, les résultats précédents, les benchmarks du secteur et, en particulier, les tests d'incrémentalité.
Les tests d'incrémentalité constituent sans doute la base la plus solide pour forger votre intuition, mais convertir les résultats de ces tests en a priori ne relève pas d'une formule exacte. Même les tests ont leurs limites, et deux tests différents peuvent donner des résultats divergents. Votre a priori de ROI doit constituer une synthèse de toutes les informations dont vous disposez.
Si votre intuition concernant les performances d'un canal est limitée, il est acceptable de définir un a priori faible (c'est-à-dire avec un écart-type élevé). Toutefois, si votre intuition est plus forte, l'intégrer à l'aide d'a priori renforce votre modèle et le rend moins sensible au bruit dans les données.
En pratique, on a presque toujours une certaine intuition. Par exemple, vous estimez probablement que la probabilité d'obtenir un ROI causal de 50 est assez faible pour la plupart des canaux. Si votre entreprise a réalisé de nombreux tests au fil des ans et n'a jamais observé de ROI supérieur à 6 pour un canal spécifique, votre a priori doit en tenir compte en attribuant une probabilité très faible aux valeurs de ROI supérieures à 6. Utilisez toutes les informations dont vous disposez pour définir vos a priori.
Quelle que soit la manière dont vous définissez vos a priori, nous vous recommandons systématiquement de les tracer sous forme de graphique et d'en examiner les centiles. Demandez-vous si ces probabilités sont cohérentes avec vos attentes. Par exemple, si 80 % de votre distribution de probabilité a priori est supérieure à un ROI de 1,0, cela correspond-il à votre niveau de confiance initial dans la rentabilité du canal ?
Utilisez votre niveau de confiance pour définir l'écart-type de l'a priori
Utilisez la force de votre croyance antérieure pour définir l'écart-type de l'a priori. Si vous êtes convaincu de l'efficacité d'un canal (par exemple, grâce à plusieurs tests présentant des estimations ponctuelles de ROI similaires ou à des résultats de MMM précédentes), vous pouvez définir un écart-type plus petit pour l'a priori afin d'indiquer un niveau de confiance élevé. À l'inverse, si vous avez des doutes sur la pertinence des résultats d'un test pour votre MMM, vous pouvez utiliser un écart-type plus élevé pour traduire cette incertitude. N'oubliez pas que les a priori ne sont pas des contraintes rigides, mais plutôt des points de départ. Si les données fournissent des preuves solides qui contredisent l'a priori, le modèle s'ajustera en conséquence. L'écart-type de l'a priori détermine la pondération accordée à votre conviction initiale par rapport aux preuves issues des données.
Exemples de code
Les exemples suivants montrent comment définir des a priori de ROI personnalisés dans Meridian.
Exemple : Calibrer des a priori de ROI à partir de tests
Pour savoir comment calibrer des a priori de ROI à partir de résultats de tests, consultez Définir des a priori de ROI personnalisés à l'aide d'anciens tests.
Exemple : Définir un a priori de ROI lognormal
La distribution lognormale est une distribution courante à utiliser pour un a priori de ROI. Meridian fournit deux fonctions d'assistance pour vous aider à construire des distributions lognormales à partir de connaissances a priori :
prior_distribution.lognormal_dist_from_mean_std: génère une distribution lognormale à partir d'une moyenne et d'un écart-type donnés.prior_distribution.lognormal_dist_from_range: génère une distribution lognormale dans laquelle une masse de probabilité spécifiée (telle que 95 %) est comprise entre des limites inférieure et supérieure données.
Pour construire une distribution LogNormal à partir d'une moyenne et d'un écart-type :
import numpy as np
from meridian.model import prior_distribution
mean = [1.0, 3.0] # Point estimate
std = [0.3, 2.0] # Standard deviation
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(mean, std)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
Pour construire une distribution LogNormal à partir d'une plage :
import numpy as np
from meridian.model import prior_distribution
low = [0.1, 0.5] # Range lower bound
high = [2.0, 10.0] # Range upper bound
mass_percent = 0.95 # Probability mass
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_range(
low, high, mass_percent=mass_percent
)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
Il est fortement conseillé de tracer et de visualiser les a priori personnalisés, en particulier les a priori du ROI. Cela peut vous aider à vérifier si l'a priori personnalisé correspond à vos attentes.
from matplotlib import pyplot as plt
from meridian.model import prior_distribution
import numpy as np
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(2.0, 0.5)
# Plot a histogram of samples from the LogNormal distribution
plt.hist(lognormal_dist.sample(1000))
Représenter vos a priori sous forme graphique pour confirmer qu'ils correspondent à votre intuition
Nous vous recommandons de représenter les a priori personnalisés sous forme graphique et de les visualiser, en particulier les a priori du ROI. Vous pouvez ainsi vérifier que l'a priori personnalisé correspond bien à vos attentes avant de poursuivre l'analyse.
Autres considérations à prendre en compte pour calibrer les a priori de traitement
Cette section présente des éléments supplémentaires à prendre en compte pour calibrer les a priori de traitement.
Tenir compte de la période de calibration du ROI
Vous pouvez envisager d'utiliser l'argument roi_calibration_period dans ModelSpec si vos informations a priori ne concernent qu'une période spécifique. Toutefois, nous vous recommandons de définir un a priori sur l'ensemble de la période de modélisation chaque fois que possible. Toutes les informations disponibles, y compris les tests et les connaissances sur le domaine, doivent être utilisées pour définir cet a priori. Pour en savoir plus, consultez Définir la période de calibration du ROI.
Comprendre les évolutions entre l'a priori et l'a posteriori
Comparer l'évolution des distributions entre l'a priori et l'a posteriori permet de déterminer si le modèle apprend effectivement des données ou s'il reste fortement influencé par l'a priori que vous avez calibré.
Pour en savoir plus, consultez la section sur les évolutions entre l'a priori et l'a posteriori dans les contrôles qualité post-modélisation de Meridian.