Rejoignez la nouvelle communauté
Discord pour discuter en temps réel, obtenir l'aide de vos pairs et communiquer directement avec l'équipe Meridian.
A priori et calibration du ROI
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Les a priori de ROI offrent un moyen intuitif d'intégrer des connaissances sur le domaine (comme les résultats d'anciens tests) dans votre modèle pour guider le processus d'entraînement du modèle.
Lorsque les résultats des tests de ROI sont utilisés pour définir des a priori de ROI spécifiques aux canaux, Meridian parle de calibration. Il n'est pas nécessaire d'avoir des résultats de tests pour utiliser les priors de ROI. Nous vous recommandons d'opter pour les priors de ROI quelles que soient les données disponibles pour les définir.
Les priors de ROI garantissent que le prior du coefficient effectif est adapté à l'échelle relative des dépenses pour chaque canal. Il peut être tentant de penser que les priors de coefficient sont de meilleurs priors non informatifs, mais ce n'est pas le cas. Si vous utilisez le même prior de coefficient non informatif sur tous les canaux, vous placez en fait des priors de ROI très différents sur ces canaux, qui peuvent différer de plusieurs ordres de grandeur.
Voici quelques points importants à prendre en compte lorsque vous définissez des priors de ROI :
Il n'existe pas de formule spécifique pour traduire un résultat de test en a priori.
Une option consiste à aligner l'estimation ponctuelle et l'erreur standard du test avec la moyenne et l'erreur standard de l'a priori (voir un exemple dans Définir des a priori personnalisés à l'aide d'anciens tests).
Toutefois, les connaissances des a priori, au sens bayésien, sont définies de manière plus large et ne doivent pas nécessairement être un calcul formel. D'autres connaissances du domaine peuvent être utilisées en combinaison avec les résultats de tests pour définir subjectivement les priors.
La distribution du prior de ROI par défaut de Meridian est log-normale. Cette distribution a été choisie par défaut, car elle comporte deux paramètres qui permettent de contrôler la moyenne et l'écart-type. Toutefois, n'importe quelle distribution avec un nombre quelconque de paramètres peut être utilisée à la place de la distribution log-normale. En règle générale, il est déconseillé d'autoriser des valeurs de ROI négatives, car cela peut gonfler la variance a posteriori et entraîner un surapprentissage.
Le ROI mesuré par un test ne correspond jamais parfaitement au ROI mesuré par la MMM. (En termes statistiques, le test et la MMM ont des estimands différents.) Les tests sont toujours liés aux conditions spécifiques du test, telles que la période, les régions géographiques et les paramètres de la campagne.
Les résultats d'un test peuvent fournir des informations très pertinentes sur le ROI de la MMM, mais la traduction des résultats du test en un prior de MMM implique une incertitude supplémentaire au-delà de l'erreur standard du test.
Lorsque vous définissez des distributions a priori, et en particulier des écarts-types a priori :
Notez qu'un certain degré de régularisation est généralement nécessaire pour obtenir un compromis biais/variance approprié. Bien que certains modélisateurs soient enclins à utiliser des priors plats non informatifs pour les canaux sans tests a priori, cela peut entraîner un surapprentissage et des résultats médiocres (biais faible, mais variance élevée).
Trouver un degré de régularisation approprié peut être un processus itératif qui implique de vérifier l'ajustement du modèle hors échantillon avec différents niveaux de régularisation. Les puristes bayésiens pourraient s'y opposer, car la distribution a posteriori n'a pas d'interprétation claire, sauf si la distribution a priori reflète précisément les connaissances a priori. Bien que cela soit vrai, une telle approche n'est pas nécessairement pratique pour la MMM. De plus, il est impossible d'obtenir des connaissances sur le domaine et de définir un prior réel pour chaque paramètre du modèle. L'inférence bayésienne doit donc être interprétée en conséquence.
Pour en savoir plus, consultez :
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/04 (UTC).
[null,null,["Dernière mise à jour le 2025/08/04 (UTC)."],[[["\u003cp\u003eROI priors allow you to incorporate domain knowledge, like past experiment results, to guide model training and improve accuracy.\u003c/p\u003e\n"],["\u003cp\u003eMeridian's calibration process uses channel-specific ROI priors, ideally informed by experiment results but not strictly required.\u003c/p\u003e\n"],["\u003cp\u003eWhile experiment results offer valuable insights for setting ROI priors, they should be interpreted cautiously, considering the inherent differences between experimental and MMM measurements.\u003c/p\u003e\n"],["\u003cp\u003eFinding the optimal level of regularization for your model often involves an iterative process to balance bias and variance, even if it deviates from a purely Bayesian approach.\u003c/p\u003e\n"],["\u003cp\u003eThe default Log-normal distribution for ROI priors is recommended, but other distributions can be used as long as they avoid negative ROI values to prevent overfitting.\u003c/p\u003e\n"]]],["ROI priors incorporate domain knowledge into model training, ideally using past experiment results for channel-specific *calibration*. Though, experiment data isn't mandatory for setting priors. The default log-normal distribution is recommended, avoiding negative values. Translating experiment outcomes to MMM priors involves uncertainty, as experiments don't perfectly align with MMM ROI. Setting priors, especially standard deviations, requires regularization to avoid overfitting. The degree of regularization may require iteration.\n"],null,["# ROI priors and calibration\n\nROI priors offer an intuitive way to incorporate domain knowledge, such as past\nexperiment results, into your model to help guide the model training process.\n\nWhen ROI experiment results are used to set channel-specific ROI priors,\nMeridian refers to this as *calibration*. It isn't necessary to have\nexperiment results in order to utilize ROI priors. ROI priors are the recommended\napproach regardless of what data is available to inform them.\n\nROI priors ensure that the effective coefficient prior is on a scale that is\nappropriate relative to the spend for each channel. It can be tempting to think\nthat coefficient priors make better non-informative priors, but this isn't the\ncase. If you use the same non-informative coefficient prior on all channels, you\nare effectively placing very different ROI priors on these channels that could\ndiffer by orders of magnitude.\n\nHere are some important considerations when setting ROI priors:\n\n- There is no specific formula to translate an experiment result into a prior.\n One option is to align the experiment's point estimate and standard error with\n the prior mean and standard error (see an example in [Set custom priors using\n past experiments](/meridian/docs/advanced-modeling/set-custom-priors-past-experiments)).\n However, prior knowledge in the Bayesian sense is more broadly defined, and\n doesn't need to be a formulaic calculation. Other domain knowledge can be used\n in combination with experiment results to subjectively set the priors.\n\n- Meridian's default ROI prior distribution is Log-normal. This\n distribution was chosen as the default because it has two parameters, which\n gives control over both the mean and standard deviation. However, any\n distribution with any number of parameters can be used in place of\n Log-normal. Generally, it's not recommended to allow negative ROI values\n because this can inflate the posterior variance and lead to overfitting.\n\n- The ROI measured by an experiment never aligns perfectly with the ROI measured\n by MMM. (In statistical terms, the experiment and MMM have different\n estimands.) Experiments are always related to the specific conditions of the\n experiment, such as the time window, geographic regions, campaign settings.\n Experiment results can provide highly relevant information about the MMM ROI,\n but translating experiment results to an MMM prior involves an additional\n layer of uncertainty beyond only the experiment's standard error.\n\n- When setting prior distributions, and prior standard deviations in particular:\n\n - Consider that some degree of regularization is typically necessary to\n achieve a suitable bias-variance tradeoff. Although some modelers might be\n inclined to use flat, noninformative priors for channels with no prior\n experiments, this can lead to overfitting and poor results (low bias but\n high variance).\n\n - Finding an appropriate degree of regularization can be an iterative process\n that involves checking out-of-sample model fit at various regularization\n strengths. Bayesian purists might argue against this because the posterior\n distribution doesn't have a clear interpretation unless the prior\n distribution precisely reflects prior knowledge. Although this is true, such\n an approach is not necessarily practical for MMM. Furthermore, it is\n infeasible to obtain domain knowledge and set a true prior on every single\n parameter in the model, and Bayesian inference should be interpreted\n accordingly.\n\nFor more information, see:\n\n- [ROI priors](/meridian/docs/advanced-modeling/roi-priors-and-calibration) for technical details.\n- [Tune the ROI calibration](/meridian/docs/user-guide/configure-model#tune-roi-calibration) for how to set ROI priors based on experiment results.\n- [Set the ROI calibration period](/meridian/docs/user-guide/configure-model#set-roi-calibration-period) for using the `roi_calibration_period` argument to apply your ROI prior to a narrower time window."]]
