校准处理变量先验

校准是指运用实验结果及其他领域知识来设定渠道专用先验的过程。

Meridian 的默认先验信息量适中。由于数据可能存在噪声,因此,校准处理变量先验通常会有所助益,让您可以运用自己的实际业务知识(无论是来自严谨的实验,还是您的专业预期)来“引导”模型。

您可以将经过校准的先验视为一道“护栏”。虽然设置较弱的护栏甚至不设置护栏(即采用无信息先验)可能很诱人,但这往往伴随着风险,可能导致模型结果不佳。如需了解详情,请参阅平坦先验和正则化

例如,如果没有一个足够有力的先验,模型可能会估计出某一低支出渠道却带来了巨额收入。校准先验有助于将模型的估计值引导至一个符合现实的范围内。

构思先验信念

校准先验不是精确的计算,而是将数据与领域知识及主观判断相结合。

选定指标后,即可继续进行校准。校准过程中,请考虑以下事项。

运用增量实验

增量实验或许是构思直觉最强有力的依据,但将实验结果转换为先验并非一个刻板的公式。

从实验到先验

将实验结果转换为先验并没有统一的公式。贝叶斯意义上的“先验知识”定义更为宽泛,不必局限于死板的公式化计算。您可以将多项不同的证据(例如多次实验的结果或其他领域知识)及其不确定性综合融入到单一的先验分布中,而无需生搬硬套某一次实验的结果。

一种常见的方法是,将实验的点估计值用作先验平均值,并将其标准误差用作先验标准差。

借助 Meridian 的贝叶斯框架,您可以周全地将多项不同的证据(例如多次实验的结果或其他领域知识)及其不确定性综合融入到单一的先验分布中,而无需生搬硬套某一次实验的结果。

实验测得的投资回报率与 MMM 测得的投资回报率

从统计学角度看,实验和 MMM 具有不同的被估量和衡量目标,也就是说,它们以不同的方式定义投资回报率 (ROI)。

实验测得的投资回报率很少与 MMM 测得的投资回报率完全一致。(从统计学角度来说,实验和 MMM 会得出不同的被估量。)实验结果往往与实验的具体条件相关,例如时间范围、地理区域、广告系列设置。

虽然实验结果能提供高度相关的信息,但请记住,将其转换为 MMM 先验时,除了实验本身的标准误差外,还会引入一层额外的不确定性。

相关性注意事项

如果使用过往实验,请仔细考量其相关性。在根据实验结果确定先验之前,请先问自己以下几个问题:

  • 时间:实验是在您的 MMM 数据涵盖的时间段之前、期间还是之后进行的?不同时间段的结果可能无法直接应用。
  • 时长:实验持续的时长是否足以捕捉到营销的长期效应?持续较短的实验可能无法做到这一点。
  • 复杂程度:如果实验涉及多个渠道,可能很难清楚地了解单个渠道的效果。
  • 被估量差异:MMM 的反事实情形是支出为零,而某些实验可能会根据不同的基准来定义投资回报率,例如以支出减少作为参照。。
  • 人口差异:实验所针对的群体是否与 MMM 中考量的群体一致?

运用领域知识和直觉

只要条件允许,您完全可以且应当运用领域知识来优化先验。设定先验,本质上就是运用您的直觉,为每个营销渠道的效果界定一个合理的取值范围。此过程依赖于综合性的判断,并借鉴各种来源的信息,例如领域知识、以往的结果、行业基准,尤其是增量实验。

增量实验或许是构思直觉最强有力的依据,但将实验结果转换为先验并非一个刻板的公式。即使实验本身也有其局限性,且不同的实验可能会产生不同的结果。您的投资回报率先验应该是您掌握的所有信息的综合体现。

如果您对某个渠道效果的直觉较弱,设置一个弱先验(即标准差较大的先验)是可以接受的。然而,当您的直觉较为强烈时,通过先验纳入直觉可使模型更强大,且不易受到数据中噪声的干扰。

在实践中,您几乎总是有着某种直觉。例如,您直觉上可能就会认为,对于大多数渠道而言,因果性投资回报率达到 50 的概率微乎其微。如果您公司多年来运行了许多实验,但从未观察到某个特定渠道的投资回报率超过 6,那么您的先验就应反映这一点,即为超过 6 的投资回报率值赋予极低的概率。请运用您掌握的所有信息来确定先验。

无论您如何设定先验,我们始终建议您将其绘制成图表,并仔细查看其百分位数。问问自己:这些概率分布是否符合您的预期?举例来说,如果您的先验概率分布中有 80% 的概率指向投资回报率大于 1.0,这是否体现了您在分析前对该渠道盈利能力的信心?

依据置信度设置先验的标准差

可以根据先验信念的强度来确定先验的标准差。如果您对某个渠道的效果有很强的信心(例如,基于多次实验得出的相似投资回报率点估计值,或过往 MMM 的结果),则可以为先验设置一个较小的标准差,以此体现您的强烈信心。相反,如果您对实验结果在 MMM 中的适用性心存疑虑,可以调大标准差,以此来体现这种不确定性。请记住,先验并非刚性约束,而是起点。如果数据中出现了与先验强烈矛盾的有力证据,模型会做出相应调整;而先验标准差的大小,则决定了模型在您的初始信念与数据证据之间的权衡取舍。

平坦先验和正则化

在 Meridian 中,将信息量充足的先验视为一种数学形式的正则化会很有帮助。正则化是统计建模中的一种技术,它通过引入额外的信息或约束,来防止模型因过度拟合噪声数据而失真。

常见的正则化方法(如岭回归或 LASSO 回归)一般通过将估计值向零收缩来对其进行约束。Meridian 的贝叶斯框架提供了一种更灵活的方法,即使用先验本身来执行正则化。信息量充足的先验并非默认将估计值向零收缩,而是通过正则化将模型引导至一个基于业务知识或历史数据得出的符合实际的取值范围内。

依靠先验来对模型进行正则化处理至关重要,因为当数据有限或缺乏清晰信号时,先验能为模型提供必不可少的数学支点。对于那些缺乏过往实验数据的渠道,使用平坦的无信息先验或许颇具诱惑力,但这样做会失去这种稳定效应,可能导致估计值波动剧烈或不可靠。如果您没有过往的实验结果或业务直觉,请从 Meridian 的默认先验开始。这些默认值可作为合理的起点,能够有效地对模型起到正则化作用。寻找理想的正则化程度通常是一个不断迭代的过程,需要尝试不同的正则化强度,并观察模型在样本外数据上的拟合表现。

代码示例

以下示例演示了如何在 Meridian 中定义和使用先验分布。

示例:结合直觉或实验数据定义对数正态先验

Meridian 提供了两个辅助函数,可帮助您根据实验数据或其他先验知识构建对数正态分布:

请访问此页面,了解如何根据直觉或实验定义对数正态先验。

示例:根据实验结果对投资回报率校准进行调优

如需了解如何根据实验结果设置投资回报率先验,请参阅配置付费媒体先验

绘制您的先验以确认其符合直觉

建议您绘制自定义先验(尤其是投资回报率先验)并将其可视化。这有助于您在继续分析之前,核查自定义先验是否符合您的预期。

校准处理变量先验的其他注意事项

本部分包含校准处理变量先验时的其他注意事项。

考虑投资回报率校准周期

如果您的先验信息仅与特定时间段相关,可以考虑使用 ModelSpec 中的 roi_calibration_period 实参。不过,建议尽可能针对整个建模时间窗口设置先验。应运用所有可用的信息(包括实验和领域知识)来设置此先验。如需了解详情,请参阅设置投资回报率校准周期

了解先验-后验偏移

通过比较先验分布和后验分布之间的偏移,可以确定模型是在从数据中学习,还是受到您所校准先验的强烈影响。

如需了解详情,请参阅 Meridian 建模后质量检查中的“先验-后验偏移”。