ROI 事前分布と調整

ROI 事前分布を使用すると、過去のテスト結果などの専門知識をモデルに直感的に組み込むことができるため、モデルのトレーニング プロセスの参考になります。

ROI のテスト結果を使用してチャネル固有の ROI 事前分布を設定することを、メリディアンでは「調整」と呼んでいます。ROI 事前分布を利用するのに、テスト結果は必要ありません。ROI 事前分布は、情報を伝えるためにどのようなデータが利用可能なのかにかかわらず推奨されるアプローチです。

ROI 事前分布により、効果的な係数の事前分布が、各チャネルの費用に応じた適切なスケールになります。係数の事前分布は無情報事前分布よりも優れていると思われがちですが、そうではありません。すべてのチャネルで同じ無情報係数事前分布を使用すると、事実上それらのチャネルに対して大幅に異なる ROI 事前分布を適用することになり、その差は桁違いに大きくなる可能性があります。

ROI 事前分布を設定するときに考慮すべき重要な事項は次のとおりです。

• テスト結果を事前分布に変換する公式は特にありません。選択肢の一つとして、テストの点推定値と標準誤差を、事前分布の平均値と標準誤差に合わせる方法が挙げられます（過去のテストを基にカスタムの事前分布を設定するの例をご覧ください）。ただし、ベイズ推定における事前知識はより広範に定義されており、定式化された計算である必要はありません。他の専門知識をテスト結果と組み合わせて使用すると、事前分布を主観的に設定できます。

• メリディアンのデフォルトの ROI 事前分布は対数正規分布です。この分布がデフォルトとして選択されたのは、平均と標準偏差の両方を制御できる 2 つのパラメータがあるためです。ただし、対数正規分布の代わりに、任意の数のパラメータを持つ分布を使用することもできます。通常、負の ROI 値を許可することはおすすめしません。事後分散が大きくなり、過剰適合につながるおそれがあるためです。

• テストで測定した ROI と MMM で測定した ROI が完全に一致することは決してありません（統計用語で言うと、テストと MMM ではエスティマンドが異なります）。テストは常に、期間、地域、キャンペーン設定など、テストの特定の条件に関連しています。テスト結果から MMM の ROI に関連性の高い情報を得ることができますが、テスト結果を MMM の事前分布に変換する場合、テストの標準誤差を超える不確実性が生じます。

• 事前分布、特に事前標準偏差を設定する際は、次の点に注意してください。

  • 通常、バイアスと分散の適切なトレードオフを実現するには、ある程度の正則化が必要になります。事前テストを実施していないチャネルに対して、フラットで情報のない事前分布を使用したいと考えるモデル作成者もいるかもしれませんが、これは過剰適合や不十分な結果（バイアスは小さいが分散が大きい）につながる可能性があります。

  • 適切な正則化の程度を見つけるには、さまざまな正則化の強さでサンプル外のモデルの適合度をチェックする反復的なプロセスが必要になる場合があります。事前分布が事前知識を正確に反映していない限り、事後分布には明確な解釈がないため、ベイズ理論を厳密に捉える人はこれに反対するかもしれません。とはいえ、MMM ではそのようなアプローチは必ずしも実用的ではありません。さらに、専門知識を得てモデル内のパラメータ一つひとつに正しい事前分布を設定することは不可能です。ベイズ推定はそのことを踏まえて解釈する必要があります。

詳しくは以下をご覧ください。

• 技術的な詳細については、ROI 事前分布に関するページをご覧ください。
• テスト結果に基づいて ROI 事前分布を設定する方法については、ROI の調整をチューニングするをご覧ください。
• roi_calibration_period 引数を使用して ROI 事前分布を短い期間に適用する方法については、ROI の調整期間を設定するをご覧ください。