過去のテストを基にカスタムの ROI 事前分布を設定する

メリディアンでは、費用対効果の調整用の分布を渡す必要があります。以前のテスト結果を使用してカスタムの事前分布を設定する方法に問題はありませんが、その場合は事前に考慮すべき注意点がいくつかあります。次に例を示します。

• MMM の期間を基準としたテストのタイミング: MMM の期間の前または後にテストを実施した場合、その結果は直接適用できないことがあります。

• テストの期間: テストの期間が短いと、マーケティング効果の長期的な影響を効果的に把握できない可能性があります。

• テストの複雑さ: テストに複数のチャネルが含まれている場合、結果から個々のチャネルのパフォーマンスに関する明確な分析情報が得られないことがあります。

• エスティマンドの違い: テストで使用されるエスティマンドは、MMM で使用されるものとは異なる場合があります。たとえば、MMM の反事実的条件法は費用ゼロですが、一部のテストでは、費用の削減など、異なる反事実的条件法が使用される場合があります。

• 人口の違い: テストのターゲットとする人口は、MMM で考慮される人口とは異なる場合があります。

チャネルの効果に関する仮説に基づいて、カスタムの事前分布を設定することをおすすめします。事前仮説については、テストやその他の信頼できる分析データなど、さまざまな情報源から情報を得ることができます。その事前仮説の信頼度を、事前分布の標準偏差に活かします。

• チャネルの効果についての仮説に対し、強い確信がある場合は、事前分布の標準偏差に調整係数を適用し、信頼度を反映させることができます。たとえば、特定のチャネルに対して複数のテストを行い、すべてのテストで類似した費用対効果ポイントの推定値が得られた場合や、そのチャネルの有効性を裏付ける過去の MMM 分析のデータがある場合などです。このケースでは、分布が大きく変動しないように、事前分布の標準偏差を小さく設定できます。そのように分布を狭くすると、テスト結果に対する信頼度が高いという意味になります。

• 逆に、前述の注意点によっては、テスト結果が MMM に変換されないこともあります。その場合は、調整係数を事前分布の標準偏差に適用することもできます。たとえば、懐疑的な場合は、その程度に応じて事前分布の標準偏差を大きめに設定できます。

ModelSpec で roi_calibration_period 引数を使用することをおすすめします。詳細については、費用対効果調整期間の設定をご確認ください。

事前分布の設定には LogNormal 分布がよく使用されます。次のサンプルコードを使用すると、テストの平均値と標準誤差を LogNormal の事前分布に変換できます。

import numpy as np

def estimate_lognormal_dist(mean, std):
  """Reparameterization of lognormal distribution in terms of its mean and std."""
  mu_log = np.log(mean) - 0.5 * np.log((std/mean)**2 + 1)
  std_log = np.sqrt(np.log((std/mean)**2 + 1))
  return [mu_log, std_log]

ただし、以前のテスト結果がゼロに近い場合は、LogNormal 分布などの負ではない分布によって、事前仮説が正確に表されているかどうかを確認する必要があります。分析を進める前に、事前分布をプロットして、事前の考えと一致しているか確認することを強くおすすめします。次のサンプルコードは、再パラメータ化された LogNormal パラメータを取得し、分布を定義して、そこからサンプルを抽出する方法を示しています。

import tensorflow as tf
import tensorflow_probability as tfp

# Get reparameterized LogNormal distribution parameters
mu_log, std_log = estimate_lognormal_dist(mean, std)
mu_log = tf.convert_to_tensor(mu_log, dtype=tf.float32)
std_log = tf.convert_to_tensor(std_log, dtype=tf.float32)
# Define the LogNormal distribution
lognormal_dist = tfp.distributions.LogNormal(mu_log, std_log)
# Draw 10,000 samples
lognormal_samples = lognormal_dist.sample(10000).numpy()