Cómo establecer distribuciones a priori del ROI personalizadas con experimentos anteriores

Meridian requiere que se aprueben las distribuciones para la calibración del ROI. Si bien configurar distribuciones a priori personalizadas con los resultados de experimentos anteriores es un enfoque sólido, hay muchos matices que se deben tener en cuenta antes de continuar. Por ejemplo:

• El tiempo del experimento en relación con el período del MMM: Si el experimento se realizó antes o después del período del MMM, es posible que los resultados no se puedan aplicar directamente.

• La duración del experimento: Es posible que un experimento de corta duración no capture de manera eficaz los efectos a largo plazo de la efectividad del marketing.

• La complejidad del experimento: Si el experimento involucró una combinación de canales, es posible que los resultados no proporcionen estadísticas claras sobre el rendimiento de los canales individuales.

• Diferencias en los estimandos: Los estimandos que se usan en los experimentos pueden diferir de los que se usan en el MMM. Por ejemplo, la situación contrafáctica del MMM es una inversión nula, mientras que algunos experimentos podrían tener otra situación contrafáctica, como una inversión reducida.

• Diferencias en la población: Es posible que la población objetivo del experimento no sea la misma que la considerada en el MMM.

Te recomendamos que configures las distribuciones a priori personalizadas en función de tu creencia en la efectividad de un canal. Una creencia previa puede estar basada en muchos factores, incluidos los experimentos o bien otros análisis confiables. Usa la intensidad de esa creencia previa para fundamentar la desviación estándar de la distribución a priori:

• Si crees firmemente en la efectividad de un canal, puedes aplicar un factor de ajuste a la desviación estándar de la distribución a priori que refleje tu confianza. Por ejemplo, supongamos que realizaste varios experimentos para un canal en particular y todos ellos arrojaron estimaciones puntuales del ROI similares, o bien que tienes datos históricos de análisis del MMM anteriores que respaldan la efectividad de ese canal. En ese caso, podrías establecer una desviación estándar más pequeña para la distribución a priori, de modo que la distribución no varíe mucho. Esta distribución más ajustada indica que tienes una gran confianza en los resultados experimentales.

• Por el contrario, teniendo en cuenta algunos de los matices mencionados anteriormente, es posible que el experimento no se corresponda necesariamente con el MMM. En ese caso, podrías optar por aplicar un factor de ajuste a la desviación estándar de la distribución a priori. Por ejemplo, podrías establecer una desviación estándar más grande para la distribución a priori, según tu nivel de escepticismo.

Considera usar el argumento roi_calibration_period en ModelSpec. Para obtener más información, consulta Cómo establecer el período de calibración del ROI.

Cuando se establece la distribución a priori, se suele usar la distribución LogNormal. El siguiente código de muestra se puede usar para transformar la media y el error estándar del experimento en la distribución a priori LogNormal:

import numpy as np

def estimate_lognormal_dist(mean, std):
  """Reparameterization of lognormal distribution in terms of its mean and std."""
  mu_log = np.log(mean) - 0.5 * np.log((std/mean)**2 + 1)
  std_log = np.sqrt(np.log((std/mean)**2 + 1))
  return [mu_log, std_log]

Sin embargo, si los resultados de los experimentos anteriores están cerca de cero, debes considerar si tus creencias previas están representadas con exactitud por una distribución no negativa, como la distribución LogNormal. Te recomendamos que generes un gráfico de la distribución a priori para confirmar que coincida con tus intuiciones anteriores antes de continuar con el análisis. En el siguiente código de muestra, podrás ver cómo obtener parámetros LogNormal reparametrizados, definir la distribución y extraer muestras de ella.

import tensorflow as tf
import tensorflow_probability as tfp

# Get reparameterized LogNormal distribution parameters
mu_log, std_log = estimate_lognormal_dist(mean, std)
mu_log = tf.convert_to_tensor(mu_log, dtype=tf.float32)
std_log = tf.convert_to_tensor(std_log, dtype=tf.float32)
# Define the LogNormal distribution
lognormal_dist = tfp.distributions.LogNormal(mu_log, std_log)
# Draw 10,000 samples
lognormal_samples = lognormal_dist.sample(10000).numpy()