A calibragem é o processo de usar resultados de experimentos e outros conhecimentos do domínio para definir distribuições a priori específicas do canal.
As distribuições a priori padrão do Meridian são moderadamente informativas. Os dados podem ser ruidosos. Muitas vezes, é útil calibrar distribuições a priori de tratamento, o que permite "guiar" o modelo com o seu conhecimento de negócios do mundo real, seja ele de experimentos rigorosos ou das suas expectativas profissionais.
Pense em uma distribuição a priori calibrada como uma grade de proteção. É tentador ter proteções fracas ou inexistentes (na forma de distribuições a priori não informativas), mas isso pode ser arriscado e levar a resultados ruins do modelo. Para mais informações, consulte Distribuições a priori uniformes e regularização.
Por exemplo, sem uma distribuição a priori razoavelmente forte, o modelo pode estimar que um canal com poucos gastos está gerando uma receita enorme. A calibragem das distribuições a priori ajuda a orientar as estimativas do modelo para um intervalo realista.
Formular as crenças a priori
A calibragem de distribuições a priori não é um cálculo preciso. Ela combina os dados com o conhecimento do domínio e um julgamento subjetivo.
Depois de escolher a métrica, você pode começar a calibragem. Ao calibrar, considere o seguinte.
Usar experimentos de incrementalidade
Os experimentos de incrementabilidade são possivelmente a base mais sólida para formular sua intuição, mas transformar os resultados em distribuições a priori não é uma fórmula precisa.
Do experimento à distribuição a priori
Não existe uma fórmula específica para transformar o resultado de um experimento em uma distribuição a priori. O pensamento bayesiano define o conhecimento de distribuições a priori de maneira mais ampla, sem precisar de fórmulas. Você pode combinar diferentes evidências, como resultados de vários experimentos ou outros conhecimentos do domínio, e as incertezas delas em uma única distribuição a priori, em vez de aplicar rigidamente o resultado de um experimento.
Além disso, os experimentos e as MMMs geralmente têm estimadores e metas de medição diferentes, ou seja, definem o ROI de maneiras distintas. Os experimentos estão relacionados a condições específicas, como período, regiões geográficas e configurações da campanha. Embora os experimentos gerem informações muito relevantes, você precisa lembrar que transformá-las em uma distribuição a priori da MMM envolve uma camada a mais de incerteza, além do erro padrão do experimento.
Para simplificar esse fluxo de trabalho, o Meridian oferece o CalibrationBuilder, que automatiza a tradução de experimentos de incrementalidade em distribuições a priori de ROI calibradas e inclui integração direta com o Meridian GeoX. Para mais detalhes sobre como calibrar distribuições a priori de experimentos anteriores e considerar diferenças em gasto, tempo para retorno e duração, consulte Definir distribuições a priori personalizadas de ROI usando experimentos anteriores.
Considerações sobre relevância
Se você estiver usando experimentos anteriores, avalie com cuidado a relevância deles. Antes de usar os resultados do experimento para informar as distribuições a priori, faça estas perguntas:
- Tempo para retorno: o experimento foi realizado antes, durante ou depois do período coberto pelos dados da MMM? Resultados de um período diferente podem não ser diretamente aplicáveis.
- Duração: o experimento durou o suficiente para capturar os efeitos de longo prazo do marketing? Os experimentos curtos podem não ter durado.
- Granularidade da mídia: o experimento mediu a mídia com a mesma granularidade da MMM? Por exemplo, usar um experimento no nível da campanha para calibrar uma MMM no nível do canal.
- Diferenças na população: a segmentação no experimento e na MMM é a mesma?
- Complexidade: se o experimento envolver uma mistura de canais, pode ser difícil conseguir insights claros sobre o desempenho do canal individual.
- Diferenças na estimativa: o contrafactual da MMM é gasto nulo, mas alguns experimentos podem definir o ROI em relação a uma referência diferente, como gasto reduzido (contrafactual diferente de zero). Os experimentos que medem o Lift marginal trazem uma incompatibilidade de estimativa com o contrafactual de gasto zero do MMM.
Calibragem automatizada com o Meridian GeoX
A metodologia de calibração de distribuições a priori do Meridian e o framework experimental do Meridian GeoX ajudam a resolver estas questões:
- Metodologia de calibragem (
CalibrationBuilder): considera automaticamente o tempo para retorno (com ajustes que adicionam incerteza a experimentos mais antigos) e a duração (com ajustes que escalonam estimativas pontuais e aumentam a incerteza com base no efeito residual do decaimento do Adstock). Ele também aplica ajustes de gastos para considerar as diferenças na escala de gastos e na granularidade de mídia entre o experimento e o canal de MMM modelado. Além disso, é possível fazer ajustes de complexidade usando os argumentos opcionais de ajuste do usuário. Para mais detalhes, consulte Definir distribuições a priori personalizadas de ROI usando experimentos anteriores. - Design experimental do Meridian GeoX: oferece suporte à representatividade geográfica (diferenças de população) usando amostragem estratificada em unidades geográficas para garantir que os grupos de tratamento e controle sejam representativos da população geográfica mais ampla modelada na MMM.
Usar o conhecimento e a intuição sobre o domínio
Quando possível, use o conhecimento sobre o domínio para modelar suas distribuições a priori. Definir distribuições a priori é usar sua intuição para definir um intervalo plausível de valores para a performance de cada canal de marketing. Esse processo depende de uma combinação de julgamento fundamentado, extraído de várias fontes, como conhecimento do domínio, resultados anteriores, comparativos de mercado e, principalmente, experimentos de incrementalidade.
Os experimentos de incrementabilidade são possivelmente a base mais sólida para formular sua intuição, mas transformar os resultados em distribuições a priori não é uma fórmula precisa. Mesmo os experimentos têm limitações podem gerar resultados diferentes. Sua distribuição a priori de ROI precisa ser uma síntese de todas as informações disponíveis.
Se você não tiver muita certeza sobre a performance de um canal, defina uma distribuição a priori fraca (com um grande desvio padrão). No entanto, quando sua intuição é mais forte, incorporá-la usando distribuições a priori torna seu modelo mais eficiente e menos suscetível a ruídos nos dados.
Na prática, quase sempre temos alguma intuição. Por exemplo, você provavelmente acredita que a probabilidade de um ROI causal de 50 é bastante baixa para a maioria dos canais. Se a sua empresa realizou muitos experimentos ao longo dos anos e nunca observou um ROI maior que 6 para um canal específico, a distribuição a priori deve refletir isso atribuindo uma probabilidade muito baixa a valores de ROI maiores que 6. Use os insights disponíveis para alimentar suas distribuições a priori com dados.
Não importa como você define as distribuições a priori, sempre recomendamos criar um gráfico e examinar os percentis delas. Pergunte a você mesmo se as probabilidades estão alinhadas às suas expectativas. Por exemplo, se 80% da sua distribuição de probabilidade a priori for maior que um ROI de 1,0, isso vai refletir sua confiança a priori na lucratividade do canal?
Usar seu nível de confiança para definir o desvio padrão da distribuição a priori
Use a solidez da sua crença a priori para informar o desvio padrão da distribuição a priori. Se você acredita muito na eficácia de um canal (por exemplo, com base em vários experimentos com estimativas de ponto de ROI semelhantes ou resultados de MMMs anteriores), defina um desvio padrão menor para a distribuição a priori e indique um alto nível de confiança. Por outro lado, se você tiver dúvidas sobre a aplicabilidade dos resultados de um experimento à MMM, use um desvio padrão maior para refletir essa incerteza. As distribuições a priori não são restrições rígidas, mas pontos de partida. Se os dados apresentarem evidências fortes que contradizem a distribuição a priori, o modelo será ajustado de acordo. O desvio padrão da distribuição a priori determina o peso que é dado à sua crença inicial em comparação com as evidências nos dados.
Exemplos de código
Os exemplos a seguir mostram como definir distribuições a priori personalizadas de ROI no Meridian.
Exemplo: calibrar distribuições a priori de ROI com base em experimentos
Consulte Definir distribuições a priori personalizadas de ROI usando experimentos anteriores para saber como calibrar distribuições a priori de ROI com base nos resultados do experimento.
Exemplo: definir uma distribuição a priori log-normal de ROI
A distribuição log-normal é comum para uma distribuição a priori de ROI. O Meridian oferece duas funções auxiliares para ajudar você a criar distribuições log-normal com base em conhecimentos prévios:
prior_distribution.lognormal_dist_from_mean_std: cria uma distribuição log-normal com base em uma média e um desvio padrão.prior_distribution.lognormal_dist_from_range: cria uma distribuição log-normal em que uma massa de probabilidade especificada (como 95%) fica dentro de um limite inferior e superior.
Para criar uma distribuição LogNormal com base em uma média e um desvio padrão:
import numpy as np
from meridian.model import prior_distribution
mean = [1.0, 3.0] # Point estimate
std = [0.3, 2.0] # Standard deviation
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(mean, std)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
Para criar uma distribuição LogNormal com base em um intervalo:
import numpy as np
from meridian.model import prior_distribution
low = [0.1, 0.5] # Range lower bound
high = [2.0, 10.0] # Range upper bound
mass_percent = 0.95 # Probability mass
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_range(
low, high, mass_percent=mass_percent
)
# Define the PriorDistribution object
prior = prior_distribution.PriorDistribution(roi_m=lognormal_dist)
É altamente recomendável criar gráficos e visualizar distribuições a priori personalizadas, principalmente de ROI. Isso ajuda a verificar se a distribuição a priori personalizada está alinhada com suas expectativas.
from matplotlib import pyplot as plt
from meridian.model import prior_distribution
import numpy as np
# Define the LogNormal distribution
lognormal_dist = prior_distribution.lognormal_dist_from_mean_std(2.0, 0.5)
# Plot a histogram of samples from the LogNormal distribution
plt.hist(lognormal_dist.sample(1000))
Criar gráficos das distribuições a priori para confirmar se elas correspondem à intuição
Recomendamos criar gráficos e visualizar distribuições a priori personalizadas, principalmente de ROI. Isso ajuda a verificar se a distribuição a priori personalizada está alinhada com suas expectativas antes de prosseguir com a análise.
Outras considerações para calibrar distribuições a priori de tratamento
Esta seção contém outras considerações sobre a calibragem das distribuições a priori de tratamento.
Considerar o período de calibragem do ROI
Considere usar o argumento roi_calibration_period em ModelSpec se as informações a priori forem relevantes apenas para um período específico. No entanto, é recomendável definir uma distribuição a priori no período completo de modelagem sempre que possível. Todas as informações disponíveis, incluindo experimentos e conhecimento do domínio, devem ser usadas para definir essa distribuição. Para mais informações, consulte Definir o período de calibragem do ROI.
Sobre as mudanças das distribuições a priori e a posteriori
Comparar as mudanças entre as distribuições a priori e a posteriori pode informar se o modelo está aprendendo com os dados ou sendo fortemente influenciado pela distribuição a priori calibrada.
Para saber mais, confira as mudanças de distribuição a priori e a posteriori nas verificações de qualidade pós-modelagem do Meridian.