Observações de validação (divisão de treinamento e teste)

A especificação do modelo do Meridian contém um argumento holdout_id (uma matriz booleana de dimensões \(G \times T\)) que pode ser usado para especificar uma amostra de validação. Os dados de KPI das observações de validação são ignorados durante o treinamento do modelo (por exemplo, amostragem de distribuição a posteriori de MCMC) e não afetam a probabilidade ou a densidade a posteriori do modelo. Os dados de mídia dessas observações ainda são usados para o treinamento do modelo porque afetam os valores de mídia de Adstock de períodos subsequentes.

O uso principal da amostra de retenção é para calcular a qualidade fora da amostra de métricas de ajuste, como R ao quadrado. Isso é útil para comparar diferentes especificações de modelos, como as vantagens da distribuição a priori, contanto que todos os modelos comparados usem a mesma amostra de validação. Não há garantia de que o modelo com o melhor ajuste fora da amostra seja o melhor para inferência causal, mas, geralmente, um modelo com melhor adequação é preferível. Especificações incorretas do modelo que levam a um ajuste ruim também podem causar viés na inferência causal.

Recomendamos usar uma amostra de validação que seja bastante equilibrada entre as regiões geográficas e os períodos. Em outras palavras, use uma amostra que tenha aproximadamente o mesmo número de observações de validação para cada região e cada período. Amostras desequilibradas podem resultar em observações de treinamento insuficientes para estimar o efeito geográfico\(\tau_g\) de determinadas regiões ou o efeito temporal \(\mu_t\) de certos períodos. Por padrão, o Meridian não especifica uma amostra de validação. Você precisa especificá-la e garantir que ela tenha um grau razoável de equilíbrio.

Evite reter grandes blocos de dados contíguos no tempo, como no fim da janela temporal da MMM, para avaliar o erro de previsão no KPI. O Meridian não foi projetado para prever o KPI, especialmente se ele tiver tendência e sazonalidade fortes. O Meridian estima o impacto da média causal e usa a abordagem baseada em nós para modelar tendências e sazonalidade. Essa abordagem precisa de dados próximos do nó para fazer uma estimativa eficaz. Se grandes blocos de dados contíguos no tempo forem retidos, não haverá dados próximos dos nós no período de validação. Nesse caso, a distribuição a posteriori do nó será impulsionada pela distribuição a priori, resultando em uma estimativa ruim.

Além disso, o Meridian pode ser usado para estimar o impacto da mídia histórica e futura porque supõe que os parâmetros do modelo que determinam o impacto da mídia são consistentes ao longo do tempo.