Calibragem e distribuições a priori de ROI

As distribuições a priori de ROI oferecem uma maneira intuitiva de incorporar conhecimento do domínio ao modelo, como resultados de experimentos anteriores, para orientar o processo de treinamento.

O Meridian chama de calibragem o uso dos resultados de experimentos de ROI para definir distribuições a priori de ROI específicas do canal. Os resultados de experimentos não são necessários para usar distribuições a priori de ROI. Elas são a abordagem recomendada independente dos dados disponíveis.

As distribuições a priori de ROI garantem que a distribuição de coeficiente eficaz esteja em uma escala adequada em relação ao gasto de cada canal. É comum achar que as distribuições a priori de coeficiente criam distribuições não informativas melhores, mas não é verdade. Usar a mesma distribuição a priori de coeficiente não informativa em todos os canais significa colocar neles distribuições a priori de ROI com diferenças de ordem de grandeza.

Considerações importantes ao definir as distribuições a priori de ROI:

• Não existe uma fórmula específica para transformar o resultado de um experimento em uma distribuição a priori. Uma opção é alinhar a estimativa pontual e o erro padrão do experimento com a média e o erro padrão da distribuição (exemplo: Definir distribuições a priori personalizadas usando experimentos anteriores). No entanto, o pensamento bayesiano define o conhecimento de distribuições a priori de maneira mais ampla, sem precisar de fórmulas. Outros conhecimentos do domínio podem ser usados com os resultados do experimento para definir as distribuições de modo subjetivo.

• A distribuição a priori padrão de ROI no Meridian é lognormal e foi escolhida porque tem dois parâmetros, o que dá controle sobre a média e o desvio padrão. No entanto, qualquer distribuição com qualquer número de parâmetros pode ser usada. Geralmente, não recomendamos permitir valores negativos de ROI para não inflar a variância da distribuição a posteriori e gerar overfitting.

• Os valores de ROI medidos por um experimento e pela MMM nunca são perfeitamente alinhados. Em termos estatísticos, o experimento e a MMM têm estimadores diferentes. Os experimentos estão sempre relacionados a condições específicas, como período, regiões geográficas e configurações da campanha. Os resultados podem fornecer informações muito relevantes sobre o ROI da MMM, mas transformá-los em uma distribuição a priori da MMM envolve uma camada a mais de incerteza além do erro padrão do experimento.

• Ao definir distribuições a priori e especialmente desvios padrão:

  • Geralmente, é necessário ter um certo grau de regularização para alcançar uma compensação de viés-variância adequada. Embora alguns modeladores sejam propensos a usar distribuições a priori constantes e não informativas para canais sem experimentos, isso pode gerar overfitting e resultados ruins (baixo viés, mas alta variância).

  • Encontrar um grau adequado de regularização pode ser um processo iterativo que envolve verificar o ajuste do modelo fora da amostra em vários níveis. Puristas bayesianos são contra isso porque a distribuição a posteriori só tem uma interpretação clara quando a distribuição a priori reflete precisamente o próprio conhecimento. No entanto, essa abordagem não é necessariamente prática para a MMM. Além disso, é inviável ter conhecimento do domínio e definir uma distribuição a priori verdadeira em cada parâmetro do modelo, e a inferência bayesiana deve ser interpretada adequadamente.

Para mais informações, consulte:

• Distribuições a priori de ROI para detalhes técnicos.
• Ajustar a calibragem do ROI para saber como definir distribuições a priori de ROI com base nos resultados do experimento.
• Definir o período de calibragem do ROI para usar o argumento roi_calibration_period e aplicar a distribuição a priori de ROI a uma janela menor.