Нойзелаб

Попробуйте это в Noise Lab

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите данные о ваших конверсиях.
3. Соблюдайте параметры по умолчанию. По умолчанию общее количество конверсий, связанных с атрибуцией, в день составляет 1000. В среднем это составляет примерно 40 на сегмент, если вы используете настройки по умолчанию (параметры по умолчанию, количество возможных различных значений по умолчанию для каждого параметра, ключевая стратегия A). Обратите внимание, что во входном параметре «Среднее ежедневное количество атрибутивных конверсий» на PER BUCKET указано значение 40.
4. Нажмите «Имитировать», чтобы запустить моделирование с параметрами по умолчанию.
5. На боковой панели «Параметры» найдите «Размеры». Переименуйте «Географию» в «Город» и измените количество возможных значений на 50.
6. Посмотрите, как это изменит Среднее ежедневное количество конверсий на ВЕДРО. Сейчас он намного ниже. Это связано с тем, что если вы увеличиваете количество возможных значений в этом измерении, не меняя ничего другого, вы увеличиваете общее количество сегментов, не изменяя при этом количество событий-конверсий, попадающих в каждый сегмент.
7. Нажмите «Имитировать».
8. Наблюдайте за коэффициентами шума полученной симуляции: коэффициенты шума теперь выше, чем для предыдущей симуляции.

Попробуйте это в Noise Lab

В простом режиме используется структура ключей по умолчанию. В расширенном режиме вы можете экспериментировать с различными структурами клавиш. Включены некоторые примеры размеров; вы также можете изменить их.

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите «Ключевая стратегия». Обратите внимание, что стратегия по умолчанию, названная в инструменте A, использует одну детализированную структуру ключей, включающую все измерения: география x идентификатор кампании x категория продукта.
3. Нажмите «Имитировать».
4. Наблюдайте за коэффициентами шума полученной симуляции.
5. Измените стратегию ключей на B. При этом отобразятся дополнительные элементы управления, позволяющие настроить структуру ключей.
6. Настройте структуру ключей, например, следующим образом:
   1. Количество ключевых структур: 2
   2. Ключевая структура 1 = География x Категория продукта.
   3. Ключевая структура 2 = идентификатор кампании x категория продукта.
7. Нажмите «Имитировать».
8. Обратите внимание, что теперь вы получаете два сводных отчета для каждого типа цели измерения (два для количества покупок, два для стоимости покупки), учитывая, что вы используете две разные ключевые структуры. Соблюдайте их коэффициент шума.
9. Вы также можете попробовать это со своими собственными размерами. Для этого найдите Данные, которые вы хотите отслеживать: Измерения. Рассмотрите возможность удаления измерений из примера и создания собственных с помощью кнопок «Добавить/Удалить/Сбросить» под последним измерением.

Попробуйте это в Noise Lab

1. Перейдите в простой режим (или расширенный режим — оба режима работают одинаково, когда дело касается частоты пакетной обработки)
2. На боковой панели «Параметры» найдите «Ваша стратегия агрегирования» > «Частота пакетной обработки». Это относится к частоте пакетной обработки агрегированных отчетов, которые обрабатываются службой агрегирования за одно задание.
3. Соблюдайте частоту дозирования по умолчанию: по умолчанию моделируется ежедневная частота дозирования.
4. Нажмите «Имитировать».
5. Наблюдайте за коэффициентами шума полученной симуляции.
6. Измените частоту дозирования на еженедельную.
7. Наблюдайте за коэффициентами шума полученной симуляции: коэффициенты шума теперь ниже (лучше), чем в предыдущей симуляции.

Попробуйте это в Noise Lab

Хотя это может быть трудно предсказать и может иметь значительные различия в дополнение к сезонным эффектам, попробуйте оценить количество ежедневных атрибутивных конверсий с одним касанием в ближайшей степени 10: 10, 100, 1000 или 10 000.

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите данные о ваших конверсиях.
3. Соблюдайте параметры по умолчанию. По умолчанию общее количество конверсий, связанных с атрибуцией, в день составляет 1000. В среднем это составляет примерно 40 на сегмент, если вы используете настройки по умолчанию (параметры по умолчанию, количество возможных различных значений по умолчанию для каждого параметра, ключевая стратегия A). Обратите внимание, что во входном параметре «Среднее ежедневное количество атрибутивных конверсий» на PER BUCKET указано значение 40.
4. Нажмите «Имитировать», чтобы запустить моделирование с параметрами по умолчанию.
5. Наблюдайте за коэффициентами шума полученной симуляции.
6. Теперь установите для параметра TOTAL число конверсий, связанных с атрибуцией за день, значение 100. Обратите внимание, что это снижает значение Среднее количество конверсий, связанных с атрибуцией за день, НА ВЕДРО.
7. Нажмите «Имитировать».
8. Обратите внимание, что коэффициенты шума теперь выше: это связано с тем, что когда у вас меньше конверсий на сегмент, для обеспечения конфиденциальности применяется больше шума.

Попробуйте это в Noise Lab

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите «Ваша стратегия агрегации» > «Масштабирование». По умолчанию установлено значение «Да».
3. Чтобы понять положительное влияние масштабирования на коэффициент шума, сначала установите для параметра «Масштабирование» значение «Нет».
4. Нажмите «Имитировать».
5. Наблюдайте за коэффициентами шума полученной симуляции.
6. Установите для параметра Масштабирование значение Да. Обратите внимание, что Noise Lab автоматически рассчитывает коэффициенты масштабирования, которые будут использоваться, с учетом диапазонов (средних и максимальных значений) целей измерения для вашего сценария. В реальной системе или исходной пробной версии вам может понадобиться реализовать собственный расчет коэффициентов масштабирования.
7. Нажмите «Имитировать».
8. Обратите внимание, что коэффициенты шума теперь ниже (лучше) во второй модели. Это потому, что вы используете масштабирование.

Попробуйте это в Noise Lab

Цель измерения – это отдельная точка данных, собранная в ходе событий-конверсий.

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите Данные, которые вы хотите отслеживать: Цели измерения. По умолчанию у вас есть две цели измерения: стоимость покупки и количество покупок.
3. Нажмите «Имитировать», чтобы запустить моделирование с целями по умолчанию.
4. Нажмите «Удалить». Это приведет к удалению последней цели измерения (в данном случае количества покупок).
5. Нажмите «Имитировать».
6. Обратите внимание, что коэффициенты шума для стоимости покупки теперь ниже (лучше) для этого второго моделирования. Это связано с тем, что у вас меньше целей измерения, поэтому ваша одна цель измерения теперь получает весь бюджет вклада.
7. Нажмите «Сбросить». Теперь у вас снова есть две цели измерения: стоимость покупки и количество покупок. Обратите внимание, что Noise Lab автоматически рассчитывает коэффициенты масштабирования, которые будут использоваться, с учетом диапазонов (средних и максимальных значений) целей измерения для вашего сценария. По умолчанию Noise Lab распределяет бюджет поровну между целями измерения.
8. Нажмите «Имитировать».
9. Наблюдайте за коэффициентами шума полученной симуляции. Обратите внимание на коэффициенты масштабирования, отображаемые при моделировании.
10. Теперь давайте настроим распределение бюджета конфиденциальности, чтобы добиться лучшего соотношения сигнал/шум.
11. Настройте процент бюджета, назначенный для каждой цели измерения. Учитывая параметры по умолчанию, цель измерения 1, а именно стоимость покупки, имеет гораздо более широкий диапазон (от 0 до 1000), чем цель измерения 2, а именно количество покупок (от 1 до 1, т. е. всегда равно 1). Из-за этого ему требуется «больше места для масштабирования»: было бы идеально выделить больший бюджет вклада для цели измерения 1, чем для цели измерения 2, чтобы его можно было масштабировать более эффективно (см. Масштабирование) и, следовательно,
12. Назначьте 70 % бюджета на цель измерения 1. Назначьте 30 % на цель измерения 2.
13. Нажмите «Имитировать».
14. Наблюдайте за коэффициентами шума полученной симуляции. Что касается покупной стоимости, коэффициенты шума теперь заметно ниже (лучше), чем в предыдущем моделировании. Что касается количества покупок, то они практически не изменились.
15. Продолжайте корректировать распределение бюджета по показателям. Посмотрите, как это влияет на шум.

Обратите внимание, что вы можете установить свои собственные цели измерения с помощью кнопок «Добавить/Удалить/Сбросить».

Попробуйте это в Noise Lab

Цель измерения – это отдельная точка данных, собранная в ходе событий-конверсий.

1. Перейдите в расширенный режим.
2. На боковой панели «Параметры» найдите «Ваша стратегия агрегации» > «Масштабирование».
3. Убедитесь, что для параметра «Масштабирование» установлено значение «Да». Обратите внимание, что Noise Lab автоматически рассчитывает используемые коэффициенты масштабирования на основе диапазонов (среднего и максимального значений), заданных вами для целей измерения.
4. Предположим, что самая крупная когда-либо совершенная покупка составила 2000 долларов, но большинство покупок происходит в диапазоне от 10 до 120 долларов. Во-первых, давайте посмотрим, что произойдет, если мы воспользуемся буквальным подходом к масштабированию (не рекомендуется): введите 2000 долларов США в качестве максимального значения для PurchaseValue.
5. Нажмите «Имитировать».
6. Обратите внимание, что коэффициент шума высокий. Это связано с тем, что наш коэффициент масштабирования в настоящее время рассчитывается на основе 2000 долларов США, тогда как на самом деле стоимость большинства покупок будет значительно ниже этой суммы.
7. Теперь давайте воспользуемся более прагматичным подходом к масштабированию. Измените максимальную стоимость покупки на 120 долларов США.
8. Нажмите «Имитировать».
9. Обратите внимание, что коэффициенты шума ниже (лучше) во второй модели.

Краткий обзор Noise Lab

Noise Lab помогает вам быстро оценить и сравнить стратегии управления шумом. Используйте его, чтобы:

• Поймите основные параметры, которые могут влиять на шум, и их влияние.
• Моделируйте влияние шума на выходные данные измерений с учетом различных проектных решений. Настраивайте параметры конструкции, пока не достигнете соотношения сигнал/шум, подходящего для вашего варианта использования.
• Поделитесь своим мнением о полезности сводных отчетов: какие значения параметров эпсилон и шума вам подходят, какие нет? Где переломные моменты?

Воспринимайте это как подготовительный этап. Noise Lab генерирует данные измерений для моделирования результатов сводного отчета на основе ваших входных данных. Он не сохраняется и не передает никаких данных.

В Noise Lab есть два разных режима:

1. Простой режим: изучите основы управления шумом.
2. Расширенный режим: протестируйте различные стратегии управления шумом и оцените, какая из них обеспечивает наилучшее соотношение сигнал/шум для ваших сценариев использования.

Нажимайте на кнопки в верхнем меню, чтобы переключаться между двумя режимами ( №1 на скриншоте ниже ).

Простой режим

• В простом режиме вы управляете параметрами (находится слева или № 2 на снимке экрана ниже ), такими как Epsilon, и смотрите, как они влияют на шум.
• Каждый параметр имеет всплывающую подсказку (кнопка `?`). Нажмите на них, чтобы увидеть объяснение каждого параметра ( №3 на скриншоте ниже ).
• Для начала нажмите кнопку «Имитировать» и посмотрите, как выглядит результат ( № 4 на скриншоте ниже ).
• В разделе «Вывод» вы можете увидеть различные детали. Рядом с некоторыми элементами есть знак `?`. Потратьте время, щелкнув каждый знак `?`, чтобы увидеть объяснение различных фрагментов информации.
• В разделе «Вывод» нажмите переключатель «Подробности», если вы хотите увидеть расширенную версию таблицы ( № 5 на снимке экрана ниже ).
• Под каждой таблицей данных в разделе вывода есть возможность загрузить таблицу для использования в автономном режиме. Дополнительно в правом нижнем углу есть возможность скачать все таблицы данных ( #6. на скриншоте ниже )
• Проверьте различные настройки параметров в разделе «Параметры» и нажмите «Имитировать», чтобы увидеть, как они влияют на выходные данные:

  

Расширенный режим

• В расширенном режиме у вас есть больше контроля над параметрами. Вы можете добавить собственные цели и параметры измерений ( №1 и №2 на скриншоте ниже ).
• Прокрутите вниз раздел «Параметры» и увидите параметр «Ключевая стратегия». Это можно использовать для тестирования различных ключевых структур ( №3 на скриншоте ниже ).
  • Чтобы протестировать различные ключевые структуры, переключите ключевую стратегию на «B».
  • Введите количество различных ключевых структур, которые вы хотите использовать (по умолчанию установлено «2»).
  • Нажмите «Создать ключевые структуры».
  • Вы увидите варианты указания структур ключей, установив флажки рядом с ключами, которые вы хотите включить в каждую структуру ключей.
  • Нажмите «Имитировать», чтобы увидеть результат.

    

    

Метрики шума

Основная концепция

Шум добавляется для защиты конфиденциальности отдельных пользователей.

Высокое значение шума указывает на то, что сегменты/ключи разрежены и содержат вклады от ограниченного числа чувствительных событий. Noise Lab делает это автоматически, чтобы позволить людям «прятаться в толпе» или, другими словами, защищает конфиденциальность этих ограниченных людей за счет большего количества дополнительного шума.

Низкое значение шума указывает на то, что настройка данных была спроектирована таким образом, что уже позволяет людям «прятаться в толпе». Это означает, что корзины содержат информацию от достаточного количества событий, чтобы обеспечить защиту конфиденциальности отдельных пользователей.

Это утверждение справедливо как для средней процентной ошибки (APE), так и для RMSRE_T (среднеквадратическая относительная ошибка с пороговым значением).

APE (средняя процентная ошибка)

APE — это отношение шума к сигналу, а именно истинное суммарное значение. p> Более низкие значения APE означают лучшее соотношение сигнал/шум.

Формула

Для данного сводного отчета APE рассчитывается следующим образом:

True — истинное суммарное значение. APE — это среднее значение шума по каждому истинному сводному значению, усредненное по всем записям сводного отчета. В Noise Lab это значение затем умножается на 100, чтобы получить процент.

Плюсы и минусы

Ковши меньшего размера оказывают непропорционально большое влияние на итоговое значение APE. Это может ввести в заблуждение при оценке шума. Вот почему мы добавили еще одну метрику, RMSRE_T, призванную смягчить это ограничение APE. Подробности смотрите в примерах .

Код

Просмотрите исходный код для расчета APE.

RMSRE_T (среднеквадратическая относительная ошибка с порогом)

RMSRE_T (среднеквадратическая относительная ошибка с порогом) — еще одна мера шума.

Как интерпретировать RMSRE_T

Более низкие значения RMSRE_T означают лучшее соотношение сигнал/шум.
Например, если коэффициент шума, приемлемый для вашего варианта использования, составляет 20 %, а RMSRE_T равен 0,2, вы можете быть уверены, что уровни шума попадают в допустимый диапазон.

Формула

Для данного сводного отчета RMSRE_T рассчитывается следующим образом:

Плюсы и минусы

RMSRE_T немного сложнее понять, чем APE. Однако у него есть несколько преимуществ, которые делают его в некоторых случаях более подходящим, чем APE, для анализа шума в сводных отчетах:

• RMSRE_T более стабилен. «Т» — порог. «T» используется для придания меньшего веса в расчете RMSRE_T сегментам, которые имеют меньше преобразований и, следовательно, более чувствительны к шуму из-за своего небольшого размера. При использовании T показатель не резко возрастает в сегментах с небольшим количеством конверсий. Если T равно 5, значение шума, равное 1, в сегменте с 0 конверсиями не будет отображаться как намного больше 1. Вместо этого оно будет ограничено значением 0,2, что эквивалентно 1/5, поскольку T равно до 5. Благодаря меньшему весу сегментов меньшего размера, которые, следовательно, более чувствительны к шуму, этот показатель становится более стабильным и, следовательно, упрощает сравнение двух моделей.
• RMSRE_T позволяет легко агрегировать. Знание RMSRE_T нескольких сегментов вместе с их истинным количеством позволяет вычислить RMSRE_T их суммы. Это также позволяет оптимизировать RMSRE_T для этих объединенных значений.

Хотя для APE агрегирование возможно, формула довольно сложна, поскольку она включает в себя абсолютное значение суммы шумов Лапласа. Это усложняет оптимизацию APE.

Код

Просмотрите исходный код для расчета RMSRE_T.

Примеры

Сводный отчет с тремя сегментами:

• ведро_1 = шум: 10, trueSummaryValue: 100
• ведро_2 = шум: 20, trueSummaryValue: 100
• ведро_3 = шум: 20, trueSummaryValue: 200

АПЕ = (0,1 + 0,2 + 0,1)/3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Сводный отчет с тремя сегментами:

• ведро_1 = шум: 10, trueSummaryValue: 100
• ведро_2 = шум: 20, trueSummaryValue: 100
• ведро_3 = шум: 20, trueSummaryValue: 20

АПЕ = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Сводный отчет с тремя сегментами:

• ведро_1 = шум: 10, trueSummaryValue: 100
• ведро_2 = шум: 20, trueSummaryValue: 100
• ведро_3 = шум: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + бесконечность) / 3 = бесконечность

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Расширенное управление ключами

У DSP или компании, занимающейся измерением рекламы, могут быть тысячи рекламных клиентов по всему миру, охватывающие различные отрасли, валюты и потенциальные цены покупки. Это означает, что создание и управление одним ключом агрегирования для каждого рекламодателя, скорее всего, будет крайне непрактичным. Кроме того, будет сложно выбрать максимальную совокупную стоимость и совокупный бюджет, которые смогут ограничить влияние шума на эти тысячи рекламодателей по всему миру. Вместо этого давайте рассмотрим следующие сценарии:

Ключевая стратегия А

Поставщик рекламных технологий решает создать один ключ и управлять им для всех своих рекламных клиентов. У всех рекламодателей и во всех валютах диапазон покупок варьируется от небольших объемов дорогостоящих покупок до крупных объемов недорогих покупок. В результате получается следующий ключ:

Ключевая стратегия Б

Поставщик рекламных технологий решает создать два ключа и управлять ими для всех своих рекламных клиентов. Они решают разделить ключи по валютам. У всех рекламодателей и во всех валютах диапазон покупок варьируется от небольших объемов дорогостоящих покупок до крупных объемов недорогих покупок. Разделяя по валютам, создают 2 ключа:

Результат ключевой стратегии B будет меньше шума, чем ключевой стратегии A, поскольку значения валют не распределены по валютам неравномерно. Например, рассмотрим, как покупки, выраженные в йенах, в сочетании с покупками, выраженными в долларах США, изменят базовые данные и, как следствие, зашумят выходные данные.

Ключевая стратегия C

Поставщик рекламных технологий решает создать четыре ключа и управлять ими для всех своих рекламных клиентов и разделить их по отрасли «Валюта x Рекламодатель»:

Результат ключевой стратегии C будет меньше шума, чем ключевой стратегии B, поскольку стоимость покупок рекламодателей не распределяется между рекламодателями неравномерно. Например, рассмотрим, как покупки дорогих ювелирных изделий в сочетании с покупками бейсболок изменят исходные данные и, как следствие, зашумят выходные данные.

Рассмотрите возможность создания общих максимальных совокупных значений и общих коэффициентов масштабирования для нескольких рекламодателей, чтобы уменьшить шум в выходных данных. Например, вы можете поэкспериментировать с различными стратегиями для своих рекламодателей, представленными ниже:

• Одна стратегия, разделенная по валютам (USD, ¥, CAD и т. д.)
• Одна стратегия, разделенная по отраслям рекламодателя (страхование, автомобили, розничная торговля и т. д.).
• Одна стратегия, разделенная одинаковыми диапазонами стоимости покупки ([100], [1000], [10000] и т. д.

Благодаря созданию ключевых стратегий, основанных на общих чертах рекламодателей, ключами и соответствующим кодом становится легче управлять, а соотношение сигнал/шум становится выше. Поэкспериментируйте с различными стратегиями с разными общими чертами рекламодателей, чтобы выявить переломные моменты в максимизации воздействия шума по сравнению с управлением кодом.

Расширенное управление выбросами

Давайте рассмотрим сценарий для двух рекламодателей:

• Рекламодатель А:
  • Возможная цена покупки всех продуктов на сайте рекламодателя А составляет от [120 до 1000 долларов США] в диапазоне 880 долларов США.
  • Цены покупки равномерно распределены в диапазоне 880 долларов США без отклонений за пределами двух стандартных отклонений от медианной цены покупки.
• Рекламодатель Б:
  • Возможная цена покупки всех продуктов на сайте рекламодателя Б составляет от [120 до 1000 долларов США] в диапазоне 880 долларов США.
  • Цены закупок сильно колеблются в диапазоне 120–500 долларов США, при этом только 5% покупок приходится на диапазон 500–1000 долларов США.

Учитывая требования к бюджету вклада и методологию применения шума к конечным результатам, рекламодатель Б по умолчанию будет иметь более шумные результаты, чем рекламодатель А, поскольку у рекламодателя Б более высокая вероятность того, что выбросы повлияют на базовые расчеты.

Это можно смягчить с помощью специальной настройки ключа. Протестируйте ключевые стратегии, которые помогут управлять выбросами данных и более равномерно распределять значения покупок по диапазону покупок ключа.

Для рекламодателя Б вы можете создать два отдельных ключа, чтобы охватить два разных диапазона стоимости покупки. В этом примере рекламный техник заметил, что выбросы появляются выше стоимости покупки в 500 долларов. Попробуйте реализовать два отдельных ключа для этого рекламодателя:

• Ключевая структура 1: ключ, который охватывает только покупки в диапазоне от 120 до 500 долларов США (охватывающий ~ 95% от общего объема покупок).
• Ключевая структура 2: Ключ, который фиксирует только покупки на сумму более 500 долларов США (охватывает ~ 5% от общего объема покупок).

Реализация этой ключевой стратегии должна помочь рекламодателю Б лучше управлять шумом и помочь им максимизировать полезность сводных отчетов. Учитывая новые меньшие диапазоны, ключи A и B теперь должны иметь более равномерное распределение данных по каждому соответствующему ключу, чем для предыдущего одиночного ключа. Это приведет к меньшему воздействию шума на выходе каждого ключа, который для предыдущего единственного ключа.