相关性 API 测试指南

准备工作

  • 除了 CMA 测试指南之外，还应查看本刊物：实验说明（2022 年 11 月）、测试指南（2023 年 6 月）和其他测试指南（2023 年 10 月）。
  • 本文档旨在向市场参与者提供有关 Relevance API 用例、配置、实验结构、目标和评估最佳实践的指导。

实验设计原则

请确保测试组和对照组界定明确，并衡量相同的变量。

用户随机分配和分配

  • 如果并非仅使用 Chrome 协助实验组（例如针对其他流量运行实验），请确保测试组和对照组的用户是随机分配的且无偏见。无论实验组设置如何，都要评估测试组和对照组的特征，以确保测试组/对照组具有可比性。请参阅：第 15 节。
  • 确保测试组和对照组的用户特征相同（例如，在测试组和对照组中使用相似的地理位置）。请参阅：第 28 条。
  • 根据 CMA 建议的实验设计，包含 3 个实验组：实验组（PS API + 其他信号）+ 对照组 1（无 3PC 和其他信号）+ 对照组 2（无 3PC + 无 PS API 及其他信号）。请参阅：第 10-14 节。
  • 确保您的设置尽可能充分利用 Chrome 协助测试标签。
  • 请注意，出于法律、用户体验和 / 或技术方面的原因，Chrome 计划从这些实验组中排除部分 Chrome 实例。包括 Chrome 企业版和其他服务。对于模式 A 和模式 B，这些排除条件完全相同，因此在对照组 1、对照组 2 和实验组中也是如此。因此，请不要将实验组指标与在这些组之外的指标进行比较。

测试组和对照组之间的配置一致性

  • 确保测试组和对照组使用类似的广告系列配置，包括相似的广告资源、广告格式、广告系列类型和广告系列设置。请参阅：第 28 条。
  • 具体示例包括：确保使用相同的归因回溯期和归因逻辑衡量类似的转化类型；广告系列定位类似受众群体、兴趣群体、地理位置，且使用类似的广告文案和广告格式。请参阅：第 28 条。
  • 理想情况下，DSP 可以管理报告，而无需依赖可能会添加额外归因层的第三方公司。如果 DSP 的客户通过第三方公司进行归因，该第三方应纳入集成/测试计划以及测试组和对照组。
  • 确保由参与竞价的 DSP 管理的每个广告系列在实验组和对照组内参与竞价的几率均相等，并且各组的出价行为不会受其他组的存在影响。请参阅：第 25 条。

指标收集和评估

  • 在评估结果之前，请确保测试组和对照组之间的结果差异具有统计显著性。请参阅：第 25 条。
  • 对于所有指标，请确保评估了离群值。单接触点归因逻辑很容易出现离群值，这对于销售或广告支出回报率 (ROAS) 指标来说尤其如此，可能会以某种方式无意中对结果造成严重影响。请参阅附录表 2。
  • 如果使用非 3PC 方法衡量转化情况（例如，链接装饰、第一方数据、其他情境数据），请确保测试组和对照组都使用这些方法。请参阅：第 13 和 14 条。
  • 考虑使用两个不同的实验组，一个用于衡量 Relevance API，另一个用于衡量 Attribution Reporting API。这样可以避免多变量测试，并可让您更轻松地了解观察结果的原因。如需了解详情，请参阅衡量测试指南和表格，了解各个实验组推荐的衡量方法。
实验组与对照组 1
将提议的最终状态与当前状态进行比较。 		实验组与对照组 2
在完全没有 PS API 的情况下比较提议的最终状态。 		对照组 2 与对照组 1 对比
在不使用任何 PS API 的情况下，对比使用 3PC 和不使用 3PC 时的转化衡量。
衡量方法 为避免多变量测试，请使用 ARA 和非 3PC 数据来衡量这两个实验组中基于转化的指标。 为避免多变量测试，请仅使用非 3PC 数据来衡量两个实验组中基于转化的指标。 为避免多变量测试，请仅使用非 3PC 数据来衡量两个实验组中基于转化的指标。

实现方案指导

本部分提供有关相关性 API 的常见用例以及设置这些 API 的最低或最佳配置的指南。请务必先了解哪些用例对您的业务至关重要，并确保配置符合最低要求，然后再继续实验设置部分。

用例

我们列出了广告相关性方面的一些常见使用场景。请注意，用例可能涉及使用多个相关性 API，具体取决于各个市场参与者的需求。

品牌认知度或潜在客户勘探

  • 最低
    • 将 Topics 信号从语义上用作细分受众群。
    • 使用 Protected Audience API 创建细分受众群，方法是将网页的访问者添加到表示网站情境类别的兴趣群体。
  • 最佳
    • 将 Topics 与其他持久可靠的信号（例如第一方数据和情境数据）作为机器学习模型中的功能，以便推断用户的细分受众群。
    • 使用 Protected Audience API 时，您可以根据第一方数据、特定用户活动、主题或其他情境信号，将网页访问者添加到兴趣群体，从而创建细分受众群。
    • 使用 Protected Audience API 创建可提供给受众群体扩展的第一方细分受众群，以扩大广告客户广告系列的覆盖面。

再营销

  • 使用 Protected Audience API，根据用户活动创建兴趣群体，为网站创建自定义的再营销细分受众群。

配置

Topics API

  • 最低
    • (DSP) 广告技术平台根据已发布的“在不使用第三方 Cookie 的情况下尽可能提高广告相关性”指南，在广告选择过程中使用主题作为信号。请注意，这些 Topics 信号可能来自于 DSP 本身调用 Topics API 和/或来自合作伙伴 SSP 提供的处理 Topics 信号。
    • (SSP) 广告技术平台需要与部分发布商合作，根据 ORTB 2.x 规范，将 Topics API 返回的主题包含在出价流中，这需要广告技术平台与网站合作升级和部署所需的库（例如标头出价依赖项），以便在这些网站上调用 Topics API。
    • (SSP) 广告技术平台会对 Topics API 可供广告技术平台使用的所有流量调用该 API。由于每个调用方的过滤要求，需要调用该 API 至少 3 周，以确保最高可用。为帮助解决此问题，最好在 DSP 合作伙伴准备好开始使用信号之前就开始调用 Topics API。
  • 最佳
    • (DSP) 在有意义的消费者转化历程里程碑（此 API 可供广告技术平台使用）时调用 Topics API。可将这些数据用于机器学习训练，例如将主题与相关的第一方和归因数据相关联。
    • (DSP) 探索基于主题的功能，并将其引入机器学习模型定位模型，以增强受众群细分。在目标时间运行模型推断，以扩展可能的用户主题。将推断的主题与定位到这些细分受众群的广告客户广告系列进行匹配。
    • (DSP) 探索基于主题的功能并将其引入机器学习出价模型中，以增强预测点击率 (CTR) 和转化率 (CVR) 模型。

Protected Audience

  • (DSP) 广告技术平台会实现所有客户端依赖项，以参与基于 Protected Audience API 的竞价。
    • 这包括 Protected Audience API 的核心依赖项（例如出价逻辑 JavaScript），以及所有集成模块和报告端点。
  • (DSP) 广告技术平台已准备好参与 2024 年第 1 季度至第 2 季度基于 Protected Audience API 的可计费竞价。
    • 这将需要广告技术平台找出并协调 SSP 测试合作伙伴和网站，以便在目标、集成握手和运行端到端测试的时间表方面达成一致。
  • (DSP) 广告技术平台正在使用键值对服务器检索实时信号以生成出价。
    • 这将需要广告技术平台确定需要实时信号的关键用例（例如暂停用尽全部预算的广告系列），并将这些实时信号纳入其出价逻辑 JavaScript 中。
  • (DSP) 广告技术平台提供了一种在 Protected Audience 竞价中实现效果的高级方法。
    • 这种概括性的方法大致包括三个方面：衡量性能、分析数据，以及以迭代方式优化实现以提高性能。
  • (SSP) 广告技术平台已准备好参与 2024 年第 1 季度至第 2 季度可计费的 Protected Audience 竞价。
    • 这包括实现和部署 Protected Audience API 核心依赖项（例如决策逻辑 JavaScript），以及任何集成或编排模块、适配器（例如标头出价依赖项）和报告端点。
  • (SSP) 广告技术平台正在使用键值对服务器来检索实时信号，以便为广告评分。
    • 这就需要广告技术平台确定需要实时信号的关键用例（例如满足广告质量要求），并将这些实时信号纳入其决策逻辑 JavaScript 中。
  • (SSP) 广告技术平台提供高层级的方法来管理生产部署的规模和流量要求。
    • 这样一来，广告技术平台需要与其 DSP 测试合作伙伴协调，确定其是否有意参与基于 Protected Audience API 的特定竞价和来源信号

评估目标和建议的实验设置

对于此评估，我们建议使用 Chrome 协助测试模式 A 和 B 标签。

建议的实验设置

  • 使用 CMA 建议的实验设计，包含 3 组：（请参阅：第 10-14 节）
    • 对照组 1：模式 A 流量、control_1.* 组（3PC + Privacy Sandbox API + 其他信号）
    • 对照组 2：模式 B control_2 组（无 3PC + 无 Privacy Sandbox API + 其他信号）。
    • 实验组：模式 B treatment_1.* 组（不使用 3PC，使用 Privacy Sandbox API + 其他信号）
  • 我们知道，市场参与者除了使用 3PC 之外，还使用多种其他信号（例如第一方发布商数据和情境信息）将广告分配到广告请求。如果这些信号不受更改建议（弃用第三方 Cookie 和推出 Privacy Sandbox API）的影响，则对照组和实验组均应保留这些更改。
  • 请注意，某些网站可能仍可使用部分 3PC。在对照组 2 或实验组中，测试人员不应将这些 3PC 用于相关性用例。这些 3PC 旨在解决非广告故障问题。
  • 请注意，Privacy Sandbox API 将在对照组 1 中提供，但如 CMA 的行业测试指南中所述，测试参与者不应使用 Topics API 或针对此类流量运行 Protected Audience 竞价。
  • 如需了解每个组的标签、尺寸和特征，请参阅 Chrome 协助测试。

建议的指标方法

  • 我们并未建议用于收集或计算指标的任何具体方法。不过，我们强烈建议测试人员公开上述方法的相关信息。这样，分析不同公司提供的测试结果（即监管机构）的人员就能了解数据差异，并就如何比较结果来做出决策。
  • 我们了解，收集某些指标可能需要使用不公开汇总功能，而部分测试人员在测试时可能尚未集成该功能。
  • 在可能的范围内，参与者可以报告与出价活动及竞价所吸引的感兴趣金额相关的指标，如参与竞价的出价数或平均出价价值。
实验组 治疗 对照组 2 对照组 1
交通方式 模式 B (3PCD) 模式 B'（3PCD + PA + Topics 抑制） 现状（未采用 3PCD）
已应用相关性 API PA+Topics +情境信号 仅情境信号 基于 Cookie 的信号 + 情境信号

目标 1 - (DSP) 衡量第三方 Cookie 对针对用户兴趣投放广告的影响

指标

纳入 CMA 要求的关键指标；在可行的情况下，还可以考虑加入其他可能有用的指标，例如：

  • 平均收到的主题数量：在出价请求中收到的主题数量。是衡量 Topic API 覆盖率的指标。
  • 平均所用时间：广告开始呈现后，至少有 50% 的广告像素出现在用户视口中的平均时间。它是对广告互动度的衡量。
  • 每次展示的点击次数（也称为点击率）：每次展示的平均点击次数。一种广告相关性的衡量指标。
  • 每一分钱带来的点击次数：每一分钱所能带来的平均点击次数。质量得分是衡量广告客户所获广告质量的指标。
  • 每一分投入带来的转化次数：每一分钱带来的平均转化次数。质量得分是衡量广告客户所获广告质量的指标。
  • 转化率：每次点击的平均转化次数，以百分比表示。该指标用于衡量广告客户获得的流量质量。
  • 唯一身份出价响应总数：DSP 发送的出价响应总数。该指标可代表各个广告技术平台服务的需求。
  • 唯一身份观看者人数：相应广告客户的广告覆盖的唯一身份用户数。覆盖面是覆盖面的衡量指标。
  • 视频完整播放率：在视频广告呈现并开始播放后，在整个视频广告时长内，用户视口中至少显示 50% 的广告像素的平均时长。它是对广告互动度的衡量。

建议的分析点

  • 广告客户能否以自己偏好的规模覆盖其目标受众群体？
  • 这些更改对广告互动度和互动情况有何影响？
  • 此次变更对广告客户的广告质量有何影响？
  • 广告客户是否能够以经济高效的方式投放广告？也就是说，在一段合理的时间内，他们能否以低于这些客户带来的价值的获取率获取新客户？
  • 在评估市场参与者的实验结果时，是否有任何值得注意的事项？
  • 结果与市场参与者之前进行的测试（如果有）相比如何？
  • 哪些潜在的不利因素会影响效果？相反，提升效果的因素有哪些？

目标 2 - (DSP) 衡量第三方 Cookie 对再营销的影响

指标

纳入 CMA 要求的关键指标；在可行的情况下，还可以考虑加入其他可能有用的指标，例如：

  • 平均所用时间：广告开始呈现后，至少有 50% 的广告像素出现在用户视口中的平均时间。它是对广告互动度的衡量。
  • 每次展示的点击次数（也称为点击率）：每次展示的平均点击次数。一种广告相关性的衡量指标。
  • 每一分钱带来的点击次数：每一分钱所能带来的平均点击次数。质量得分是衡量广告客户所获广告质量的指标。
  • 每一分投入带来的转化次数：每一分钱带来的平均转化次数。质量得分是衡量广告客户所获广告质量的指标。
  • 转化率：每次点击的平均转化次数，以百分比表示。该指标用于衡量广告客户获得的流量质量。
  • 唯一身份出价响应总数：DSP 发送的出价响应总数。该指标可代表各个广告技术平台服务的需求。
  • 唯一身份观看者人数：相应广告客户的广告覆盖的唯一身份用户数。覆盖面是覆盖面的衡量指标。
  • 视频完整播放率：在视频广告呈现并开始播放后，在整个视频广告时长内，用户视口中至少显示 50% 的广告像素的平均时长。它是对广告互动度的衡量。

建议的分析点

  • 广告客户能否以自己偏好的规模覆盖其目标受众群体？
  • 这些更改对广告互动度和互动情况有何影响？
  • 此次变更对广告客户的广告质量有何影响？
  • 广告客户是否能够以经济高效的方式投放广告？也就是说，在一段合理的时间内，他们能否以低于这些客户带来的价值的获取率获取新客户？
  • 在评估市场参与者的实验结果时，是否有任何值得注意的事项？
  • 结果与市场参与者之前进行的测试（如果有）相比如何？
  • 哪些潜在的不利因素会影响效果？相反，提升效果的因素有哪些？

目标 3 - (SSP) 衡量第三方 Cookie 对未被 Protected Audience API 推进的竞价的影响

指标

包括 CMA 要求的关键指标以及其他可能有用的指标，例如：

  • 计划支出的广告系列支出变化百分比：广告客户在广告系列方面的支出。一种衡量广告技术和发布商收益分成的方式。
  • 发送的平均主题数：出价请求中发送的平均主题数。是衡量 Topic API 覆盖率的指标。
  • 竞价延迟时间：竞价进行的平均时间。对于 SSP，从首次执行 SSP 客户端代码开始，到 SSP 选择出价并将其发送到广告服务器，整个衡量过程都是如此。对于广告服务器，衡量的是从广告代码执行到呈现的广告。该指标用于衡量竞价的执行速度。
  • 每次展示收入：每次展示产生的平均收入。对发布商收入的一种衡量方式。
  • 唯一身份出价请求总数：SSP 发送的唯一身份出价请求总数。该指标可代表各个广告技术平台服务的需求。

建议的分析点

  • 延迟时间变化对 SSP 执行竞价的能力有何影响？它们对发布商的网页延迟时间有何影响？
  • 延迟时间对发布商的收入有何影响？根据出价请求中发送的主题数量计算吗？
  • 对 SSP 广告技术服务的需求受到什么影响？
  • SSP 能否报告对发布商的业务至关重要的竞价相关 KPI？为自己的企业？
  • 在评估市场参与者的实验结果时，是否有任何值得注意的事项？
  • 结果与市场参与者之前进行的测试（如果有）相比如何？
  • 哪些潜在的不利因素会影响效果？相反，提升效果的因素有哪些？

目标 4 - (SSP) 确定 Protected Audience API 竞价的效果

指标

包括 CMA 要求的关键指标以及其他可能有用的指标，例如：

  • 竞价延迟时间：竞价进行的平均时间。对于 SSP，从首次执行 SSP 客户端代码到报告结果，即衡量 SSP。对于广告服务器，衡量的是从广告代码执行到呈现的广告。该指标用于衡量竞价的执行速度。
  • 每次展示收入：每次展示产生的平均收入。对发布商收入的一种衡量方式。
  • 填充率：填充率衡量的是 SSP 成功填充广告的出价请求所占的百分比。计算方法是用广告总展示次数除以来自 SSP 的出价请求总数。
  • 超时率：因达到 SSP 可配置的超时时间而未能完成的竞价所占的百分比。
  • 唯一身份出价请求总数：SSP 发送的唯一身份出价请求总数。该指标可代表各个广告技术平台服务的需求。

建议的分析点

  • 延迟时间变化对 SSP 执行竞价的能力有何影响？它们对发布商的网页延迟时间有何影响？
  • 超时对 DSP 的出价能力有何影响？
  • 延迟时间对发布商的收入有何影响？根据出价请求中发送的主题数量计算吗？
  • 对 SSP 广告技术服务的需求受到什么影响？
  • SSP 能否报告对发布商的业务至关重要的竞价相关 KPI？为自己的企业？
  • 在评估市场参与者的实验结果时，是否有任何值得注意的事项？
  • 结果与市场参与者之前进行的测试（如果有）相比如何？
  • 哪些潜在的不利因素会影响效果？相反，提升效果的因素有哪些？