了解 Media API 概念

借助 Google Meet Media API，您的应用可以加入 Google Meet 会议并使用实时 媒体流。

客户端使用 WebRTC 与 Meet 服务器通信。提供的 参考客户端（C++、 TypeScript）演示了推荐的做法， 建议您直接基于这些客户端进行构建。

不过，您也可以构建完全自定义的 WebRTC 客户端，但这些客户端必须符合 Meet Media API 的 技术 要求。

本页简要介绍了成功使用 Meet Media API 会话所需的关键 WebRTC 概念。

提供/回答信号

WebRTC 是一种对等网络 (P2P) 框架，对等方通过相互发送信号进行通信。如需开始会话，发起方对等方会向远程对等方发送 SDP 提供。此提供包含以下重要详细信息：

音频和视频的媒体说明

媒体说明用于指明 P2P 会话期间的通信内容。共有三种类型的说明：音频、视频和数据。

如需指明 n 个音频流，提供方会在提供中包含 n 个音频媒体说明。视频也是如此。不过，最多只能有一个数据媒体说明。

方向

每个音频或视频说明都描述了由 RFC 3711 管控的各个 安全实时传输 协议 (SRTP) 流。这些流是双向的，允许两个对等方通过同一连接发送和接收媒体。

因此，每个媒体说明（在提供和回答中）都包含以下三个属性之一，用于描述应如何使用流：

• sendonly：仅从提供方对等方发送媒体。远程对等方不会在此流上发送媒体。

• recvonly：仅从远程对等方接收媒体。提供方对等方不会在此流上发送媒体。

• sendrecv：两个对等方都可以在此流上发送和接收媒体。

编解码器

每个媒体说明还会指定对等方支持的编解码器。对于 Meet Media API，除非客户端提供支持 （至少）技术要求中指定的编解码器，否则会被拒绝。

DTLS 握手

SRTP 流通过对等方之间的初始 数据报传输层安全协议（“DTLS”，RFC 9147）握手来保护。 DTLS 传统上是一种客户端到服务器协议；在信号传递过程中，一个对等方同意充当服务器，而另一个对等方充当对等方。

由于每个 SRTP 流可能都有自己的专用 DTLS 连接，因此每个媒体说明都会指定以下三个属性之一，以指明对等方在 DTLS 握手中的角色：

• a=setup:actpass：提供方对等方 服从远程对等方的选择。

• a=setup:active：此对等方充当客户端。

• a=setup:passive：此对等方充当服务器。

应用媒体说明

数据通道 (RFC 8831) 是流控制传输协议（“SCTP”，RFC 9260）的抽象。

如需在初始信号传递阶段打开数据通道，提供必须包含应用媒体说明。 与音频和视频说明不同，应用说明不会指定方向或编解码器。

ICE 候选地址

对等方的交互式连接建立（“ICE”，RFC 8445）候选地址是远程对等方可用于建立连接的路由列表。

两个对等方列表的笛卡尔积（称为候选地址对 ）表示两个对等方之间的潜在路由。系统会对这些对进行测试，以确定最佳路由。

通过 Meet REST API 发送信号

使用 Meet REST API 执行此 提供/回答信号传递。您的应用向 SDP 提供提供，并收到 SDP 回答作为响应。connectActiveConference()

以下代码示例展示了如何调用该方法：

import com.google.api.core.ApiFuture;
import com.google.apps.meet.v2beta.ConnectActiveConferenceRequest;
import com.google.apps.meet.v2beta.ConnectActiveConferenceResponse;
import com.google.apps.meet.v2beta.SpaceName;
import com.google.apps.meet.v2beta.SpacesServiceClient;

public class AsyncConnectActiveConference {

  public static void main(String[] args) throws Exception {
    asyncConnectActiveConference();
  }

  public static void asyncConnectActiveConference() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (SpacesServiceClient spacesServiceClient = SpacesServiceClient.create()) {
      ConnectActiveConferenceRequest request =
          ConnectActiveConferenceRequest.newBuilder()
              .setName(SpaceName.of("[SPACE]").toString())
              .setOffer("offer105650780")
              .build();
      ApiFuture<ConnectActiveConferenceResponse> future =
          spacesServiceClient.connectActiveConferenceCallable().futureCall(request);
      // Do something.
      ConnectActiveConferenceResponse response = future.get();
    }
  }
}

using Google.Apps.Meet.V2Beta;
using System.Threading.Tasks;

public sealed partial class GeneratedSpacesServiceClientSnippets
{
    /// <summary>Snippet for ConnectActiveConferenceAsync</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public async Task ConnectActiveConferenceAsync()
    {
        // Create client
        SpacesServiceClient spacesServiceClient = await SpacesServiceClient.CreateAsync();
        // Initialize request argument(s)
        string name = "spaces/[SPACE]";
        // Make the request
        ConnectActiveConferenceResponse response = await spacesServiceClient.ConnectActiveConferenceAsync(name);
    }
}

/**
 * This snippet has been automatically generated and should be regarded as a code template only.
 * It will require modifications to work.
 * It may require correct/in-range values for request initialization.
 * TODO(developer): Uncomment these variables before running the sample.
 */
/**
 *  Required. Resource name of the space.
 *  Format: spaces/{spaceId}
 */
// const name = 'abc123'
/**
 *  Required. WebRTC SDP (Session Description Protocol) offer from the client.
 *  The format is defined by RFC
 *  8866 (https://www.rfc-editor.org/rfc/rfc8866) with mandatory keys defined
 *  by RFC 8829 (https://www.rfc-editor.org/rfc/rfc8829). This is the standard
 *  SDP format generated by a peer connection's createOffer() and
 *  createAnswer() methods.
 */
// const offer = 'abc123'

// Imports the Meet library
const {SpacesServiceClient} = require('@google-apps/meet').v2beta;

// Instantiates a client
const meetClient = new SpacesServiceClient();

async function callConnectActiveConference() {
  // Construct request
  const request = {
    name,
    offer,
  };

  // Run request
  const response = await meetClient.connectActiveConference(request);
  console.log(response);
}

callConnectActiveConference();

# This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.apps import meet_v2beta


async def sample_connect_active_conference():
    # Create a client
    client = meet_v2beta.SpacesServiceAsyncClient()

    # Initialize request argument(s)
    request = meet_v2beta.ConnectActiveConferenceRequest(
        name="name_value",
        offer="offer_value",
    )

    # Make the request
    response = await client.connect_active_conference(request=request)

    # Handle the response
    print(response)

连接流程示例

以下是包含音频媒体说明的提供：

远程对等方会使用包含相同数量的媒体说明行的 SDP 回答进行响应。每行都指明远程对等方通过 SRTP 流发送回提供方客户端的媒体（如果有）。远程对等方还可以通过将该媒体说明条目设置为 recvonly 来拒绝提供方提供的特定流。

对于 Meet Media API，客户端始终会发送 SDP 提供以发起连接。Meet 绝不会是发起方。

此行为由参考客户端 (C++、TypeScript)在内部进行管理， 但自定义客户端的开发者可以使用 WebRTC 的 PeerConnectionInterface 生成提供。

如需连接到 Meet Meet，提供必须符合特定 要求：

1. 客户端在 DTLS 握手中必须始终充当客户端，因此提供中的每个媒体说明都必须指定 a=setup:actpass 或 a=setup:active。

2. 每个媒体说明行都必须支持该媒体类型的所有必需编解码器：

   • 音频： Opus
   • 视频： VP8、VP9、AV1

3. 如需接收音频，提供必须包含正好 3 个仅接收音频媒体说明。您可以通过在对等连接对象上设置收发器来实现此目的。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (int i = 0; i < 3; ++i) {
     webrtc::RtpTransceiverInit audio_init;
     audio_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     audio_init.stream_ids = {absl::StrCat("audio_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
       audio_result = peer_connection->AddTransceiver(
         cricket::MediaType::MEDIA_TYPE_AUDIO, audio_init);
   
     if (!audio_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add audio transceiver: ",
                                               audio_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive audio from Meet servers.
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   pc.addTransceiver('audio', {'direction':'recvonly'});
   

4. 如需接收视频，提供必须包含 1-3 个仅接收视频媒体说明。您可以通过在对等连接对象上设置收发器来实现此目的。

   C++

   // ...
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   for (uint32_t i = 0; i < configurations.receiving_video_stream_count; ++i) {
     webrtc::RtpTransceiverInit video_init;
     video_init.direction = webrtc::RtpTransceiverDirection::kRecvOnly;
     video_init.stream_ids = {absl::StrCat("video_stream_", i)};
   
     webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::RtpTransceiverInterface>>
         video_result = peer_connection->AddTransceiver(
           cricket::MediaType::MEDIA_TYPE_VIDEO, video_init);
   
     if (!video_result.ok()) {
       return absl::InternalError(absl::StrCat("Failed to add video transceiver: ",
                                               video_result.error().message()));
     }
   }
   

   JavaScript

   pc = new RTCPeerConnection();
   
   // Configure client to receive video from Meet servers.
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   pc.addTransceiver('video', {'direction':'recvonly'});
   

5. 提供必须始终包含数据通道。至少应始终打开 session-control 和 media-stats 通道。所有数据通道都必须是 ordered。

   C++

   // ...
   // All data channels must be ordered.
   constexpr webrtc::DataChannelInit kDataChannelConfig = {.ordered = true};
   
   rtc::scoped_refptr<webrtc::PeerConnectionInterface> peer_connection;
   
   // Signal session-control data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     session_create_result = peer_connection->CreateDataChannelOrError(
       "session-control", &kDataChannelConfig);
   
   if (!session_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             session_create_result.error().message()));
   }
   
   // Signal media-stats data channel.
   webrtc::RTCErrorOr<rtc::scoped_refptr<webrtc::DataChannelInterface>>
     stats_create_result = peer_connection->CreateDataChannelOrError(
       "media-stats", &kDataChannelConfig);
   
   if (!stats_create_result.ok()) {
     return absl::InternalError(absl::StrCat("Failed to create data channel ",
                                             data_channel_label, ": ",
                                             stats_create_result.error().message()));
   }
   

   JavaScript

   // ...
   pc = new RTCPeerConnection();
   
   // All data channels must be ordered.
   const dataChannelConfig = {
     ordered: true,
   };
   
   // Signal session-control data channel.
   sessionControlChannel = pc.createDataChannel('session-control', dataChannelConfig);
   sessionControlChannel.onopen = () => console.log("data channel is now open");
   sessionControlChannel.onclose = () => console.log("data channel is now closed");
   sessionControlChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   
   // Signal media-stats data channel.
   mediaStatsChannel = pc.createDataChannel('media-stats', dataChannelConfig);
   mediaStatsChannel.onopen = () => console.log("data channel is now open");
   mediaStatsChannel.onclose = () => console.log("data channel is now closed");
   mediaStatsChannel.onmessage = async (e) => {
     console.log("data channel message", e.data);
   };
   

SDP 提供和回答示例

以下是有效的 SDP 提供和匹配的 SDP 回答的完整示例。此提供协商了包含音频和单个视频流的 Meet Media API 会话。

请注意，其中包含三个音频媒体说明、一个视频媒体说明以及必需的应用媒体说明。

相关主题

• 开始