Oberflächenfunktionen (Dialogflow)

In Dialogflow ansehen

Klicken Sie auf Continue (Weiter), um unser Beispiel für Oberflächenfunktionen in Dialogflow zu importieren. Folgen Sie dann den mit den folgenden Schritten zum Bereitstellen und Testen des Beispiels:

  1. Geben Sie einen Agent-Namen ein und erstellen Sie einen neuen Dialogflow-Agent für das Beispiel.
  2. Nachdem der Agent importiert wurde, klicken Sie auf Zum Agent.
  3. Klicken Sie im Hauptnavigationsmenü auf Fulfillment (Auftragsausführung).
  4. Aktivieren Sie den Inline-Editor und klicken Sie dann auf Bereitstellen. Der Editor enthält das Beispiel Code.
  5. Klicken Sie im Hauptnavigationsmenü auf Integrations (Integrationen) und dann auf Google Assistant
  6. Aktivieren Sie im angezeigten modalen Fenster die Option Automatische Vorschau der Änderungen und klicken Sie auf Testen. um den Actions-Simulator zu öffnen.
  7. Geben Sie im Simulator Talk to my test app ein, um das Beispiel zu testen.
<ph type="x-smartling-placeholder"></ph> Weiter

Deine Aktionen können auf verschiedenen Oberflächen angezeigt werden, unter anderem im Audiomodus (intelligente Lautsprecher) sowie Audio- und Displayoberflächen wie Smart Displays und Mobilgeräten).

Verwende „Oberfläche“, um Unterhaltungen zu entwerfen und zu erstellen, die auf allen Oberflächen gut funktionieren Unterhaltungen richtig zu steuern und zu planen.

Funktionen für Aktionen

Mit Actions on Google können Sie festlegen, ob Nutzer Ihre Aktion aufrufen dürfen. direkt über die Oberfläche, die sie verwenden. Wenn Nutzer versuchen, deine Aktion auf einer wird eine nicht unterstützte Oberfläche angezeigt, nicht unterstützt.

Du definierst in deinem Actions-Projekt die Supportoberfläche deiner Aktion.

Deine Aktion kann auf verschiedenen Oberflächen angezeigt werden, die von Google Assistant unterstützt werden, z. B. Smartphones (Android und iOS) und Google Home-Geräte

Laufzeitfunktionen

Es gibt zwei Möglichkeiten, die Nutzerfreundlichkeit mit Laufzeitoberflächenfunktionen zu verbessern:

  • Response Branching (Antwortverzweigung) – Sie können Nutzern unterschiedliche Antworten präsentieren, aber die für Unterhaltungen auf verschiedenen Oberflächen. Für Eine Wetteraktion kann beispielsweise eine Karte mit einem Bild auf einem Smartphone eine Audiodatei über Google Home abspielen, aber der Gesprächsablauf ist derselbe auf verschiedenen Oberflächen.

  • Verzweigung von Unterhaltungen: Nutzern werden gänzlich andere Informationen präsentiert. Kommunikation auf jeder Oberfläche. Wenn Sie z. B. eine Essensbestellung App ist es vielleicht sinnvoll, auf Google Home einen Ablauf für die erneute Bestellung anzubieten, aber einen vollständigen Warenkorb auf Mobiltelefonen. Für die Verzweigung von Unterhaltungen verwenden Sie den Bereich Intent-Auslösungen in Dialogflow für bestimmte Oberflächenfunktionen mit Dialogflow Kontexte. Die tatsächlichen Dialogflow-Intents werden nur ausgelöst, wenn ein bestimmter Oberflächenkapazität erfüllt ist.

  • Unterhaltungen auf mehreren Oberflächen – Hiermit können Sie Nutzern eine Unterhaltung auf einer einzigen Oberfläche präsentieren. die während der Unterhaltung zu einer anderen Oberfläche übergeht. Wenn beispielsweise Ein Nutzer ruft deine Aktion mit Bildern auf einer reinen Audiooberfläche wie Google auf. Startseite können Sie Ihre Aktion so aufbauen, dass sie mit visuellen Elementen und das Gespräch nach Möglichkeit dorthin verschieben.

Antwortverzweigung

Jedes Mal, wenn von Google Assistant eine Anfrage für die Auftragsausführung eingeht, können Anfragen an die folgenden Oberflächen senden, z. B. Google Home oder ein Android-Smartphone Funktionen:

Node.js

const hasScreen =
  conv.surface.capabilities.has('actions.capability.SCREEN_OUTPUT');
  // OR conv.screen;
const hasAudio =
  conv.surface.capabilities.has('actions.capability.AUDIO_OUTPUT');
const hasMediaPlayback =
  conv.surface.capabilities.has('actions.capability.MEDIA_RESPONSE_AUDIO');
const hasWebBrowser =
  conv.surface.capabilities.has('actions.capability.WEB_BROWSER');
// Interactive Canvas must be enabled in your project to see this
const hasInteractiveCanvas =
  conv.surface.capabilities.has('actions.capability.INTERACTIVE_CANVAS');
index.js

Java

boolean hasScreen = request.hasCapability(Capability.SCREEN_OUTPUT.getValue());
boolean hasAudio = request.hasCapability(Capability.AUDIO_OUTPUT.getValue());
boolean hasMediaPlayback = request.hasCapability(Capability.MEDIA_RESPONSE_AUDIO.getValue());
boolean hasWebBrowser = request.hasCapability(Capability.WEB_BROWSER.getValue());
// Interactive Canvas must be enabled in your project to see this
boolean hasInteractiveCanvas = request.hasCapability("INTERACTIVE_CANVAS");
MyActionsApp.java

Node.js

const hasScreen =
  conv.surface.capabilities.has('actions.capability.SCREEN_OUTPUT');
  // OR conv.screen;
const hasAudio =
  conv.surface.capabilities.has('actions.capability.AUDIO_OUTPUT');
const hasMediaPlayback =
  conv.surface.capabilities.has('actions.capability.MEDIA_RESPONSE_AUDIO');
const hasWebBrowser =
  conv.surface.capabilities.has('actions.capability.WEB_BROWSER');
// Interactive Canvas must be enabled in your project to see this
const hasInteractiveCanvas =
  conv.surface.capabilities.has('actions.capability.INTERACTIVE_CANVAS');
index.js

Java

boolean hasScreen = request.hasCapability(Capability.SCREEN_OUTPUT.getValue());
boolean hasAudio = request.hasCapability(Capability.AUDIO_OUTPUT.getValue());
boolean hasMediaPlayback = request.hasCapability(Capability.MEDIA_RESPONSE_AUDIO.getValue());
boolean hasWebBrowser = request.hasCapability(Capability.WEB_BROWSER.getValue());
// Interactive Canvas must be enabled in your project to see this
boolean hasInteractiveCanvas = request.hasCapability("INTERACTIVE_CANVAS");
MyActionsApp.java

JSON

Im JSON-Format wird eine Webhook-Anfrage beschrieben.

{
  "responseId": "206a66fb-a572-4cfc-9e41-8e2eb62fdf18-712767ed",
  "queryResult": {
    "queryText": "Current capabilities",
    "parameters": {},
    "allRequiredParamsPresent": true,
    "fulfillmentText": "Webhook failed for intent: Current Capabilities",
    "fulfillmentMessages": [
      {
        "text": {
          "text": [
            "Webhook failed for intent: Current Capabilities"
          ]
        }
      }
    ],
    "outputContexts": [
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_media_response_audio"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_audio_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_account_linking"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_web_browser"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_screen_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/google_assistant_input_type_touch"
      }
    ],
    "intent": {
      "name": "projects/df-surface-caps-kohler/agent/intents/4e191eef-ba17-4f68-8a97-85a43cbc9ed1",
      "displayName": "Current Capabilities"
    },
    "intentDetectionConfidence": 1,
    "languageCode": "en"
  },
  "originalDetectIntentRequest": {
    "source": "google",
    "version": "2",
    "payload": {
      "user": {
        "locale": "en-US",
        "userVerificationStatus": "VERIFIED"
      },
      "conversation": {
        "conversationId": "ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ",
        "type": "ACTIVE",
        "conversationToken": "[]"
      },
      "inputs": [
        {
          "intent": "actions.intent.TEXT",
          "rawInputs": [
            {
              "inputType": "TOUCH",
              "query": "Current capabilities"
            }
          ],
          "arguments": [
            {
              "name": "text",
              "rawText": "Current capabilities",
              "textValue": "Current capabilities"
            }
          ]
        }
      ],
      "surface": {
        "capabilities": [
          {
            "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
          },
          {
            "name": "actions.capability.AUDIO_OUTPUT"
          },
          {
            "name": "actions.capability.ACCOUNT_LINKING"
          },
          {
            "name": "actions.capability.WEB_BROWSER"
          },
          {
            "name": "actions.capability.SCREEN_OUTPUT"
          }
        ]
      },
      "availableSurfaces": [
        {
          "capabilities": [
            {
              "name": "actions.capability.AUDIO_OUTPUT"
            },
            {
              "name": "actions.capability.SCREEN_OUTPUT"
            },
            {
              "name": "actions.capability.WEB_BROWSER"
            }
          ]
        }
      ]
    }
  },
  "session": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ"
}

JSON

Im JSON-Format wird eine Webhook-Anfrage beschrieben.

{
  "user": {
    "locale": "en-US",
    "userVerificationStatus": "VERIFIED"
  },
  "conversation": {
    "conversationId": "ABwppHENuB8dw7LgVquXnW5Bmy9hwu1Qz4bsaL7uIb9vDSBYPAFhFgsMWnMV6m4JEDgaUWz9FUVuIhQqWh1KZ_jjTwKEIlza",
    "type": "NEW"
  },
  "inputs": [
    {
      "intent": "actions.intent.TEXT",
      "rawInputs": [
        {
          "inputType": "TOUCH",
          "query": "Current capabilities"
        }
      ],
      "arguments": [
        {
          "name": "text",
          "rawText": "Current capabilities",
          "textValue": "Current capabilities"
        }
      ]
    }
  ],
  "surface": {
    "capabilities": [
      {
        "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
      },
      {
        "name": "actions.capability.SCREEN_OUTPUT"
      },
      {
        "name": "actions.capability.WEB_BROWSER"
      },
      {
        "name": "actions.capability.ACCOUNT_LINKING"
      },
      {
        "name": "actions.capability.AUDIO_OUTPUT"
      }
    ]
  },
  "availableSurfaces": [
    {
      "capabilities": [
        {
          "name": "actions.capability.WEB_BROWSER"
        },
        {
          "name": "actions.capability.AUDIO_OUTPUT"
        },
        {
          "name": "actions.capability.SCREEN_OUTPUT"
        }
      ]
    }
  ]
}

Verzweigung von Unterhaltungen

Sie können Dialogflow-Intents so einrichten, dass sie nur bei bestimmten Funktionen mit Vordefinierte Dialogflow-Kontexte Jedes Mal, wenn ein Intent zugeordnet wird, Er generiert automatisch Kontexte aus den Oberflächenfunktionen des Geräts. verfügbar ist. Sie können einen oder mehrere dieser Kontexte als „Eingabekontexte“ angeben für Ihre Intents. Auf diese Weise können Sie das Auslösen von Intents auf Basis der Modalität steuern.

Wenn ein Intent beispielsweise nur auf Geräten mit Bildschirmausgabe ausgelöst werden soll, können Sie den Eingabekontext für den Intent auf actions_capability_screen_output festlegen.

Folgende Kontexte sind verfügbar:

  • actions_capability_audio_output: Das Gerät hat einen Lautsprecher.
  • actions_capability_screen_output: Das Gerät hat einen Ausgabebildschirm.
  • actions_capability_media_response_audio: Das Gerät unterstützt die Wiedergabe von Medieninhalten.
  • actions_capability_web_browser: Das Gerät unterstützt einen Webbrowser. (Diese ist derzeit für Smart Displays nicht verfügbar.)

Hier ein Beispiel für einen Intent, der nur auf Oberflächen mit Bildschirmen ausgelöst wird:

Unterhaltungen auf mehreren Oberflächen

Während des Ablaufs deiner Aktion kannst du jederzeit prüfen, ob der Nutzer noch andere Oberflächen mit einer bestimmten Fähigkeit. Wenn eine andere Plattform die Funktion verfügbar ist, können Sie die aktuellen auf diese neue Oberfläche übertragen.

Der Ablauf für die Übertragung einer Oberfläche funktioniert so:

  1. Prüfen, ob der Nutzer eine Oberfläche hat

    Im Webhook-Handler können Sie abfragen, ob der Nutzer eine Oberfläche hat mit einer bestimmten Funktion verfügbar sind. Diese Oberfläche muss an die mit demselben Google-Konto wie die Quelloberfläche.

    Node.js

    const screenAvailable =
  conv.available.surfaces.capabilities.has(
    'actions.capability.SCREEN_OUTPUT');
    index.js

    Java

    String screen = Capability.SCREEN_OUTPUT.getValue();
boolean screenAvailable = false;
for (Surface surface : request.getAvailableSurfaces()) {
  for (com.google.api.services.actions_fulfillment.v2.model.Capability capability :
      surface.getCapabilities()) {
    if (capability.getName().equals(screen)) {
      screenAvailable = true;
      break;
    }
  }
}
    MyActionsApp.java

    Node.js

    const screenAvailable =
  conv.available.surfaces.capabilities.has(
    'actions.capability.SCREEN_OUTPUT');
    index.js

    Java

    String screen = Capability.SCREEN_OUTPUT.getValue();
boolean screenAvailable = false;
for (Surface surface : request.getAvailableSurfaces()) {
  for (com.google.api.services.actions_fulfillment.v2.model.Capability capability :
      surface.getCapabilities()) {
    if (capability.getName().equals(screen)) {
      screenAvailable = true;
      break;
    }
  }
}
    MyActionsApp.java

    JSON

    Im JSON-Format wird eine Webhook-Anfrage beschrieben.

    {
  "responseId": "206a66fb-a572-4cfc-9e41-8e2eb62fdf18-712767ed",
  "queryResult": {
    "queryText": "Current capabilities",
    "parameters": {},
    "allRequiredParamsPresent": true,
    "fulfillmentText": "Webhook failed for intent: Current Capabilities",
    "fulfillmentMessages": [
      {
        "text": {
          "text": [
            "Webhook failed for intent: Current Capabilities"
          ]
        }
      }
    ],
    "outputContexts": [
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_media_response_audio"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_audio_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_account_linking"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_web_browser"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/actions_capability_screen_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ/contexts/google_assistant_input_type_touch"
      }
    ],
    "intent": {
      "name": "projects/df-surface-caps-kohler/agent/intents/4e191eef-ba17-4f68-8a97-85a43cbc9ed1",
      "displayName": "Current Capabilities"
    },
    "intentDetectionConfidence": 1,
    "languageCode": "en"
  },
  "originalDetectIntentRequest": {
    "source": "google",
    "version": "2",
    "payload": {
      "user": {
        "locale": "en-US",
        "userVerificationStatus": "VERIFIED"
      },
      "conversation": {
        "conversationId": "ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ",
        "type": "ACTIVE",
        "conversationToken": "[]"
      },
      "inputs": [
        {
          "intent": "actions.intent.TEXT",
          "rawInputs": [
            {
              "inputType": "TOUCH",
              "query": "Current capabilities"
            }
          ],
          "arguments": [
            {
              "name": "text",
              "rawText": "Current capabilities",
              "textValue": "Current capabilities"
            }
          ]
        }
      ],
      "surface": {
        "capabilities": [
          {
            "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
          },
          {
            "name": "actions.capability.AUDIO_OUTPUT"
          },
          {
            "name": "actions.capability.ACCOUNT_LINKING"
          },
          {
            "name": "actions.capability.WEB_BROWSER"
          },
          {
            "name": "actions.capability.SCREEN_OUTPUT"
          }
        ]
      },
      "availableSurfaces": [
        {
          "capabilities": [
            {
              "name": "actions.capability.AUDIO_OUTPUT"
            },
            {
              "name": "actions.capability.SCREEN_OUTPUT"
            },
            {
              "name": "actions.capability.WEB_BROWSER"
            }
          ]
        }
      ]
    }
  },
  "session": "projects/df-surface-caps-kohler/agent/sessions/ABwppHG7pYytu-kJGJApvrFTk2iNkshy-NLsjlzJg2ntVbxZkoz-rdFch3Fd8Vmlgf0VxmNSK1woelx1otayGwCnE8gzAQ"
}

    JSON

    Im JSON-Format wird eine Webhook-Anfrage beschrieben.

    {
  "user": {
    "locale": "en-US",
    "userVerificationStatus": "VERIFIED"
  },
  "conversation": {
    "conversationId": "ABwppHENuB8dw7LgVquXnW5Bmy9hwu1Qz4bsaL7uIb9vDSBYPAFhFgsMWnMV6m4JEDgaUWz9FUVuIhQqWh1KZ_jjTwKEIlza",
    "type": "NEW"
  },
  "inputs": [
    {
      "intent": "actions.intent.TEXT",
      "rawInputs": [
        {
          "inputType": "TOUCH",
          "query": "Current capabilities"
        }
      ],
      "arguments": [
        {
          "name": "text",
          "rawText": "Current capabilities",
          "textValue": "Current capabilities"
        }
      ]
    }
  ],
  "surface": {
    "capabilities": [
      {
        "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
      },
      {
        "name": "actions.capability.SCREEN_OUTPUT"
      },
      {
        "name": "actions.capability.WEB_BROWSER"
      },
      {
        "name": "actions.capability.ACCOUNT_LINKING"
      },
      {
        "name": "actions.capability.AUDIO_OUTPUT"
      }
    ]
  },
  "availableSurfaces": [
    {
      "capabilities": [
        {
          "name": "actions.capability.WEB_BROWSER"
        },
        {
          "name": "actions.capability.AUDIO_OUTPUT"
        },
        {
          "name": "actions.capability.SCREEN_OUTPUT"
        }
      ]
    }
  ]
}
  2. Übertragung des Nutzers auf die neue Oberfläche beantragen

    Wenn eine Oberfläche mit den erforderlichen Funktionen verfügbar ist, wird deine Aktion Sie müssen den Nutzer fragen, ob er die Unterhaltung übertragen möchte.

    Node.js

    if (conv.screen) {
  conv.ask(`You're already on a screen device.`);
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Current Capabilities',
    'Check Audio Capability',
    'Check Screen Capability',
    'Check Media Capability',
    'Check Web Capability',
  ]));
  return;
} else if (screenAvailable) {
  const context =
    `Let's move you to a screen device for cards and other visual responses`;
  const notification = 'Try your Action here!';
  const capabilities = ['actions.capability.SCREEN_OUTPUT'];
  return conv.ask(new NewSurface({context, notification, capabilities}));
} else {
  conv.ask('It looks like there is no screen device ' +
    'associated with this user.');
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Current Capabilities',
    'Check Audio Capability',
    'Check Screen Capability',
    'Check Media Capability',
    'Check Web Capability',
  ]));
};
    index.js

    Java

    ResponseBuilder responseBuilder = getResponseBuilder(request);
if (request.hasCapability(Capability.SCREEN_OUTPUT.getValue())) {
  responseBuilder.add("You're already on a screen device");
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Transfer surface",
        "Check Audio Capability",
        "Check Screen Capability",
        "Check Media Capability",
        "Check Web Capability",
      });
  return responseBuilder.build();
} else if (screenAvailable) {
  responseBuilder.add(
      new NewSurface()
          .setContext("Let's move you to a screen device for cards and other visual responses")
          .setNotificationTitle("Try your Action here!")
          .setCapabilities(Collections.singletonList(screen)));
  return responseBuilder.build();
} else {
  responseBuilder.add("It looks like there is no screen device associated with this user.");
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Transfer surface",
        "Check Audio Capability",
        "Check Screen Capability",
        "Check Media Capability",
        "Check Web Capability",
      });
  return responseBuilder.build();
}
    MyActionsApp.java

    Node.js

    if (conv.screen) {
  conv.ask(`You're already on a screen device.`);
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Transfer surface',
    'Current capabilities',
  ]));
  return;
} else if (screenAvailable) {
  const context =
    `Let's move you to a screen device for cards and other visual responses`;
  const notification = 'Try your Action here!';
  const capabilities = ['actions.capability.SCREEN_OUTPUT'];
  return conv.ask(new NewSurface({context, notification, capabilities}));
} else {
  conv.ask('It looks like there is no screen device ' +
    'associated with this user.');
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Transfer surface',
    'Current capabilities',
  ]));
};
    index.js

    Java

    ResponseBuilder responseBuilder = getResponseBuilder(request);
if (request.hasCapability(Capability.SCREEN_OUTPUT.getValue())) {
  responseBuilder.add("You're already on a screen device");
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Current capabilities", "Transfer surface",
      });
  return responseBuilder.build();
} else if (screenAvailable) {
  responseBuilder.add(
      new NewSurface()
          .setContext("Let's move you to a screen device for cards and other visual responses")
          .setNotificationTitle("Try your Action here!")
          .setCapabilities(Collections.singletonList(screen)));
  return responseBuilder.build();
} else {
  responseBuilder.add("It looks like there is no screen device associated with this user.");
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Current capabilities", "Transfer surface",
      });
  return responseBuilder.build();
}
    MyActionsApp.java

    JSON

    Im folgenden JSON-Code wird eine Webhook-Antwort beschrieben.

    {
  "payload": {
    "google": {
      "expectUserResponse": true,
      "systemIntent": {
        "intent": "actions.intent.NEW_SURFACE",
        "data": {
          "@type": "type.googleapis.com/google.actions.v2.NewSurfaceValueSpec",
          "capabilities": [
            "actions.capability.SCREEN_OUTPUT"
          ],
          "context": "Let's move you to a screen device for cards and other visual responses",
          "notificationTitle": "Try your Action here!"
        }
      }
    }
  }
}

    JSON

    Im folgenden JSON-Code wird eine Webhook-Antwort beschrieben.

    {
  "expectUserResponse": true,
  "expectedInputs": [
    {
      "possibleIntents": [
        {
          "intent": "actions.intent.NEW_SURFACE",
          "inputValueData": {
            "@type": "type.googleapis.com/google.actions.v2.NewSurfaceValueSpec",
            "capabilities": [
              "actions.capability.SCREEN_OUTPUT"
            ],
            "context": "Let's move you to a screen device for cards and other visual responses",
            "notificationTitle": "Try your Action here!"
          }
        }
      ]
    }
  ]
}
  3. Antwort des Nutzers verarbeiten

    Basierend auf der Antwort des Nutzers auf deine Anfrage wird deine Aktion entweder die Kontrolle der Unterhaltung an die ursprüngliche Oberfläche zurückgeben. In jedem Fall enthält die nächste Anfrage an Ihren Endpunkt das actions.intent.NEW_SURFACE Intent erstellt. Sie sollten daher einen Intent erstellen, der bei diesem Ereignis mit einem entsprechenden Handler im Webhook. Im Handler-Code sollten Sie Prüfen Sie, ob die Übertragung erfolgreich war.

    Node.js

    app.intent('Transfer Surface - NEW_SURFACE', (conv, input, newSurface) => {
  if (newSurface.status === 'OK') {
    conv.ask('Welcome to a screen device!');
    conv.ask(new BasicCard({
      title: `You're on a screen device!`,
      text: `Screen devices support basic cards and other visual responses!`,
    }));
  } else {
    conv.ask(`Ok, no problem.`);
  }
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Current Capabilities',
    'Check Audio Capability',
    'Check Screen Capability',
    'Check Media Capability',
    'Check Web Capability',
  ]));
});
    index.js

    Java

    @ForIntent("Transfer Surface - NEW_SURFACE")
public ActionResponse newSurface(ActionRequest request) {
  ResponseBuilder responseBuilder = getResponseBuilder(request);
  Map<String, Object> newSurfaceStatus = request.getArgument("NEW_SURFACE").getExtension();
  if (newSurfaceStatus.get("status").equals("OK")) {
    responseBuilder.add("Welcome to a screen device!");
    responseBuilder.add(
        new BasicCard()
            .setTitle("You're on a screened device!")
            .setFormattedText("Screen devices support basic cards and other visual responses!"));
  } else {
    responseBuilder.add("Ok, no problem.");
  }
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Transfer surface",
        "Check Audio Capability",
        "Check Screen Capability",
        "Check Media Capability",
        "Check Web Capability",
      });
  return responseBuilder.build();
}
    MyActionsApp.java

    Node.js

    app.intent('actions.intent.NEW_SURFACE', (conv) => {
  if (conv.arguments.get('NEW_SURFACE').status === 'OK') {
    conv.ask('Welcome to a screen device!');
    conv.ask(new BasicCard({
      title: `You're on a screen device!`,
      text: `Screen devices support basic cards and other visual responses!`,
    }));
  } else {
    conv.ask(`Ok, no problem.`);
  }
  conv.ask('What else would you like to try?');
  conv.ask(new Suggestions([
    'Transfer surface',
    'Current capabilities',
  ]));
});
    index.js

    Java

    @ForIntent("actions.intent.NEW_SURFACE")
public ActionResponse newSurface(ActionRequest request) {
  ResponseBuilder responseBuilder = getResponseBuilder(request);
  Map<String, Object> newSurfaceStatus = request.getArgument("NEW_SURFACE").getExtension();
  if (newSurfaceStatus.get("status").equals("OK")) {
    responseBuilder.add("Welcome to a screen device!");
    responseBuilder.add(
        new BasicCard()
            .setTitle("You're on a screened device!")
            .setFormattedText("Screen devices support basic cards and other visual responses!"));
  } else {
    responseBuilder.add("Ok, no problem.");
  }
  responseBuilder.add("What else would you like to try?");
  responseBuilder.addSuggestions(
      new String[] {
        "Current capabilities", "Transfer surface",
      });
  return responseBuilder.build();
}
    MyActionsApp.java

    JSON

    Im JSON-Format wird eine Webhook-Anfrage beschrieben.

    {
  "responseId": "94b74485-cd7a-4b3b-b96a-fec15f3a496c-712767ed",
  "queryResult": {
    "queryText": "actions_intent_NEW_SURFACE",
    "parameters": {},
    "allRequiredParamsPresent": true,
    "fulfillmentText": "Webhook failed for intent: Transfer Surface - NEW_SURFACE",
    "fulfillmentMessages": [
      {
        "text": {
          "text": [
            "Webhook failed for intent: Transfer Surface - NEW_SURFACE"
          ]
        }
      }
    ],
    "outputContexts": [
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_capability_screen_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_capability_web_browser"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_capability_audio_output"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_capability_media_response_audio"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_capability_account_linking"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/google_assistant_input_type_voice"
      },
      {
        "name": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q/contexts/actions_intent_new_surface",
        "parameters": {
          "NEW_SURFACE": {
            "@type": "type.googleapis.com/google.actions.v2.NewSurfaceValue",
            "status": "OK"
          },
          "text": ""
        }
      }
    ],
    "intent": {
      "name": "projects/df-surface-caps-kohler/agent/intents/9db3798d-bdac-4dc8-a8e7-52349a3af0e8",
      "displayName": "Transfer Surface - NEW_SURFACE"
    },
    "intentDetectionConfidence": 1,
    "languageCode": "en"
  },
  "originalDetectIntentRequest": {
    "source": "google",
    "version": "2",
    "payload": {
      "user": {
        "locale": "en-US",
        "userVerificationStatus": "VERIFIED"
      },
      "conversation": {
        "conversationId": "ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q",
        "type": "ACTIVE",
        "conversationToken": "[]"
      },
      "inputs": [
        {
          "intent": "actions.intent.NEW_SURFACE",
          "rawInputs": [
            {
              "inputType": "VOICE"
            }
          ],
          "arguments": [
            {
              "name": "NEW_SURFACE",
              "extension": {
                "@type": "type.googleapis.com/google.actions.v2.NewSurfaceValue",
                "status": "OK"
              }
            },
            {
              "name": "text"
            }
          ]
        }
      ],
      "surface": {
        "capabilities": [
          {
            "name": "actions.capability.SCREEN_OUTPUT"
          },
          {
            "name": "actions.capability.WEB_BROWSER"
          },
          {
            "name": "actions.capability.AUDIO_OUTPUT"
          },
          {
            "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
          },
          {
            "name": "actions.capability.ACCOUNT_LINKING"
          }
        ]
      },
      "availableSurfaces": [
        {
          "capabilities": [
            {
              "name": "actions.capability.SCREEN_OUTPUT"
            },
            {
              "name": "actions.capability.WEB_BROWSER"
            },
            {
              "name": "actions.capability.AUDIO_OUTPUT"
            }
          ]
        }
      ]
    }
  },
  "session": "projects/df-surface-caps-kohler/agent/sessions/ABwppHEfQy-JgH7nmiW5gHWiDEyvqNRSPv9zkd3qTVF7F8G8YXJFI2_yal335Co0Z-_N5oUBTmVO_DJUlQONqd5lUgZz-Q"
}

    JSON

    Im JSON-Format wird eine Webhook-Anfrage beschrieben.

    {
  "user": {
    "locale": "en-US",
    "userVerificationStatus": "VERIFIED"
  },
  "conversation": {
    "conversationId": "ABwppHENAOzBH5swn9iKb5QgUliTw4JLu5f86gS373tGtNvYcz1C3qHdorjcIb77o_PUleXGzIEFdPsl3-kmIAARvx67A7Ym",
    "type": "NEW"
  },
  "inputs": [
    {
      "intent": "actions.intent.NEW_SURFACE",
      "rawInputs": [
        {
          "inputType": "VOICE"
        }
      ],
      "arguments": [
        {
          "name": "NEW_SURFACE",
          "extension": {
            "@type": "type.googleapis.com/google.actions.v2.NewSurfaceValue",
            "status": "OK"
          }
        },
        {
          "name": "text"
        }
      ]
    }
  ],
  "surface": {
    "capabilities": [
      {
        "name": "actions.capability.SCREEN_OUTPUT"
      },
      {
        "name": "actions.capability.ACCOUNT_LINKING"
      },
      {
        "name": "actions.capability.MEDIA_RESPONSE_AUDIO"
      },
      {
        "name": "actions.capability.AUDIO_OUTPUT"
      },
      {
        "name": "actions.capability.WEB_BROWSER"
      }
    ]
  },
  "availableSurfaces": [
    {
      "capabilities": [
        {
          "name": "actions.capability.WEB_BROWSER"
        },
        {
          "name": "actions.capability.AUDIO_OUTPUT"
        },
        {
          "name": "actions.capability.SCREEN_OUTPUT"
        }
      ]
    }
  ]
}