אחרי ש-Google Assistant פועלת בפרויקט, אפשר לנסות את הפעולות הבאות:
להתאים אישית את האינטראקציה של הפרויקט עם Assistant. לדוגמה, אפשר להפעיל את Assistant בלחיצה על לחצן או להבהב נורית LED כשמפעילים אודיו. אפשר אפילו להציג תמליל של זיהוי דיבור מה-Assistant במסך.
שליטה בפרויקט באמצעות פקודות בהתאמה אישית. לדוגמה, תוכלו לבקש ממכונת הקוקטיילים עם Assistant מובנית להכין את המשקה האהוב עליכם.
התאמה אישית של האינטראקציה בין הפרויקט לבין Assistant
הפעלת Assistant
בעזרת Google Assistant Service API אפשר לקבוע מתי להפעיל בקשה של Assistant. משנים את הקוד לדוגמה כדי לשלוט בכך (למשל בלחיצת כפתור). כדי להפעיל בקשה מ-Assistant, נשלחת בקשה אל EmbeddedAssistant.Assist.
קבלת התמליל של הבקשה מהמשתמש
ב-Google Assistant SDK יש תמליל טקסט של בקשת המשתמש. אפשר להשתמש בו כדי לשלוח משוב למשתמש על ידי רינדור הטקסט במסך, או אפילו בשביל יצירה יצירתית יותר, כמו ביצוע פעולות מקומיות במכשיר.
התמליל הזה נמצא בשדה SpeechRecognitionResult.transcript.
קבלת הטקסט מהתשובה של Assistant
ה-SDK של Google Assistant מספק טקסט פשוט של התשובה מ-Assistant. אפשר להשתמש בו כדי לשלוח משוב למשתמש על ידי רינדור הטקסט במסך.
הטקסט הזה ממוקם בשדה DialogStateOut.supplemental_display_text.
קבלת התשובה החזותית של Assistant
ב-Google Assistant SDK יש תמיכה ברינדור התגובה של Assistant לתצוגה, במקרה של תגובות חזותיות לשאילתות מסוימות. לדוגמה, השאילתה What is the weather in Mountain View? תציג את הטמפרטורה הנוכחית, ייצוג גרפי של מזג האוויר והצעות לשאילתות קשורות. נתוני HTML5 האלה (אם קיימים) ממוקמים בשדה ScreenOut.data אם התכונה הזו מופעלת.
אפשר להפעיל את ההגדרה הזו בדוגמאות pushtotalk.py ו-textinput.py באמצעות התכונה הניסיונית --display בשורת הפקודה. הנתונים מעובדים בחלון דפדפן.
שליחת שאילתות באמצעות קלט טקסט
אם למכשיר מצורף ממשק טקסט (למשל מקלדת),
צריך להגדיר את השדה text_query בשדה config (מידע נוסף ב-AssistConfig).
אין להגדיר את השדה audio_in_config.
הקוד לדוגמה כולל את הקובץ textinput.py. אפשר להריץ את הקובץ הזה כדי לשלוח שאילתות
באמצעות קלט טקסט.
שליחת שאילתות באמצעות קלט של קובץ אודיו
הקוד לדוגמה כולל את הקובץ audiofileinput.py. ניתן להריץ את הקובץ הזה כדי לשלוח שאילתה
באמצעות קובץ אודיו. הפלט של הדוגמה הוא קובץ אודיו עם התשובה של Assistant.
שליטה בפרויקט באמצעות פקודות מותאמות אישית
אפשר להוסיף ל-Assistant פקודות מותאמות אישית שמאפשרות לשלוט בפרויקט באמצעות הקול.
הנה שתי דרכים לעשות זאת:
להרחיב את הדגימה של שירות Google Assistant כך שתכלול פעולות במכשיר.
יוצרים מתכון של IFTTT ל-Assistant. לאחר מכן מגדירים את IFTTT כדי ליצור בקשת HTTP מותאמת אישית לנקודת קצה שבחרתם בתגובה לפקודה של Assistant. כדי לעשות זאת, משתמשים בפעולות של Maker IFTTT.