איך מתחילים לעבוד עם קריטריונים להערכה

rubric היא תבנית שהמורים יכולים להשתמש בה כדי לתת ציונים לעבודות שהתלמידים הגישו. בעזרת Classroom API אפשר לפעול בשם המורה כדי לנהל את הקריטריונים האלה, וגם לקרוא את הציונים לפי הקריטריונים בעבודות שהתלמידים הגישו.

תצוגה של קריטריון הערכה בממשק המשתמש של Classroom איור 1. תצוגה של קריטריון הערכה לדוגמה במטלה ב-Classroom.

במדריך הזה מוסברים המושגים הבסיסיים והפונקציונליות של Rubrics API. במאמרים הבאים במרכז העזרה אפשר לקרוא על המבנה הכללי של קריטריון להערכה ועל הערכה באמצעות קריטריון בממשק המשתמש של Classroom.

דרישות מוקדמות

במדריך הזה אנחנו יוצאים מנקודת הנחה שיש לכם:

אישור פרטי כניסה לאפליקציה למחשב

כדי לבצע אימות כמשתמש קצה ולגשת לנתוני משתמשים באפליקציה, צריך ליצור מזהה לקוח אחד או יותר של OAuth 2.0. מזהה לקוח משמש לזיהוי של אפליקציה אחת בשרתי OAuth של Google. אם האפליקציה פועלת בכמה פלטפורמות, צריך ליצור מזהה לקוח נפרד לכל פלטפורמה.

  1. נכנסים אל הדף Credentials במסוף Google Cloud.
  2. לוחצים על Create Credentials (יצירת פרטי כניסה) > OAuth client ID (מזהה לקוח OAuth).
  3. לוחצים על Application type (סוג האפליקציה) > Desktop app (אפליקציה למחשב).
  4. בשדה Name, מקלידים שם לפרטי הכניסה. השם הזה מוצג רק במסוף Google Cloud. לדוגמה, 'Rubrics client'.
  5. לוחצים על יצירה. מופיע מסך עם פרטי לקוח OAuth שנוצר, שבו מוצגים מזהה הלקוח החדש וסוד הלקוח.
  6. לוחצים על הורדת קובץ JSON ואז על אישור. פרטי הכניסה החדשים שנוצרו מופיעים בקטע OAuth 2.0 Client IDs (מזהי לקוח ב-OAuth 2.0).
  7. שומרים את קובץ ה-JSON שהורדתם בשם credentials.json ומעבירים את הקובץ לספריית העבודה.
  8. לוחצים על Create Credentials (יצירת אמצעי אימות) > API Key (מפתח API) ורושמים את מפתח ה-API.

מידע נוסף זמין במאמר בנושא יצירת פרטי גישה.

הגדרת היקפי הרשאות OAuth

יכול להיות שתצטרכו להגדיר היקפי הרשאות נוספים, בהתאם להיקפי ההרשאות הקיימים ל-OAuth בפרויקט.

  1. עוברים אל מסך ההסכמה ל-OAuth.
  2. לוחצים על עריכת האפליקציה > שמירה והמשך כדי להגיע למסך ההיקפים.
  3. לוחצים על הוספה או הסרה של היקפים.
  4. אם אין לכם את ההיקפים הבאים, מוסיפים אותם:
    • https://www.googleapis.com/auth/classroom.coursework.students
    • https://www.googleapis.com/auth/classroom.courses
  5. אחר כך לוחצים על עדכון > שמירה והמשך > שמירה והמשך > חזרה למרכז הבקרה.

מידע נוסף זמין במאמר בנושא הגדרת מסך ההסכמה של OAuth.

היקף ההרשאות classroom.coursework.students מאפשר גישת קריאה וכתיבה לטבלאות קריטריונים (יחד עם גישה ל-CourseWork), והיקף ההרשאות classroom.courses מאפשר קריאה וכתיבה של קורסים.

ההיקפים הנדרשים לשיטה מסוימת מפורטים במסמכי העזר של השיטה. לדוגמה, אפשר לעיין בcourses.courseWork.rubrics.create היקפי ההרשאות. במאמר היקפי OAuth 2.0 ל-Google APIs אפשר לראות את כל ההיקפים של Classroom.

הגדרת הדוגמה

בספריית העבודה, מתקינים את ספריית הלקוח של Google ל-Python:

pip install --upgrade google-api-python-client google-auth-httplib2 google-auth-oauthlib

יוצרים קובץ בשם main.py שבונה את ספריית הלקוח ומאשר את המשתמש באמצעות מפתח ה-API במקום YOUR_API_KEY:

import json
import os.path

from google.auth.transport.requests import Request
from google.oauth2.credentials import Credentials
from google_auth_oauthlib.flow import InstalledAppFlow
from googleapiclient.discovery import build
from googleapiclient.errors import HttpError

# If modifying these scopes, delete the file token.json.
SCOPES = ['https://www.googleapis.com/auth/classroom.courses',
          'https://www.googleapis.com/auth/classroom.coursework.students']

def build_authenticated_service(api_key):
    """Builds the Classroom service."""
    creds = None
    # The file token.json stores the user's access and refresh tokens, and is
    # created automatically when the authorization flow completes for the first
    # time.
    if os.path.exists('token.json'):
        creds = Credentials.from_authorized_user_file('token.json', SCOPES)
    # If there are no (valid) credentials available, let the user log in.
    if not creds or not creds.valid:
        if creds and creds.expired and creds.refresh_token:
            creds.refresh(Request())
        else:
            flow = InstalledAppFlow.from_client_secrets_file(
                'credentials.json', SCOPES)
            creds = flow.run_local_server(port=0)
        # Save the credentials for the next run.
        with open('token.json', 'w') as token:
            token.write(creds.to_json())

    try:
        # Build the Classroom service.
        service = build(
            serviceName="classroom",
            version="v1",
            credentials=creds,
            discoveryServiceUrl=f"https://classroom.googleapis.com/$discovery/rest?labels=DEVELOPER_PREVIEW&key={api_key}")

        return service

    except HttpError as error:
        print('An error occurred: %s' % error)

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

מריצים את הסקריפט באמצעות python main.py. תתבקשו להיכנס לחשבון ולאשר את היקפי ההרשאות של OAuth.

יצירת מטלה

קריטריון הערכה משויך למטלה, או CourseWork, והוא רלוונטי רק בהקשר של אותו CourseWork. אפשר ליצור קריטריונים רק באמצעות הפרויקט ב-Google Cloud שיצר את פריט CourseWork ההורה. לצורך המדריך הזה, יוצרים הקצאה חדשה CourseWork עם סקריפט.

מי יצורף למרחב main.py:

def get_latest_course(service):
    """Retrieves the last created course."""
    try:
        response = service.courses().list(pageSize=1).execute()
        courses = response.get("courses", [])
        if not courses:
            print("No courses found. Did you remember to create one in the UI?")
            return
        course = courses[0]
        return course

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

def create_coursework(service, course_id):
    """Creates and returns a sample coursework."""
    try:
        coursework = {
            "title": "Romeo and Juliet analysis.",
            "description": """Write a paper arguing that Romeo and Juliet were
                                time travelers from the future.""",
            "workType": "ASSIGNMENT",
            "state": "PUBLISHED",
        }
        coursework = service.courses().courseWork().create(
            courseId=course_id, body=coursework).execute()
        return coursework

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

עכשיו מעדכנים את main.py כדי לאחזר את course_id של מחלקת הבדיקה שיצרתם, יוצרים מטלה לדוגמה ומאחזרים את coursework_id של המטלה:

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    course = get_latest_course(service)
    course_id = course.get("id")
    course_name = course.get("name")
    print(f"'{course_name}' course ID: {course_id}")

    coursework = create_coursework(service, course_id)
    coursework_id = coursework.get("id")
    print(f"Assignment created with ID {coursework_id}")

    #TODO(developer): Save the printed course and coursework IDs.

שומרים את course_id ואת coursework_id. הם נדרשים לכל פעולות ה-CRUD של קריטריונים להערכה.

עכשיו אמורה להיות לכם דוגמה של CourseWork ב-Classroom.

תצוגה של מטלה בממשק המשתמש של Classroom איור 2. תצוגה של מטלה לדוגמה ב-Classroom.

בדיקת הזכאות של המשתמשים

כדי ליצור ולעדכן קריטריונים להערכה, גם למשתמש ששולח את הבקשה וגם לבעלים של הקורס המתאים צריך להיות רישיון ל-Google Workspace for Education Plus. ‫Classroom תומך בנקודת קצה (endpoint) של זכאות למשתמש, כדי לאפשר למפתחים לקבוע את היכולות שלמשתמש יש גישה אליהן.

מעדכנים ומריצים את main.py כדי לוודא שלחשבון הבדיקה יש גישה ליכולת של כלי הקריטריונים:

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    capability = service.userProfiles().checkUserCapability(
        userId='me',
        # Specify the preview version. checkUserCapability is
        # supported in V1_20240930_PREVIEW and later.
        previewVersion="V1_20240930_PREVIEW",
        capability="CREATE_RUBRIC").execute()

    if not capability.get('allowed'):
      print('User ineligible for rubrics creation.')
      # TODO(developer): in a production app, this signal could be used to
      # proactively hide any rubrics related features from users or encourage
      # them to upgrade to the appropriate license.
    else:
      print('User eligible for rubrics creation.')

יצירת קריטריון הערכה

עכשיו אפשר להתחיל לנהל קריטריונים להערכה.

אפשר ליצור קריטריון הערכה ב-CourseWork באמצעות קריאה ל-create() שמכילה את אובייקט קריטריון ההערכה המלא, כשמאפייני המזהה של הקריטריונים והרמות מושמטים (הם נוצרים בזמן היצירה).

מוסיפים את הפונקציה הבאה ל-main.py:

def create_rubric(service, course_id, coursework_id):
    """Creates an example rubric on a coursework."""
    try:
        body = {
            "criteria": [
                {
                    "title": "Argument",
                    "description": "How well structured your argument is.",
                    "levels": [
                        {"title": "Convincing",
                         "description": "A compelling case is made.", "points": 30},
                        {"title": "Passable",
                         "description": "Missing some evidence.", "points": 20},
                        {"title": "Needs Work",
                         "description": "Not enough strong evidence..", "points": 0},
                    ]
                },
                {
                    "title": "Spelling",
                    "description": "How well you spelled all the words.",
                    "levels": [
                        {"title": "Perfect",
                         "description": "No mistakes.", "points": 20},
                        {"title": "Great",
                         "description": "A mistake or two.", "points": 15},
                        {"title": "Needs Work",
                         "description": "Many mistakes.", "points": 5},
                    ]
                },
                {
                    "title": "Grammar",
                    "description": "How grammatically correct your sentences are.",
                    "levels": [
                        {"title": "Perfect",
                         "description": "No mistakes.", "points": 20},
                        {"title": "Great",
                         "description": "A mistake or two.", "points": 15},
                        {"title": "Needs Work",
                         "description": "Many mistakes.", "points": 5},
                    ]
                },
            ]
        }

        rubric = service.courses().courseWork().rubrics().create(
            courseId=course_id, courseWorkId=coursework_id, body=body
            ).execute()
        print(f"Rubric created with ID {rubric.get('id')}")
        return rubric

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

לאחר מכן מעדכנים ומריצים את main.py כדי ליצור את טבלת הקריטריונים לדוגמה, באמצעות מזהי Course ו-CourseWork שצוינו קודם:

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    capability = service.userProfiles().checkUserCapability(
        userId='me',
        # Specify the preview version. checkUserCapability is
        # supported in V1_20240930_PREVIEW and later.
        previewVersion="V1_20240930_PREVIEW",
        capability="CREATE_RUBRIC").execute()

    if not capability.get('allowed'):
      print('User ineligible for rubrics creation.')
      # TODO(developer): in a production app, this signal could be used to
      # proactively hide any rubrics related features from users or encourage
      # them to upgrade to the appropriate license.
    else:
      rubric = create_rubric(service, YOUR_COURSE_ID, YOUR_COURSEWORK_ID)
      print(json.dumps(rubric, indent=4))

כמה נקודות לגבי ייצוג הקריטריון להערכה:

  • סדר הקריטריונים והרמות משתקף בממשק המשתמש של Classroom.
  • רמות עם ניקוד (אלה עם המאפיין points) חייבות להיות ממוינות לפי נקודות בסדר עולה או בסדר יורד (אי אפשר להזמין אותן באופן אקראי).
  • המורים יכולים למיין מחדש את הקריטריונים ואת רמות הניקוד (אבל לא את הרמות ללא ניקוד) בממשק המשתמש, והפעולה הזו משנה את הסדר שלהם בנתונים.

במאמר מגבלות יש עוד אזהרות לגבי מבנה קריטריונים.

בממשק המשתמש, אמורה להופיע רובריקה במטלה.

תצוגה של קריטריון הערכה בממשק המשתמש של Classroom איור 3. תצוגה של קריטריון הערכה לדוגמה במטלה ב-Classroom.

קריאת קריטריון הערכה

אפשר לקרוא קריטריונים להערכה באמצעות השיטות הרגילות list() ו-get().

יכול להיות שיש לכם תחושה שאין היגיון בשימוש ב-list(), כי יכולה להיות רק רובריקה אחת במטלה. אבל אם אין לכם את מזהה הרובריקה, השימוש ב-list() יכול לעזור. אם אין קריטריון הערכה שמשויך ל-CourseWork, התגובה list() ריקה.

מוסיפים את הפונקציה הבאה ל-main.py:

def get_rubric(service, course_id, coursework_id):
    """
    Get the rubric on a coursework. There can only be at most one.
    Returns null if there is no rubric.
    """
    try:
        response = service.courses().courseWork().rubrics().list(
            courseId=course_id, courseWorkId=coursework_id
            ).execute()

        rubrics = response.get("rubrics", [])
        if not rubrics:
            print("No rubric found for this assignment.")
            return
        rubric = rubrics[0]
        return rubric

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

מעדכנים ומריצים את main.py כדי לאחזר את קריטריון ההערכה שהוספתם:

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    rubric = get_rubric(service, YOUR_COURSE_ID, YOUR_COURSEWORK_ID)
    print(json.dumps(rubric, indent=4))

    #TODO(developer): Save the printed rubric ID.

חשוב לשים לב לנכס id בטבלת הקריטריונים, כי תצטרכו אותו בשלבים הבאים.

Get() פועל בצורה טובה כשמזינים את מזהה הקריטריון. השימוש ב-get() בפונקציה יכול להיראות כך:

def get_rubric(service, course_id, coursework_id, rubric_id):
    """
    Get the rubric on a coursework. There can only be at most one.
    Returns a 404 if there is no rubric.
    """
    try:
        rubric = service.courses().courseWork().rubrics().get(
            courseId=course_id,
            courseWorkId=coursework_id,
            id=rubric_id
        ).execute()

        return rubric

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

ההטמעה הזו מחזירה 404 אם אין קריטריון הערכה.

עדכון קריטריון הערכה

עדכונים לקריטריון הערכה מתבצעים באמצעות קריאות ל-patch(). בגלל המבנה המורכב של קריטריון הערכה, צריך לבצע עדכונים באמצעות תבנית של קריאה-שינוי-כתיבה, שבה מחליפים את כל המאפיין criteria.

כללי העדכון הם:

  1. קריטריונים או רמות שנוספו בלי מזהה נחשבים תוספות.
  2. קריטריונים או רמות שחסרים בהשוואה למה שהיה קודם נחשבים למחיקות.
  3. קריטריונים או רמות עם מזהה קיים אבל נתונים ששונו נחשבים עריכות. מאפיינים שלא משתנים נשארים כמו שהם.
  4. קריטריונים או רמות שסופקו עם מזהים חדשים או לא ידועים נחשבים לשגיאות.
  5. הסדר של הקריטריונים והרמות החדשים הוא הסדר החדש בממשק המשתמש (עם המגבלות שצוינו למעלה).

מוסיפים פונקציה לעדכון קריטריון הערכה:

def update_rubric(service, course_id, coursework_id, rubric_id, body):
    """
    Updates the rubric on a coursework.
    """
    try:
        rubric = service.courses().courseWork().rubrics().patch(
            courseId=course_id,
            courseWorkId=coursework_id,
            id=rubric_id,
            body=body,
            updateMask='criteria'
        ).execute()

        return rubric

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

בדוגמה הזו, השדה criteria מוגדר לשינוי עם updateMask.

לאחר מכן משנים את main.py כדי לבצע שינוי בכל אחד מכללי העדכון שצוינו למעלה:

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    capability = service.userProfiles().checkUserCapability(
        userId='me',
        # Specify the preview version. checkUserCapability is
        # supported in V1_20240930_PREVIEW and later.
        previewVersion="V1_20240930_PREVIEW",
        capability="CREATE_RUBRIC").execute()

    if not capability.get('allowed'):
      print('User ineligible for rubrics creation.')
      # TODO(developer): in a production app, this signal could be used to
      # proactively hide any rubrics related features from users or encourage
      # them to upgrade to the appropriate license.
    else:
        # Get the latest rubric.
        rubric = get_rubric(service, YOUR_COURSE_ID, YOUR_COURSEWORK_ID)
        criteria = rubric.get("criteria")
        """
        The "criteria" property should look like this:
        [
            {
                "id": "NkEyMdMyMzM2Nxkw",
                "title": "Argument",
                "description": "How well structured your argument is.",
                "levels": [
                    {
                        "id": "NkEyMdMyMzM2Nxkx",
                        "title": "Convincing",
                        "description": "A compelling case is made.",
                        "points": 30
                    },
                    {
                        "id": "NkEyMdMyMzM2Nxky",
                        "title": "Passable",
                        "description": "Missing some evidence.",
                        "points": 20
                    },
                    {
                        "id": "NkEyMdMyMzM2Nxkz",
                        "title": "Needs Work",
                        "description": "Not enough strong evidence..",
                        "points": 0
                    }
                ]
            },
            {
                "id": "NkEyMdMyMzM2Nxk0",
                "title": "Spelling",
                "description": "How well you spelled all the words.",
                "levels": [...]
            },
            {
                "id": "NkEyMdMyMzM2Nxk4",
                "title": "Grammar",
                "description": "How grammatically correct your sentences are.",
                "levels": [...]
            }
        ]
        """

        # Make edits. This example will make one of each type of change.

        # Add a new level to the first criteria. Levels must remain sorted by
        # points.
        new_level = {
            "title": "Profound",
            "description": "Truly unique insight.",
            "points": 50
        }
        criteria[0]["levels"].insert(0, new_level)

        # Remove the last criteria.
        del criteria[-1]

        # Update the criteria titles with numeric prefixes.
        for index, criterion in enumerate(criteria):
            criterion["title"] = f"{index}: {criterion['title']}"

        # Resort the levels from descending to ascending points.
        for criterion in criteria:
            criterion["levels"].sort(key=lambda level: level["points"])

        # Update the rubric with a patch call.
        new_rubric = update_rubric(
            service, YOUR_COURSE_ID, YOUR_COURSEWORK_ID, YOUR_RUBRIC_ID, rubric)

        print(json.dumps(new_rubric, indent=4))

השינויים אמורים להשתקף עכשיו אצל המורה ב-Classroom.

תצוגה של קריטריון הערכה מעודכן בממשק המשתמש של Classroom איור 4. תצוגה של הקריטריון המעודכן.

צפייה במטלות שהוגשו וקיבלו ציון באמצעות קריטריון הערכה

בשלב הזה, אי אפשר לתת ציונים להגשות של תלמידים באמצעות קריטריון הערכה דרך ה-API, אבל אפשר לקרוא ציונים של קריטריון הערכה להגשות שקיבלו ציון באמצעות קריטריון הערכה בממשק המשתמש של Classroom.

בתור תלמידים בממשק המשתמש של Classroom, משלימים את המטלה לדוגמה ומגישים אותה. לאחר מכן, המורה יכול/ה לתת ציון למטלה באופן ידני באמצעות קריטריון ההערכה.

תצוגה של ציון בקריטריון הערכה בממשק המשתמש של Classroom איור 5. תצוגת הקריטריון למורים במהלך מתן הציונים.

StudentSubmissions שקיבלו ציון באמצעות קריטריון הערכה, יש שתי מאפיינים חדשים: draftRubricGrades ו-assignedRubricGrades. המאפיינים האלה מייצגים את הנקודות והרמות שנבחרו על ידי המורה במהלך מצבי הטיוטה והציון שהוקצה, בהתאמה.

אפשר להשתמש בשיטות הקיימות studentSubmissions.get() ו-studentSubmissions.list() כדי לראות את העבודות שקיבלו ציון.

מוסיפים את הפונקציה הבאה ל-main.py כדי להציג רשימה של מטלות שהתלמידים הגישו:

def get_latest_submission(service, course_id, coursework_id):
    """Retrieves the last submission for an assignment."""
    try:
        response = service.courses().courseWork().studentSubmissions().list(
            courseId = course_id,
            courseWorkId = coursework_id,
            pageSize=1
        ).execute()
        submissions = response.get("studentSubmissions", [])
        if not submissions:
            print(
                """No submissions found. Did you remember to turn in and grade
                   the assignment in the UI?""")
            return
        submission = submissions[0]
        return submission

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

לאחר מכן מעדכנים ומריצים את main.py כדי לראות את הציונים של העבודות.

if __name__ == '__main__':
    service = build_authenticated_service(YOUR_API_KEY)

    submission = get_latest_submission(
        service, YOUR_COURSE_ID, YOUR_COURSEWORK_ID)
    print(json.dumps(submission, indent=4))

השדות draftRubricGrades ו-assignedRubricGrades מכילים:

  • ה-criterionId של קריטריון ההערכה המתאים.
  • points הציון שהמורה הקצה לכל קריטריון. יכול להיות שההגדרה הזו נבחרה ברמה מסוימת, אבל יכול להיות שהמורה שינה אותה.
  • הlevelId של הרמה שנבחרה לכל קריטריון. אם המורה לא בחר רמה, אבל עדיין הקצה נקודות לקריטריון, השדה הזה לא יופיע.

הרשימות האלה מכילות רק רשומות של הקריטריונים שבהם המורה בחר רמה או הגדיר נקודות. לדוגמה, אם מורה בוחר לקיים אינטראקציה רק עם קריטריון אחד במהלך מתן הציון, ב-draftRubricGrades וב-assignedRubricGrades יהיה רק פריט אחד, גם אם יש בקריטריון הרבה קריטריונים.

מחיקת קריטריון הערכה

אפשר למחוק קריטריון הערכה באמצעות בקשה רגילה delete(). הקוד הבא מציג פונקציה לדוגמה לצורך השלמה, אבל מאחר שהמתן ציונים כבר התחיל, אי אפשר למחוק את קריטריון ההערכה הנוכחי:

def delete_rubric(service, course_id, coursework_id, rubric_id):
    """Deletes the rubric on a coursework."""
    try:
        service.courses().courseWork().rubrics().delete(
            courseId=course_id,
            courseWorkId=coursework_id,
            id=rubric_id
        ).execute()

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error

ייצוא וייבוא של קריטריוני הערכה

מורים יכולים לייצא קריטריונים להערכה ל-Google Sheets כדי לעשות בהם שימוש חוזר.

בנוסף לאפשרות לציין קריטריוני הערכה בקוד, אפשר ליצור ולעדכן טבלאות הערכה מגיליונות מיוצאים כאלה על ידי ציון sourceSpreadsheetId בגוף טבלת ההערכה במקום criteria:

def create_rubric_from_sheet(service, course_id, coursework_id, sheet_id):
    """Creates an example rubric on a coursework."""
    try:
        body = {
            "sourceSpreadsheetId": sheet_id
        }

        rubric = service.courses().courseWork().rubrics().create(
            courseId=course_id, courseWorkId=coursework_id, body=body
            ).execute()

        print(f"Rubric created with ID {rubric.get('id')}")
        return rubric

    except HttpError as error:
        print(f"An error occurred: {error}")
        return error