Types de quotas
La plate-forme Earth Engine comporte un certain nombre de limites de quota pour garantir que les ressources sont distribuées équitablement entre les utilisateurs. Étant donné qu'il existe de nombreux types de ressources différents dans Earth Engine (calcul, stockage, etc.), il existe de nombreux types de limites de quota.
La principale différence entre les différents types de quotas est de savoir s'ils sont ajustables. Pour certains types de quotas, nous pouvons modifier les limites par utilisateur ou par projet, tandis que d'autres types sont des limites à l'échelle du système qui ne peuvent pas être modifiées.
Limites de quota ajustables
Les limites suivantes peuvent être ajustées pour chaque projet. Consultez la page d'aide pour savoir comment demander un quota supplémentaire.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Nombre maximal de requêtes simultanées (point de terminaison standard) | 40 requêtes simultanées |
| Nombre maximal de requêtes simultanées (point de terminaison à volume élevé) | 40 requêtes simultanées |
| Taux maximal de requêtes (par projet) | 100 requêtes/s (6 000 requêtes/min) |
| Taux maximal de requêtes (par compte) | 100 requêtes/s (6 000 requêtes/min) |
| Nombre moyen de tâches par lot simultanées | 2 tâches (en moyenne) |
| Espace de stockage maximal pour les composants | 250 Go |
| Nombre maximal de composants | 10 000 |
| Temps de calcul Earth Engine (temps d'EECU) par jour en secondes | Illimité |
Requêtes interactives simultanées
Chaque projet peut effectuer des requêtes interactives en parallèle, dans la limite d'un quota. Si la limite est dépassée, Earth Engine renvoie des erreurs"HTTP 429 : Too Many Requests". En général, ces erreurs sont gérées par la bibliothèque cliente Earth Engine, qui encapsule les requêtes dans un intervalle exponentiel et relance la requête jusqu'à ce qu'elle aboutisse. La bibliothèque cliente Earth Engine relancera la requête jusqu'à cinq fois.
Pour éviter de recevoir ces erreurs 429, vous pouvez activer la mise en cache pour votre application, par exemple en utilisant memcache, afin d'éviter les requêtes redondantes lorsque cela est possible. Si vous utilisez une ancienne version de la bibliothèque cliente Earth Engine qui ne relance pas automatiquement les requêtes, ou si une requête n'est toujours pas terminée après cinq tentatives, vous devrez peut-être implémenter un intervalle exponentiel autour des requêtes.
Taux de requêtes (RPS)
En plus des limites de simultanéité, Earth Engine limite le taux de requêtes interactives au niveau du projet et de l'utilisateur. Vous pouvez ajuster ces paramètres dans la console Cloud.
Tâches par lot simultanées
Les tâches par lot sont limitées à un faible niveau de parallélisme, car elles utilisent plus de ressources que les requêtes interactives.
Lorsque vous utilisez Earth Engine à des fins non commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est défini sur la valeur par défaut, sauf si vous avez bénéficié d'une augmentation de quota.
Lorsque vous utilisez Earth Engine à des fins commerciales, le nombre maximal de tâches par lot que vous pouvez exécuter simultanément est déterminé par le forfait, mais il peut être encore réduit en définissant la limite de simultanéité des tâches par lot par projet. Par défaut, la limite de simultanéité des tâches par lot dans un projet est définie sur la valeur maximale autorisée par le forfait configuré dans le compte de facturation du projet. Pour afficher ou modifier cette limite dans un projet, consultez la documentation de l'outil de ligne de commande.
Quota de stockage des composants
Chaque ressource Earth Engine possède une taille de stockage de données correspondante, mesurée en octets. Les éléments peuvent appartenir à des projets Cloud ou à des personnes (anciens éléments). Chaque élément est comptabilisé dans la limite Earth Engine de son propriétaire en termes de stockage global et de nombre d'éléments.
Temps d'EECU par jour
Si vous souhaitez contrôler les coûts, vous pouvez limiter la quantité de temps d'EECU qu'un projet est autorisé à consommer sur Earth Engine par jour. Par défaut, ce quota est illimité. Les administrateurs de quotas peuvent définir cette limite dans la console Cloud en filtrant la métrique de quota earthengine.googleapis.com/daily_eecu_usage_time. Une fois défini, ce quota cumule le temps d'EECU consommé par les requêtes Earth Engine réussies de tous les utilisateurs d'un projet. Lorsque le quota est dépassé, les requêtes échouent jusqu'à ce qu'il soit réinitialisé le lendemain ou que la limite soit augmentée. Pour en savoir plus sur la définition de ce quota, consultez le guide sur les contrôles des coûts.
Limites de quota fixes
Ces types de limites de quota sont définis au niveau de la plate-forme. Par conséquent, vous ne pouvez pas les ajuster par utilisateur ni par projet. Il est peu probable qu'ils changent de manière significative au fil du temps.
Temps de calcul
Les durées maximales des différents types de requêtes varient. Vous trouverez plus d'informations dans la documentation sur les environnements de traitement.
Pour obtenir de l'aide afin de résoudre les erreurs de délai avant expiration, consultez le guide de débogage.
Espace mémoire utilisé par requête
Lorsqu'une requête échoue avec le message "Limite de mémoire utilisateur dépassée", cela signifie qu'Earth Engine n'a pas pu calculer la réponse dans l'empreinte mémoire autorisée. La plate-forme de calcul EE dispose d'une quantité limitée de RAM. Pour garantir la stabilité du système, chaque requête ne peut utiliser qu'une certaine quantité. La quantité maximale de mémoire disponible dépend du type de requête (par exemple, plus pour une tâche par lot que pour un bloc de carte), mais il s'agit de limites à l'échelle du système.
Pour obtenir de l'aide afin de corriger les erreurs de mémoire, consultez le guide de débogage.
Agrégations
Lorsque nous traitons des requêtes Earth Engine, nous séparons certains types de sous-calculs que nous savons gourmands en ressources de calcul. Ces sous-calculs sont appelés "agrégations" et sont traités de manière spéciale dans le système EE. Les résultats des agrégations sont mis en cache pour éviter d'avoir à les recalculer.
Agrégations simultanées
Pour éviter une expansion de calcul incontrôlée, nous limitons le nombre d'agrégations qu'un utilisateur individuel peut exécuter simultanément. Cette limite est immuable. Lorsqu'une requête échoue avec le message "Trop d'agrégations simultanées", cela signifie que le demandeur avait trop d'agrégations en cours d'exécution en même temps.
Pour obtenir de l'aide sur la résolution des erreurs d'agrégation simultanée, consultez le guide de débogage.
Résultats d'agrégation volumineux
Lorsqu'une requête échoue avec le message "Valeur calculée trop grande", cela signifie que l'agrégation a renvoyé un résultat trop volumineux pour tenir dans notre cache. La taille limite des résultats calculés est de 100 Mio. Il s'agit d'une limite à l'échelle du système.
Limites d'importation de tables
Les limites d'importation de tableaux sont expliquées dans le guide d'importation des données de tableau.
Taille de la charge utile de la requête
La taille d'une requête unique envoyée à Earth Engine est limitée à 10 Mo. Cette limite n'est généralement dépassée que lorsqu'une grande quantité de données supplémentaires est incluse directement dans la requête, comme un fichier de formes ou une structure GeoJSON intégrés à la requête. Ces objets doivent plutôt être importés et transformés en un élément FeatureCollection, puis référencés par l'ID de l'élément.
Longueur de la file d'attente des tâches
Les tâches en attente de planification (à l'état READY) forment la "file d'attente des tâches". La file d'attente de chaque projet peut contenir jusqu'à 3 000 tâches. Cela signifie qu'il n'est pas possible d'avoir plus de 3 000 tâches à l'état READY.
Limites de quota des fonctions raster BigQuery
Les quotas suivants s'appliquent aux appels à Earth Engine depuis BigQuery, par exemple lorsque vous utilisez la fonction SQL ST_REGIONSTATS.
| Type de quota | Valeur par défaut (par projet) |
|---|---|
| Temps d'emplacement BigQuery par jour | 1 260 000 secondes d'emplacement (350 heures d'emplacement) |
Temps d'emplacement BigQuery par jour
Le quota de temps d'emplacement BigQuery par jour est un quota personnalisé qui vous permet de limiter la quantité de temps d'emplacement que les fonctions raster BigQuery sont autorisées à consommer sur Earth Engine au cours d'une journée donnée pour un projet donné. Le quota quotidien cumule le temps total passé sur toutes les requêtes, même celles qui échouent. Vous pouvez consulter le quota dans la console Cloud sous la métrique earthengine.googleapis.com/bigquery_slot_usage_time. Un administrateur de quotas peut ajuster la valeur à la hausse ou à la baisse. Pour augmenter la valeur au-delà de la valeur par défaut, créez une demande d'augmentation de quota, qui sera approuvée automatiquement. La modification devrait prendre effet dans les 10 minutes.
Si vous dépassez ce quota, BigQuery renvoie le message d'erreur suivant :
From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.
Une fois le quota dépassé, les appels ST_REGIONSTATS échouent jusqu'à ce que le quota soit réinitialisé le lendemain ou que la limite soit augmentée par un administrateur.