Квоты Earth Engine

Типы квот

Платформа Earth Engine использует ряд квот, обеспечивающих справедливое распределение ресурсов между пользователями. Поскольку в Earth Engine доступно множество различных типов ресурсов (вычислительные мощности, хранилище и т. д.), существует множество различных типов квот.

Основное различие между типами квот заключается в возможности их изменения. Для некоторых типов квот мы можем изменять ограничения для каждого пользователя или проекта, в то время как другие типы квот представляют собой общесистемные ограничения, которые изменить невозможно.

Регулируемые пределы квот

Следующие ограничения могут быть изменены для каждого проекта отдельно. Чтобы узнать, как запросить дополнительную квоту, см. страницу справки.

Одновременные интерактивные запросы

Каждый проект может выполнять интерактивные запросы параллельно, в пределах квоты. При превышении квоты Earth Engine возвращает ошибку «HTTP 429: Too Many Requests» . Как правило, эти ошибки обрабатываются клиентской библиотекой Earth Engine, которая оборачивает запросы экспоненциальной задержкой, повторяя запрос до успешного выполнения. Клиентская библиотека Earth Engine может повторять запрос до пяти раз.

Чтобы избежать ошибок 429, вам может потребоваться включить кэширование в вашем приложении, например, с помощью Memcache, чтобы по возможности избегать избыточных запросов. Если вы используете старую версию клиентской библиотеки Earth Engine, которая не повторяет запросы автоматически, или если запрос не завершается после пяти попыток, вам может потребоваться реализовать экспоненциальную задержку выполнения запросов.

Скорость запросов (QPS)

Помимо ограничений по количеству одновременных запросов , Earth Engine ограничивает частоту интерактивных запросов на уровне проекта и пользователя. Эти настройки можно настроить в Cloud Console.

Одновременные пакетные задачи

Пакетные задачи ограничены небольшой степенью параллелизма, поскольку они используют больше ресурсов, чем интерактивные запросы .

При некоммерческом использовании Earth Engine максимальное количество пакетных задач, которые вы можете запускать одновременно, устанавливается на значение по умолчанию, если вам не предоставлено увеличение квоты .

При коммерческом использовании Earth Engine максимальное количество пакетных задач, которые вы можете выполнять одновременно, определяется тарифным планом . Однако его можно дополнительно снизить, установив ограничение на количество параллельных пакетных задач для каждого проекта. По умолчанию ограничение на количество параллельных пакетных задач для проекта устанавливается на уровне, разрешенном тарифным планом, настроенным для платёжной учётной записи проекта. Чтобы просмотреть или изменить это ограничение для проекта, см. документацию по инструменту командной строки .

Квота на хранение активов

Каждому активу Earth Engine соответствует размер хранилища данных, измеряемый в байтах. Активы могут принадлежать Cloud Projects или отдельным лицам (устаревшие активы), и каждый актив учитывается в лимите Earth Engine по общему объему хранилища и количеству активов, установленном его владельцем.

EECU-время в день

Если вы хотите контролировать расходы, вы можете ограничить количество EECU-времени, которое проект может потреблять в Earth Engine в день. По умолчанию эта квота не ограничена. Администраторы квот могут установить этот лимит в Cloud Console , отфильтровав данные по метрике квоты earthengine.googleapis.com/daily_eecu_usage_time . После установки квота суммирует время EECU, потраченное на успешные запросы Earth Engine всех пользователей проекта. При превышении квоты запросы будут отклоняться до тех пор, пока квота не будет сброшена на следующий день или пока лимит не будет увеличен. Подробнее о настройке квоты см. в руководстве по контролю затрат .

Фиксированные квоты

Эти типы квот устанавливаются на уровне платформы, поэтому их невозможно регулировать для каждого пользователя или проекта. Они вряд ли существенно изменятся со временем.

Время вычисления

Различные типы запросов имеют различную максимальную продолжительность, которая подробно описана в документации по средам обработки .

За помощью по устранению ошибок тайм-аута обратитесь к руководству по отладке .

Объем памяти на запрос

Если запрос завершается ошибкой «Превышен лимит пользовательской памяти», это означает, что Earth Engine не смог вычислить ответ в рамках допустимого объёма памяти. Вычислительная платформа EE имеет ограниченный объём оперативной памяти, и для обеспечения стабильности системы каждый запрос может использовать только определённый объём. Максимальный объём доступной памяти зависит от типа запроса (например, для пакетной задачи он больше, чем для фрагмента карты), но это общесистемные ограничения.

За помощью по исправлению ошибок памяти обратитесь к руководству по отладке .

Агрегации

При обработке запросов Earth Engine мы выделяем определённые типы подвычислений, требующие значительных вычислительных ресурсов. Эти подвычисления называются «агрегациями» и обрабатываются в системе EE особым образом. Результаты агрегаций кэшируются, чтобы избежать повторных вычислений.

Одновременные агрегации

Чтобы избежать неконтролируемого разветвления вычислений, мы ограничиваем количество агрегаций, которые может запустить один пользователь одновременно, и это ограничение изменить невозможно. Если запрос завершается ошибкой «Слишком много одновременных агрегаций», это означает, что у запрашивающей стороны было запущено слишком много агрегаций одновременно.

Информацию об исправлении ошибок одновременной агрегации см. в руководстве по отладке .

Результаты большой агрегации

Если запрос завершается ошибкой «Вычисленное значение слишком велико», это означает, что агрегация вернула результат, который слишком велик для размещения в нашем кэше. Ограничение на размер вычисленных результатов составляет 100 МиБ, и это ограничение действует на уровне всей системы.

Ограничения на импорт таблиц

Ограничения на загрузку таблиц поясняются в руководстве по импорту табличных данных .

Запрос размера полезной нагрузки

Размер одного запроса к Earth Engine ограничен 10 МБ. Обычно это ограничение превышается только при непосредственном включении в запрос большого объёма дополнительных данных, например, шейп-файла или встроенной в запрос структуры GeoJSON. Такие объекты следует загружать и преобразовывать в ресурс FeatureCollection, ссылаясь на него по идентификатору ресурса.

Длина очереди задач

Задачи, ожидающие планирования (находящиеся в состоянии READY ), образуют «очередь задач». Очередь каждого проекта поддерживает не более 3000 задач. Это означает, что в состоянии READY может находиться не более 3000 задач.

Ограничения квот растровых функций BigQuery

Следующие квоты применяются к вызовам Earth Engine из BigQuery, например, при использовании SQL-функции ST_REGIONSTATS .

BigQuery-слот-время в день

Дневная квота на слот-время BigQuery — это настраиваемая квота, позволяющая ограничить количество слот-времени, которое растровые функции BigQuery могут использовать в Earth Engine в определенный день для определенного проекта. Дневная квота суммирует общее время всех запросов, даже тех, которые завершились неудачей. Вы можете просмотреть квоту в Cloud Console в метрике earthengine.googleapis.com/bigquery_slot_usage_time , а администратор квоты может изменить её значение. Чтобы увеличить значение выше значения по умолчанию, создайте запрос на увеличение квоты , который будет автоматически одобрен. Изменение вступит в силу в течение 10 минут.

Если вы превысите эту квоту, BigQuery вернет следующее сообщение об ошибке:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for «earthengine.googleapis.com/bigquery_slot_usage_time» , which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

После превышения квоты вызовы ST_REGIONSTATS будут завершаться ошибкой до тех пор, пока квота не будет сброшена на следующий день или пока администратор не увеличит лимит.