Esta página descreve como criar gráficos para monitorar o consumo de computação e armazenamento do Earth Engine usando o Cloud Monitoring.
Há outras maneiras de monitorar o uso do Earth Engine no console do Cloud, que não são o foco do documento, mas incluem:
- A página APIs e serviços > Métricas, que mostra métricas básicas, incluindo tráfego (número de solicitações), erros e latência (por método de API, código de resposta ou credenciais).
- A página APIs e serviços > Cotas e limites do sistema , que mostra a quantidade de recursos armazenados em bytes e o número de solicitações de leitura dos recursos.
- A página APIs e serviços > Credenciais, que mostra quais credenciais (por exemplo, contas de serviço) foram usadas para acessar a API.
Conferir o consumo no Cloud Monitoring
Gerar gráficos de métricas no Metrics Explorer
Acesse a página Monitoramento > Metrics Explorer no Console do Cloud.
Selecione o nome do seu projeto (se ele ainda não estiver selecionado) na parte superior da página.
- Observação: é necessário ter as permissões adequadas do Identity and Access Management (IAM) para acessar os dados de monitoramento.
Clique em Selecionar uma métrica para escolher uma métrica a ser adicionada ao gráfico.
- As métricas do Earth Engine estão no recurso Earth Engine Cloud Project.
- Por padrão, apenas os recursos e métricas que estavam ativos na última hora são mostrados. Ajuste o período ou desmarque o filtro "Ativo" para acessar mais métricas.
Depois de selecionar uma métrica, clique em Aplicar.
No painel de cima, configure os filtros suspensos para definir como visualizar os dados.
- Por padrão, o Metrics Explorer mostra uma agregação de taxa para as métricas de computação. Consulte a seção Unidades e alinhadores para saber como escolher um alinhador diferente e mostrar unidades explícitas.
- Por exemplo, para conferir o total de computação em lote concluída por
workload_tag(consulte a seção Tags de carga de trabalho) na última semana, escolha as seguintes configurações. Aqui, cada ponto de dados representa a quantidade total de horas de EECU usadas por cada tarefa de lote concluída.
A documentação do Cloud Monitoring oferece mais guias sobre como usar o Cloud Monitoring. Em particular, a página Selecionar as métricas para o gráfico oferece uma visão geral detalhada das diferentes maneiras de criar consultas. Já a página Filtragem e agregação fornece mais informações sobre a configuração da série temporal.
Métricas disponíveis
| Métrica | Descrição | Rótulos disponíveis |
|---|---|---|
| Segundos EECU concluídos | Uso de computação do Earth Engine de solicitações bem-sucedidas em EECU-segundos. O uso é informado quando uma solicitação é concluída e não é informado para solicitações com falha. |
compute_type: o tipo de computação, com base no
ambiente de processamento da solicitação. Um de
[online, batch, highvolume].
client_type: o tipo de cliente (se conhecido), por exemplo,
ee-js/latest ou
python/v0.1.300. O tipo de cliente não está definido para computação em lote.
workload_tag: a tag da carga de trabalho (se fornecida no cliente), por exemplo, my-export1. Consulte a seção Tags de carga de trabalho para saber como definir esse rótulo.
|
| Segundos EECU em andamento | Uso de computação do Earth Engine de todas as solicitações em segundos de EECU. O uso é informado periodicamente enquanto uma solicitação está em execução. |
compute_type: o tipo de computação, com base no
ambiente de processamento da solicitação. Um de
[online, batch, highvolume].
client_type: o tipo de cliente (se conhecido), por exemplo,
ee-js/latest ou
python/v0.1.300. O tipo de cliente não está definido para computação em lote.
workload_tag: a tag da carga de trabalho (se fornecida no cliente), por exemplo, my-export1. Consulte a seção Tags de carga de trabalho para saber como definir esse rótulo.
|
| Bytes usados | O número de bytes de armazenamento de recursos do Earth Engine usados. Amostras coletadas a cada 30 minutos. | N/A |
Para uma lista completa de métricas disponíveis no Cloud Monitoring, consulte Métricas do Google Cloud.
Unidades e alinhadores
Por padrão, as métricas de computação são mostradas como uma taxa sem unidade da média de segundos EECU usados por segundo no Intervalo mínimo (padrão de 1 minuto).
Para conferir o tempo bruto da EECU usado com unidades explícitas, clique no campo Aggregation na consulta e escolha "Configure aligner" no menu resultante. Isso substitui a operação de agregação por duas novas operações:
grouping e function alignment. A escolha de "Agrupamento: Sum" e
"Função de alinhamento: Sum" vai criar um gráfico com unidades explícitas,
representando o tempo total de EECU usado em cada ponto de dados. Consulte a referência
do alinhador
para conferir uma lista de possíveis alinhadores.
Tags de carga de trabalho
As tags de carga de trabalho são rótulos para monitorar cálculos específicos no Earth Engine. Use setDefaultWorkloadTag para vincular todas as computações no script a uma
tag de carga de trabalho padrão, a menos que uma seja definida explicitamente com
ee.data.setWorkloadTag. Nesse caso, o padrão será substituído. Esses métodos definem o rótulo workload_tag
para cálculos específicos e tarefas de exportação.
Em seguida, monitore e acompanhe as computações marcadas no Metrics Explorer usando a métrica Earth Engine Cloud Project >
Project > Used EECUs e agrupando ou filtrando por workload_tag.
Por exemplo, para monitorar as EECUs usadas para uma computação de imagem e/ou exportação:
// Set a default workload tag. ee.data.setDefaultWorkloadTag('landsat-compositing') var composite = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2') .filterDate('2020-01-01', '2021-01-01') .median(); // Set a workload tag for export. ee.data.setWorkloadTag('export-jobs'); Export.image.toAsset(composite); ee.data.resetWorkloadTag(); // Reset to landsat-compositing ee.data.resetWorkloadTag(true); // Reset back to empty
import ee import geemap.core as geemap
# Authenticate, then initialize with your Cloud Project. ee.Initialize(project='your-project') # Set a default workload tag. ee.data.setDefaultWorkloadTag('landsat-compositing') composite = ( ee.ImageCollection('LANDSAT/LC08/C02/T1_L2') .filterDate('2020-01-01', '2021-01-01') .median() ) # Set a workload tag for export. ee.data.setWorkloadTag('export-jobs') ee.batch.Export.image.toAsset(composite).start() ee.data.resetWorkloadTag() # Reset to landsat-compositing ee.data.resetWorkloadTag(True) # Reset back to empty # Alternatively, use a workload tag with the `with` context manager. with ee.data.workloadTagContext('export-jobs'): ee.batch.Export.image.toAsset(composite).start()
Neste exemplo, todas as computações são anotadas com a tag landsat-compositing (definida como padrão), e a exportação recebe a própria tag de carga de trabalho, já que ee.data.setWorkloadTag é chamada antes da execução. Use
ee.data.resetWorkloadTag para
definir a tag padrão ou para definir a tag padrão como uma string vazia.