Allen AI lança plataforma OlmoEarth para inferência geospacial em escala continental; modelos de 10TB de satélite
Allen AI lançou a Plataforma OlmoEarth, uma infraestrutura gerenciada para executar modelos de fundação de observação terrestre em escala continental. A plataforma é construida em modelos de família OlmoEarth, pré-treinados em ~10 terabytes de dados de satélite multimídias, e destina-se a governos, ONGs e organizações ambientais fazendo monitoramento de desmatamento, avaliação de segurança alimentar e mapeamento de risco de incêndie. A plataforma agrupa aquisição de dados, ajuste fino de modelo, inferência em larga escala e processamento de saída—resolvendo o ciclo de vida completo para organizações que carecem de equipes de infraestrutura de ML dedicadas.
O desafio de engenharia é severo: imageria de satélite deve ser buscada em múltiplos provedores, alinhada a diferentes projeções e resoluções, processada em escala continental e costurada em mapas geoograficamente consistentes enquanto o sistema se recupera de falhas de computação distribuída. OlmoEarth Run (a camada de execução) divide regiões geoograficamente em milhares de partições independentes, depois milhares de janelas menores para inferência paralela. Um trabalho recente de mapeamento de risco de incêndie cobrindo toda a América do Norte usou ~19.600 CPUs e 994 GPUs em paralelo, alcançando 155x speedup (4.737 horas seriais → 30.5 horas wall-clock). A plataforma alcança frações de um centenávio por quilômetro quadrado de imageria processada.
Para arquitetos: Este é ML Ops de nível de produção aplicado a dados geospaciais. O pipeline de três estágios (prep de dados CPU → inferência GPU → pós-processamento CPU) é elegante—evita desperdiçar GPU cara em trabalho vinculado a I/O. Governos e orgs de conservação têm sido restritos pela falta de serviços gerenciados end-to-end; década de Allen AI operando Skylight e EarthRanger os ensinou essa lacuna. Modelos abertos + uma plataforma gerenciada é um modelo defendável para trabalho de impacto direcionado. Observe a adoção por verificação de crédito de carbono, avaliação de risco agrícola e orgs de adaptação ao clima.
Fontes
- Primary source
- huggingface.co
“The OlmoEarth models are our family of Earth observation foundation models, pretrained on roughly 10 terabytes of multimodal satellite data. Governments, NGOs, and other mission-driven organizations are already adapting OlmoEarth for applications including deforestation monitoring, food security, and wildfire risk.”
- huggingface.co
“Today, the platform can run inference across continent-scale areas in roughly a day, processing dozens of terabytes of imagery at a cost of fractions of a penny per square kilometer.”
- huggingface.co
“We recently used this approach to generate a wildfire-risk map covering all of North America. At peak, the run used roughly 19,600 CPUs and 994 GPUs in parallel, with network throughput exceeding 168 GB/s. That level of parallelism reduced an estimated 4,737 hours of serial compute to about 30.5 hours of wall-clock time—a 155× speedup.”