Representativo de quê? Quando uma nova amostra cai fora do domínio do seu modelo

Um programa de compra de cacau constrói uma linha de base de carbono orgânico do solo para sua primeira origem. A equipe coleta amostras por toda a bacia de fornecimento, ajusta um modelo que prevê o estoque de carbono a partir de covariáveis de solo e paisagem, e o valida por validação cruzada. O R² é 0.78. Bom o suficiente para reportar. Um ano depois, o programa se expande para uma segunda origem em outro país e reutiliza o mesmo modelo para estimar a nova linha de base, porque reconstruí-lo custaria uma campanha de campo que o orçamento não tem. O verificador faz uma pergunta: qual é a sua evidência de que a segunda origem está dentro da faixa de condições em que o modelo foi calibrado? A equipe aponta para o 0.78. Mas esse número descreve o quão bem o modelo prevê dentro das condições da primeira origem. Nada diz sobre a segunda. A sala fica em silêncio.

Este é o problema de representatividade que as equipes de monitoramento encontram com mais frequência e nomeiam com menos clareza. Não se trata realmente da amostra. Trata-se da relação entre três coisas: onde você mediu, onde você agora quer um número, e a fatia do mundo que o modelo de fato observou.

Duas perguntas escondidas em uma palavra

Representatividade é usada para duas afirmações distintas, e confundi-las é onde os problemas começam. A primeira afirmação é sobre uma amostra e uma população: que a amostra reflete a área que você quer descrever, de modo que uma média calculada a partir dela é uma estimativa justa da verdadeira média. Este é o domínio do delineamento amostral, e o sentido que trabalhamos em Qual deve ser o tamanho da sua campanha de amostragem de carbono do solo? e Sinal versus Ruído.

A segunda afirmação é sobre um novo ponto e um modelo. A maior parte do monitoramento hoje não para em uma média amostral. Ajusta-se um modelo, uma equação alométrica, um mapa de carbono do solo, uma calibração espectral, um modelo de processo como o RothC, ou um fator de emissão padrão, e aplica-se a locais onde nada foi medido. Uma previsão em um novo local é apenas tão confiável quanto a experiência do modelo com condições semelhantes às daquele local. Fora da faixa de condições dos dados de treinamento, o modelo está extrapolando, e seu erro não é nem limitado nem cognoscível a partir das estatísticas de ajuste.

Isso corresponde aos dois modos clássicos de inferência. A inferência baseada em delineamento obtém sua validade de como a amostra foi selecionada, e responde à pergunta amostra-para-população. A inferência baseada em modelo obtém sua validade do modelo estar correto onde é aplicado, e responde à pergunta novo-ponto-para-modelo 78. Uma amostra pode ser uma amostra probabilística de manual de sua própria população e ainda assim posicionar uma previsão bem fora da experiência de um modelo emprestado. As duas perguntas são independentes, e a segunda é a que silencia a sala.

O domínio de aplicabilidade, definido

O conceito que governa a segunda pergunta já tem um nome, tomado emprestado de um campo que aprendeu a lição cedo. Na química, os modelos quantitativos de estrutura-atividade preveem as propriedades de uma molécula a partir de sua estrutura, e os reguladores notaram que esses modelos faziam previsões confiantes e erradas para moléculas diferentes de qualquer coisa no conjunto de treinamento. A resposta foi definir um domínio de aplicabilidade: a região do espaço de entrada onde um modelo produz previsões confiáveis, com uma regra explícita para decidir se um novo caso está dentro dela 12.

O monitoramento ambiental usa a mesma ideia, em geral sem o nome. Toda equação alométrica é ajustada sobre uma faixa de diâmetros de árvore, e aplicá-la além dessa faixa é extrapolação, razão pela qual a regra prática é plotar a distribuição de diâmetros do seu inventário contra a faixa ajustada da equação, como descrevemos em Como calcular a quantidade de carbono em uma árvore? Uma faixa de diâmetros é um domínio de aplicabilidade em uma dimensão. Um modelo de solo moderno depende de muitas covariáveis ao mesmo tempo, os fatores SCORPAN que o mapeamento digital de solos formaliza 9, e os dados de treinamento ocupam uma nuvem nesse espaço de alta dimensionalidade. O domínio de aplicabilidade é a região desse espaço que a nuvem de fato cobre, e toda a questão se torna geométrica: o novo ponto está dentro da nuvem, ou lá num canto que o modelo nunca visitou?

Como saber se um novo ponto está dentro do domínio

A pertinência ao domínio é mensurável, e os métodos vão de uma verificação de cinco minutos a uma estatística defensável que você pode colocar diante de um auditor. Use-os em ordem de rigor crescente.

Faixa e faixa multivariada. Para cada covariável, o novo local cai dentro do mínimo e do máximo dos dados de treinamento? Isso pega a extrapolação mais grosseira. Sua fraqueza é que um ponto pode estar dentro da faixa de cada variável separadamente e ainda ser uma combinação irrealista que o modelo nunca viu, por exemplo a precipitação de um local úmido com o teor de argila de um seco.

Distância aos dados de treinamento. Os métodos de trabalho medem o quão longe o novo ponto está da nuvem de treinamento, levando em conta as correlações entre as variáveis. A alavancagem (a diagonal da matriz chapéu) faz isso para modelos lineares; a distância de Mahalanobis escala cada direção pela covariância de treinamento; a distância aos k pontos de treinamento mais próximos, e a distância de Gower para variáveis mistas contínuas e categóricas, são alternativas não paramétricas robustas 1210.

A área de aplicabilidade, para mapas. Quando o modelo produz um mapa contínuo de ponta a ponta, a questão é espacial: a quais pixels o modelo pode ser aplicado? O método da área de aplicabilidade responde exatamente a isso 3. Ele pondera cada covariável por sua importância, mede a distância nesse espaço ponderado de cada pixel ao ponto de treinamento mais próximo, e a compara à distância típica entre os próprios pontos de treinamento. Pixels além de um limiar derivado de validação cruzada estão fora da área de aplicabilidade, e o erro reportado do modelo não se aplica ali. Um mapa regional pode parecer completo e categórico enquanto grandes partes dele estão, por esta medida, fora do domínio 4.

As calibrações espectrais têm sua própria versão. Se o carbono do solo é previsto a partir de espectros no infravermelho médio em vez de covariáveis, a análise de componentes principais do conjunto de calibração define o espaço que ela conhece, e o Hotelling's T² de um novo espectro (o quão dentro daquele espaço) e o Q-residual (o quão fora dele) sinalizam amostras que a calibração nunca foi treinada para ler.

A armadilha da validação: por que um bom R² pode mentir

Há uma forma específica de isso dar errado que lisonjeia o praticante. Quando um modelo é validado por validação cruzada aleatória comum, os pontos retidos ficam espalhados entre os pontos de treinamento. Se os dados são espacialmente autocorrelacionados, e dados de solo e vegetação quase sempre o são, então cada ponto retido tem um vizinho próximo no conjunto de treinamento. O modelo está sendo testado quase inteiramente dentro do seu domínio, em pontos fáceis. A validação estruturada espacialmente, que retém blocos inteiros de espaço, revela repetidamente que modelos com excelentes escores de validação cruzada aleatória preveem mal quando precisam se estender 56. Um mapa regional pode ser não enviesado em média ao longo de sua extensão e ainda estar errado em cada projeto individual dentro dele.

A resposta honesta não é simplesmente trocar a validação cruzada aleatória pela espacial e seguir em frente, porque o próprio delineamento de validação correto é objeto de debate: o bloqueio espacial pode ser pessimista se retiver regiões que o modelo jamais seria solicitado a prever, e a opção mais defensável, quando o orçamento permite, é uma amostra de validação separada, extraída por amostragem probabilística da área-alvo, que estima a acurácia do mapa sem se apoiar no modelo de forma alguma 78. O ponto que sobrevive ao debate é mais simples: um número de acurácia só é significativo em conjunto com uma declaração de onde, no espaço de covariáveis e geográfico, ele foi medido, e se o lugar onde você agora quer uma previsão se assemelha a isso.

Uma regra de decisão que você pode defender

Reunido, o teste de domínio é um fluxo de trabalho curto e repetível que cabe em uma página de um plano de monitoramento. Defina o domínio de calibração (a distribuição multivariada das covariáveis nos dados de treinamento). Localize cada novo ponto em relação a ele: primeiro a verificação de faixa por variável, depois uma métrica de distância. Classifique-o como dentro do domínio, limítrofe, ou fora do domínio contra limiares fixados de antemão. Então aja conforme a classe: pontos dentro do domínio recebem a previsão como está; pontos limítrofes a recebem com uma incerteza explicitamente inflada e um sinalizador; pontos fora do domínio não recebem número emprestado algum, eles disparam amostragem de referência local e reestimação.

O valor de colocar isso por escrito é que converte um argumento (“achamos que a nova região é semelhante o suficiente”) em evidência (“aqui está onde cada novo ponto cai, e aqui está a regra que aplicamos”). Essa é a diferença entre uma afirmação que um verificador aceita e uma que um verificador sonda.

Um exemplo trabalhado: um modelo, duas regiões

Um modelo de carbono do solo é calibrado em fazendas a pleno sol e de sombra leve em uma região de fornecimento. O fornecimento se expande para uma segunda região de agrofloresta sombreada estabelecida. Cinco das covariáveis do modelo, verificadas contra o local representativo da nova região:

Três das cinco covariáveis caem fora da faixa calibrada, e as duas que mais importam para o carbono, precipitação e sombra, estão entre elas. Uma distância de Mahalanobis ou um índice de área de aplicabilidade colocaria este local bem além da nuvem de treinamento. O veredito é inequívoco: o modelo está fora do domínio aqui, e aplicá-lo reportaria um número sem sustentação. Esta é a mesma constatação, em miniatura, que avaliações independentes alcançam em escala continental, onde relações de carbono do solo calibradas em sistemas temperados de culturas em linha não se transferem para sistemas perenes sombreados sem reestimação local. Retomamos a escolha de modelo e a recalibração local em Como modelar a variação do carbono do solo ao longo do tempo?

Reamostragem, e o domínio que se move

Há uma segunda maneira, mais silenciosa, de a representatividade falhar, e ela aparece precisamente quando um programa faz todo o resto certo. O monitoramento se baseia na reamostragem: revisitar a mesma rede ao longo do tempo, comparar, e reportar a variação. A suposição não declarada é que a rede permanece representativa do sistema que ela monitora. Os sistemas se movem. O manejo muda, um programa de sombreamento amadurece, uma seca remodela o regime de umidade do solo, o uso da terra se desloca nas bordas da bacia de fornecimento. Um modelo calibrado uma vez contra o sistema original pode escorregar para fora do domínio em relação ao sistema que agora existe, sem que ninguém refaça uma verificação. Os estatísticos chamam isso de deslocamento de covariáveis ou deriva de conceito; no campo, parece uma linha de base que silenciosamente deixa de descrever o presente.

Por que os verificadores estão começando a perguntar

Isso já não é apenas um preciosismo metodológico. Os arcabouços de contabilidade que governam as alegações de carbono estão convergindo para a exigência de que a incerteza seja quantificada e divulgada, e uma previsão aplicada fora do domínio de um modelo é incerteza que foi ocultada em vez de quantificada. O GHG Protocol Land Sector and Removals Standard exige quantificação defensável com incerteza divulgada. O Refinamento de 2019 do IPCC empurra na direção de fatores de nível superior, localmente apropriados, em vez de padrões emprestados, precisamente porque os padrões estão fora do domínio para muitos dos lugares onde são aplicados 12. Os verificadores estão começando a pedir validação estruturada espacialmente ou independente em vez de um R² de destaque, e evidência de que um modelo reutilizado se ajusta ao local em que está sendo reutilizado. As equipes que passarão por essas perguntas são as que testaram a pertinência ao domínio antes de serem questionadas, e conseguem mostrar o trabalho.

Pontos-chave