¿Representativa de qué? Cuando una nueva muestra queda fuera del dominio de tu modelo

Un programa de abastecimiento de cacao construye una línea de base de carbono orgánico del suelo para su primer origen. El equipo recolecta muestras a lo largo de la cuenca de suministro, ajusta un modelo que predice el stock de carbono a partir de covariables del suelo y del paisaje, y lo valida con validación cruzada. El R² es de 0.78. Suficiente para reportar. Un año después el programa se expande a un segundo origen en otro país, y reutiliza el mismo modelo para estimar la nueva línea de base, porque reconstruirlo costaría una campaña de campo que el presupuesto no tiene. El verificador hace una sola pregunta: ¿cuál es tu evidencia de que el segundo origen cae dentro del rango de condiciones sobre el que se calibró el modelo? El equipo señala el 0.78. Pero ese número describe qué tan bien predice el modelo dentro de las condiciones del primer origen. No dice nada sobre el segundo. La sala queda en silencio.

Este es el problema de representatividad con el que los equipos de monitoreo se topan más a menudo y que nombran con menos claridad. En realidad no se trata de la muestra. Se trata de la relación entre tres cosas: dónde mediste, dónde quieres ahora un número, y la porción del mundo que el modelo ha visto realmente.

Dos preguntas escondidas en una sola palabra

La representatividad se usa para dos afirmaciones distintas, y confundirlas es donde empiezan los problemas. La primera afirmación es sobre una muestra y una población: que la muestra refleja el área que quieres describir, de modo que un promedio calculado a partir de ella es una estimación justa del promedio verdadero. Este es el terreno del diseño de muestreo, y el sentido que desarrollamos en ¿Qué tan grande debe ser tu campaña de muestreo de carbono del suelo? y Señal frente a ruido.

La segunda afirmación es sobre un nuevo punto y un modelo. La mayor parte del monitoreo actual no se detiene en un promedio muestral. Ajusta un modelo, una ecuación alométrica, un mapa de carbono del suelo, una calibración espectral, un modelo de procesos como RothC, o un factor de emisión por defecto, y lo aplica a ubicaciones donde no se midió nada. Una predicción en una nueva ubicación solo es tan confiable como la experiencia del modelo con condiciones semejantes a las de esa ubicación. Fuera del rango de condiciones de los datos de entrenamiento, el modelo está extrapolando, y su error no está acotado ni es conocible a partir de los estadísticos de ajuste.

Estas se corresponden con los dos modos clásicos de inferencia. La inferencia basada en el diseño obtiene su validez de cómo se seleccionó la muestra, y responde a la pregunta de la muestra a la población. La inferencia basada en el modelo obtiene su validez de que el modelo sea correcto allí donde se aplica, y responde a la pregunta del nuevo punto al modelo 78. Una muestra puede ser una muestra probabilística de manual de su propia población y aun así situar una predicción bien fuera de la experiencia de un modelo prestado. Las dos preguntas son independientes, y la segunda es la que hace callar a la sala.

El dominio de aplicabilidad, definido

El concepto que gobierna la segunda pregunta ya tiene nombre, tomado de un campo que aprendió la lección temprano. En química, los modelos cuantitativos de estructura-actividad predicen las propiedades de una molécula a partir de su estructura, y los reguladores notaron que estos modelos hacían predicciones seguras y equivocadas para moléculas distintas de todo lo que había en el conjunto de entrenamiento. La respuesta fue definir un dominio de aplicabilidad: la región del espacio de entrada donde un modelo produce predicciones fiables, con una regla explícita para decidir si un nuevo caso cae dentro de ella 12.

El monitoreo ambiental usa la misma idea, por lo general sin el nombre. Toda ecuación alométrica se ajusta sobre un rango de diámetros de árbol, y aplicarla más allá de ese rango es extrapolación, razón por la cual la regla práctica es graficar la distribución de diámetros de tu inventario frente al rango de ajuste de la ecuación, como describimos en ¿Cómo calcular la cantidad de carbono en un árbol? Un rango de diámetros es un dominio de aplicabilidad en una dimensión. Un modelo de suelos moderno depende de muchas covariables a la vez, los factores SCORPAN que la cartografía digital de suelos formaliza 9, y los datos de entrenamiento ocupan una nube en ese espacio de alta dimensión. El dominio de aplicabilidad es la región de ese espacio que la nube efectivamente cubre, y toda la cuestión se vuelve geométrica: ¿el nuevo punto se sitúa dentro de la nube, o en un rincón que el modelo nunca visitó?

Cómo saber si un nuevo punto está dentro del dominio

La pertenencia al dominio es medible, y los métodos van desde una comprobación de cinco minutos hasta un estadístico defendible que puedes poner ante un auditor. Úsalos en orden de rigor creciente.

Rango y rango multivariante. Para cada covariable, ¿el nuevo sitio cae dentro del mínimo y el máximo de los datos de entrenamiento? Esto detecta la extrapolación más burda. Su debilidad es que un punto puede estar dentro del rango de cada variable por separado y aun así ser una combinación irrealista que el modelo nunca vio, por ejemplo la precipitación de un sitio húmedo con el contenido de arcilla de uno seco.

Distancia a los datos de entrenamiento. Los métodos de referencia miden qué tan lejos se sitúa el nuevo punto de la nube de entrenamiento, teniendo en cuenta las correlaciones entre variables. El leverage (la diagonal de la matriz sombrero) hace esto para los modelos lineales; la distancia de Mahalanobis escala cada dirección por la covarianza de entrenamiento; la distancia a los k puntos de entrenamiento más cercanos, y la distancia de Gower para variables continuas y categóricas mezcladas, son alternativas no paramétricas robustas 1210.

El área de aplicabilidad, para mapas. Cuando el modelo produce un mapa continuo de extremo a extremo, la pregunta es espacial: ¿a qué píxeles se puede aplicar el modelo? El método del área de aplicabilidad responde exactamente esto 3. Pondera cada covariable por su importancia, mide la distancia en ese espacio ponderado desde cada píxel al punto de entrenamiento más cercano, y la compara con la distancia típica entre los propios puntos de entrenamiento. Los píxeles que superan un umbral derivado de validación cruzada quedan fuera del área de aplicabilidad, y el error reportado del modelo no se aplica ahí. Un mapa regional puede parecer completo y fidedigno mientras grandes porciones de él están, según esta medida, fuera del dominio 4.

Las calibraciones espectrales tienen su propia versión. Si el carbono del suelo se predice a partir de espectros del infrarrojo medio en lugar de covariables, el análisis de componentes principales del conjunto de calibración define el espacio que conoce, y el T² de Hotelling de un nuevo espectro (qué tan adentro de ese espacio) y su residuo Q (qué tan afuera de él) señalan las muestras que la calibración nunca fue entrenada para leer.

La trampa de la validación: por qué un buen R² puede mentir

Hay una forma específica en que esto sale mal y que halaga al profesional. Cuando un modelo se valida por validación cruzada aleatoria ordinaria, los puntos retenidos quedan dispersos entre los puntos de entrenamiento. Si los datos están autocorrelacionados espacialmente, y los datos de suelo y vegetación casi siempre lo están, entonces cada punto retenido tiene un vecino cercano en el conjunto de entrenamiento. El modelo se está probando casi por completo dentro de su dominio, sobre puntos fáciles. La validación estructurada espacialmente, que retiene bloques enteros de espacio, revela una y otra vez que modelos con excelentes puntajes de validación cruzada aleatoria predicen mal cuando tienen que alcanzar más lejos 56. Un mapa regional puede ser insesgado en promedio a lo largo de su extensión y aun así estar equivocado en cada proyecto individual dentro de él.

La respuesta honesta no es simplemente cambiar la validación cruzada aleatoria por la espacial y seguir adelante, porque el diseño de validación correcto es en sí mismo objeto de debate: el bloqueo espacial puede ser pesimista si retiene regiones que nunca se le pediría al modelo predecir, y la opción más defendible, cuando el presupuesto lo permite, es una muestra de validación separada extraída por muestreo probabilístico del área objetivo, que estima la exactitud del mapa sin apoyarse en absoluto en el modelo 78. El punto que sobrevive al debate es más simple: un número de exactitud solo tiene sentido junto con una declaración de dónde, en el espacio de covariables y geográfico, se midió, y de si el lugar donde ahora quieres una predicción se le parece.

Una regla de decisión que puedes defender

En conjunto, la comprobación de dominio es un flujo de trabajo breve y repetible que cabe en una página de un plan de monitoreo. Define el dominio de calibración (la distribución multivariante de las covariables en los datos de entrenamiento). Ubica cada nuevo punto en relación con él: primero la comprobación de rango por variable, luego una métrica de distancia. Clasifícalo como dentro del dominio, límite o fuera del dominio frente a umbrales fijados de antemano. Después actúa según la clase: los puntos dentro del dominio reciben la predicción tal cual; los puntos límite la reciben con una incertidumbre explícitamente inflada y una marca; los puntos fuera del dominio no reciben ningún número prestado, sino que activan un muestreo de referencia local y una reestimación.

El valor de dejar esto por escrito es que convierte un argumento («creemos que la nueva región es lo bastante parecida») en evidencia («aquí es donde cae cada nuevo punto, y esta es la regla que aplicamos»). Esa es la diferencia entre una afirmación que un verificador acepta y una que un verificador escudriña.

Un ejemplo resuelto: un modelo, dos regiones

Un modelo de carbono del suelo se calibra en fincas a pleno sol y con sombra ligera de una región de abastecimiento. El abastecimiento se expande a una segunda región de agroforestería con sombra ya establecida. Cinco de las covariables del modelo, contrastadas con el sitio representativo de la nueva región:

Tres de cinco covariables caen fuera del rango calibrado, y las dos que más importan para el carbono, la precipitación y la sombra, están entre ellas. Una distancia de Mahalanobis o un índice de área de aplicabilidad situarían este sitio bien más allá de la nube de entrenamiento. El veredicto es inequívoco: el modelo está fuera del dominio aquí, y aplicarlo reportaría un número sin sustento. Este es el mismo hallazgo, en miniatura, al que llegan las evaluaciones independientes a escala continental, donde las relaciones de carbono del suelo calibradas en sistemas templados de cultivos en hilera no se transfieren a sistemas perennes con sombra sin una reestimación local. Retomamos la elección del modelo y la recalibración local en ¿Cómo modelar el cambio del carbono del suelo en el tiempo?

El remuestreo, y el dominio que se mueve

Hay una segunda forma, más silenciosa, en que falla la representatividad, y aparece justo cuando un programa hace todo lo demás bien. El monitoreo se construye sobre el remuestreo: revisitar la misma red a lo largo del tiempo, comparar y reportar el cambio. El supuesto no dicho es que la red sigue siendo representativa del sistema que monitorea. Los sistemas cambian. El manejo cambia, un programa de sombra madura, una sequía reconfigura el régimen de humedad del suelo, el uso de la tierra se desplaza en los bordes de la cuenca de suministro. Un modelo calibrado una vez frente al sistema original puede deslizarse fuera del dominio respecto del sistema que ahora existe, sin que nadie vuelva a correr una comprobación. Los estadísticos llaman a esto desplazamiento de covariables o deriva de concepto; en el campo se ve como una línea de base que en silencio deja de describir el presente.

Por qué los verificadores empiezan a preguntar

Esto ya no es solo un refinamiento metodológico. Los marcos de contabilidad que gobiernan las afirmaciones sobre carbono convergen en la exigencia de que la incertidumbre se cuantifique y se declare, y una predicción aplicada fuera del dominio de un modelo es incertidumbre que se ha ocultado en lugar de cuantificarse. El GHG Protocol Land Sector and Removals Standard exige una cuantificación defendible con incertidumbre declarada. El Refinamiento de 2019 del IPCC empuja hacia factores de nivel superior, apropiados localmente, en lugar de los valores por defecto prestados, precisamente porque los valores por defecto están fuera del dominio para muchos de los lugares donde se aplican 12. Los verificadores empiezan a pedir validación estructurada espacialmente o independiente en lugar de un R² de titular, y evidencia de que un modelo reutilizado se ajusta al sitio en el que se está reutilizando. Los equipos que superarán estas preguntas son los que comprobaron la pertenencia al dominio antes de que se les pidiera, y pueden mostrar el trabajo.

Ideas clave