Représentatif de quoi ? Quand un nouvel échantillon sort du domaine de votre modèle

Un programme d’approvisionnement en cacao établit une référence de carbone organique du sol pour sa première origine. L’équipe prélève des échantillons dans tout le bassin d’approvisionnement, ajuste un modèle qui prédit le stock de carbone à partir de covariables de sol et de paysage, et le valide par validation croisée. Le R² vaut 0,78. Suffisant pour être rapporté. Un an plus tard, le programme s’étend à une deuxième origine dans un autre pays, et réutilise le même modèle pour estimer la nouvelle référence, car le reconstruire coûterait une campagne de terrain que le budget ne peut pas payer. Le vérificateur pose une seule question : quelle preuve avez-vous que la deuxième origine se situe dans la gamme de conditions sur lesquelles le modèle a été calibré ? L’équipe invoque le 0,78. Mais ce nombre décrit la qualité des prédictions du modèle à l’intérieur des conditions de la première origine. Il ne dit rien de la seconde. Le silence se fait dans la salle.

C’est le problème de représentativité que les équipes de suivi rencontrent le plus souvent et nomment le moins clairement. Il ne porte pas vraiment sur l’échantillon. Il porte sur la relation entre trois éléments : où l’on a mesuré, où l’on veut désormais un chiffre, et la portion du monde que le modèle a réellement vue.

Deux questions cachées dans un seul mot

La représentativité recouvre deux affirmations distinctes, et c’est en les confondant que les ennuis commencent. La première affirmation porte sur un échantillon et une population : à savoir que l’échantillon reflète la zone que l’on veut décrire, de sorte qu’une moyenne qui en est tirée soit une estimation juste de la vraie moyenne. C’est le domaine de la conception d’échantillonnage, et le sens que nous développons dans Quelle doit être la taille de votre campagne d’échantillonnage du carbone du sol ? et Signal contre bruit.

La seconde affirmation porte sur un nouveau point et un modèle. La plupart des suivis d’aujourd’hui ne s’arrêtent pas à une moyenne d’échantillon. On ajuste un modèle, une équation allométrique, une carte de carbone du sol, une calibration spectrale, un modèle de processus comme RothC, ou un facteur d’émission par défaut, et on l’applique à des lieux où rien n’a été mesuré. Une prédiction en un nouveau lieu ne vaut que ce que vaut l’expérience qu’a le modèle de conditions semblables à celles de ce lieu. Hors de la gamme de conditions présentes dans les données d’entraînement, le modèle extrapole, et son erreur n’est ni bornée ni chiffrable à partir des statistiques d’ajustement.

Ces deux affirmations correspondent aux deux modes classiques d’inférence. L’inférence fondée sur le plan (design-based) tire sa validité de la façon dont l’échantillon a été sélectionné, et répond à la question de l’échantillon à la population. L’inférence fondée sur le modèle (model-based) tire sa validité du fait que le modèle est correct là où il est appliqué, et répond à la question du nouveau point au modèle 78. Un échantillon peut être un tirage probabiliste exemplaire de sa propre population et malgré tout placer une prédiction bien au-delà de l’expérience d’un modèle emprunté. Les deux questions sont indépendantes, et la seconde est celle qui fait taire la salle.

Le domaine d’applicabilité, défini

Le concept qui gouverne la seconde question a déjà un nom, emprunté à un domaine qui a appris la leçon tôt. En chimie, les modèles quantitatifs structure-activité prédisent les propriétés d’une molécule à partir de sa structure, et les régulateurs ont remarqué que ces modèles produisaient des prédictions assurées et fausses pour des molécules ne ressemblant à rien de ce que contenait le jeu d’entraînement. La réponse a été de définir un domaine d’applicabilité : la région de l’espace des entrées où un modèle produit des prédictions fiables, assortie d’une règle explicite pour décider si un nouveau cas s’y trouve 12.

Le suivi environnemental recourt à la même idée, le plus souvent sans lui donner ce nom. Toute équation allométrique est ajustée sur une gamme de diamètres d’arbres, et l’appliquer au-delà de cette gamme est une extrapolation, ce qui explique que la règle pratique consiste à tracer la distribution des diamètres de votre inventaire par rapport à la gamme d’ajustement de l’équation, comme nous le décrivons dans Comment calculer la quantité de carbone dans un arbre ? Une gamme de diamètres est un domaine d’applicabilité à une dimension. Un modèle de sol moderne dépend de nombreuses covariables à la fois, les facteurs SCORPAN que formalise la cartographie numérique des sols 9, et les données d’entraînement occupent un nuage dans cet espace de grande dimension. Le domaine d’applicabilité est la région de cet espace que le nuage couvre réellement, et toute la question devient géométrique : le nouveau point se trouve-t-il à l’intérieur du nuage, ou dans un coin que le modèle n’a jamais visité ?

Comment savoir si un nouveau point est dans le domaine

L’appartenance au domaine est mesurable, et les méthodes vont du contrôle de cinq minutes à une statistique défendable que l’on peut présenter à un auditeur. Utilisez-les par ordre de rigueur croissante.

Plage et plage multivariée. Pour chaque covariable, le nouveau site tombe-t-il entre le minimum et le maximum des données d’entraînement ? Cela repère l’extrapolation la plus grossière. Sa faiblesse est qu’un point peut se situer dans la plage de chaque variable prise séparément et rester une combinaison irréaliste que le modèle n’a jamais vue, par exemple la pluviométrie d’un site humide associée à la teneur en argile d’un site sec.

Distance aux données d’entraînement. Les méthodes de référence mesurent à quelle distance le nouveau point se trouve du nuage d’entraînement, en tenant compte des corrélations entre variables. L’effet levier (la diagonale de la matrice chapeau) le fait pour les modèles linéaires ; la distance de Mahalanobis met à l’échelle chaque direction par la covariance d’entraînement ; la distance aux k points d’entraînement les plus proches, et la distance de Gower pour des variables mixtes, continues et catégorielles, sont des alternatives non paramétriques robustes 1210.

L’aire d’applicabilité, pour les cartes. Quand le modèle produit une carte continue, la question est spatiale : à quels pixels le modèle peut-il être appliqué ? La méthode de l’aire d’applicabilité répond exactement à cela 3. Elle pondère chaque covariable par son importance, mesure dans cet espace pondéré la distance de chaque pixel au point d’entraînement le plus proche, et la compare à la distance typique entre les points d’entraînement eux-mêmes. Les pixels au-delà d’un seuil dérivé de la validation croisée sont hors de l’aire d’applicabilité, et l’erreur rapportée du modèle ne s’y applique pas. Une carte régionale peut paraître complète et faire autorité, alors que de larges portions en sont, selon cette mesure, hors domaine 4.

Les calibrations spectrales ont leur propre version. Si le carbone du sol est prédit à partir de spectres dans le moyen infrarouge plutôt que de covariables, l’analyse en composantes principales du jeu de calibration définit l’espace qu’elle connaît, et pour un nouveau spectre le T² de Hotelling (à quelle distance à l’intérieur de cet espace) et le résidu Q (à quelle distance à l’extérieur) signalent les échantillons que la calibration n’a jamais appris à lire.

Le piège de la validation : pourquoi un bon R² peut mentir

Il existe une manière bien précise dont cela tourne mal, et elle flatte le praticien. Quand un modèle est validé par une validation croisée aléatoire ordinaire, les points mis de côté sont dispersés parmi les points d’entraînement. Si les données sont spatialement autocorrélées, et les données de sol et de végétation le sont presque toujours, alors chaque point mis de côté a un proche voisin dans le jeu d’entraînement. Le modèle est testé presque entièrement à l’intérieur de son domaine, sur des points faciles. La validation à structure spatiale, qui met de côté des blocs entiers d’espace, révèle de façon répétée que des modèles aux excellents scores de validation croisée aléatoire prédisent mal dès qu’ils doivent s’aventurer plus loin 56. Une carte régionale peut être sans biais en moyenne sur toute son étendue et rester fausse pour chaque projet individuel qu’elle recouvre.

La réponse honnête n’est pas simplement de remplacer la validation croisée aléatoire par la validation spatiale et de passer à autre chose, car le bon plan de validation est lui-même débattu : le blocage spatial peut être pessimiste s’il met de côté des régions que l’on ne demanderait jamais au modèle de prédire, et l’option la plus défendable, quand le budget le permet, est un échantillon de validation distinct tiré par échantillonnage probabiliste dans la zone cible, qui estime la précision de la carte sans s’appuyer le moins du monde sur le modèle 78. Le point qui survit au débat est plus simple : un chiffre de précision n’a de sens qu’accompagné d’un énoncé indiquant où, dans l’espace des covariables et l’espace géographique, il a été mesuré, et si le lieu où l’on veut désormais une prédiction y ressemble.

Une règle de décision que l’on peut défendre

Mis bout à bout, le test de domaine est un flux de travail court et reproductible qui tient sur une page d’un plan de suivi. Définir le domaine de calibration (la distribution multivariée des covariables dans les données d’entraînement). Situer chaque nouveau point par rapport à lui : d’abord le contrôle de plage variable par variable, puis une métrique de distance. Le classer comme dans le domaine, limite, ou hors domaine par rapport à des seuils fixés à l’avance. Puis agir selon la classe : les points dans le domaine reçoivent la prédiction telle quelle ; les points limites la reçoivent avec une incertitude explicitement gonflée et un signalement ; les points hors domaine ne reçoivent aucun chiffre emprunté, ils déclenchent un échantillonnage de référence local et une réestimation.

L’intérêt de l’écrire est que cela transforme un argument (« nous pensons que la nouvelle région est assez semblable ») en preuve (« voici où tombe chaque nouveau point, et voici la règle que nous avons appliquée »). C’est la différence entre une affirmation qu’un vérificateur accepte et une qu’il sonde.

Un exemple traité : un modèle, deux régions

Un modèle de carbone du sol est calibré sur des exploitations en plein soleil et sous ombrage léger d’une région d’approvisionnement. L’approvisionnement s’étend à une deuxième région d’agroforesterie ombragée de longue date. Cinq des covariables du modèle, comparées au site représentatif de la nouvelle région :

Trois covariables sur cinq tombent hors de la plage calibrée, et les deux qui comptent le plus pour le carbone, la pluviométrie et l’ombrage, en font partie. Une distance de Mahalanobis ou un indice d’aire d’applicabilité placerait ce site bien au-delà du nuage d’entraînement. Le verdict est sans ambiguïté : le modèle est hors domaine ici, et l’appliquer reviendrait à rapporter un chiffre sans aucun appui. C’est le même constat, en miniature, que celui auquel parviennent des évaluations indépendantes à l’échelle continentale, où des relations de carbone du sol calibrées sur des systèmes tempérés de grandes cultures ne se transfèrent pas à des systèmes pérennes ombragés sans réestimation locale. Nous abordons le choix du modèle et la recalibration locale dans Comment modéliser l’évolution du carbone du sol dans le temps ?

Le rééchantillonnage, et le domaine qui se déplace

Il existe une deuxième façon, plus discrète, dont la représentativité échoue, et elle se manifeste précisément quand un programme fait tout le reste correctement. Le suivi repose sur le rééchantillonnage : revisiter le même réseau au fil du temps, comparer, et rapporter le changement. L’hypothèse non dite est que le réseau reste représentatif du système qu’il surveille. Les systèmes bougent. La gestion change, un programme d’ombrage arrive à maturité, une sécheresse remodèle le régime d’humidité du sol, l’usage des terres se déplace en bordure du bassin d’approvisionnement. Un modèle calibré une fois sur le système d’origine peut glisser hors du domaine par rapport au système qui existe désormais, sans que personne ne relance de contrôle. Les statisticiens appellent cela un décalage de covariables ou une dérive de concept ; sur le terrain, cela ressemble à une référence qui cesse discrètement de décrire le présent.

Pourquoi les vérificateurs commencent à poser la question

Ce n’est plus seulement une subtilité méthodologique. Les cadres comptables qui gouvernent les allégations sur le carbone convergent vers l’exigence que l’incertitude soit quantifiée et divulguée, et une prédiction appliquée hors du domaine d’un modèle est une incertitude qui a été dissimulée plutôt que quantifiée. La norme GHG Protocol Land Sector and Removals exige une quantification défendable assortie d’une incertitude divulguée. L’Affinement 2019 du GIEC pousse vers des facteurs de niveau supérieur, adaptés localement, plutôt que des valeurs par défaut empruntées, précisément parce que ces valeurs par défaut sont hors domaine pour bon nombre des lieux où on les applique 12. Les vérificateurs commencent à demander une validation à structure spatiale ou indépendante plutôt qu’un simple R² mis en avant, et des preuves qu’un modèle réutilisé convient au site sur lequel on le réutilise. Les équipes qui sauront répondre à ces questions sont celles qui ont testé l’appartenance au domaine avant qu’on le leur demande, et qui peuvent en apporter la preuve.

Points clés