Repräsentativ wofür? Wenn eine neue Probe außerhalb des Bereichs Ihres Modells liegt

Ein Beschaffungsprogramm für Kakao erstellt eine Baseline für organischen Bodenkohlenstoff für seine erste Herkunftsregion. Das Team nimmt Proben im gesamten Liefergebiet, passt ein Modell an, das den Kohlenstoffvorrat aus Boden- und Landschaftskovariaten vorhersagt, und validiert es per Kreuzvalidierung. Das R² beträgt 0,78. Gut genug für den Bericht. Ein Jahr später weitet das Programm sich auf eine zweite Herkunftsregion in einem anderen Land aus und verwendet dasselbe Modell, um die neue Baseline zu schätzen, weil ein Neuaufbau eine Feldkampagne kosten würde, für die das Budget fehlt. Die Prüfstelle stellt eine einzige Frage: Welchen Nachweis haben Sie, dass die zweite Herkunftsregion innerhalb der Bandbreite von Bedingungen liegt, auf die das Modell kalibriert wurde? Das Team verweist auf die 0,78. Doch diese Zahl beschreibt, wie gut das Modell innerhalb der Bedingungen der ersten Herkunftsregion vorhersagt. Über die zweite sagt sie nichts. Im Raum wird es still.

Das ist das Repräsentativitätsproblem, dem Monitoringteams am häufigsten begegnen und das sie am wenigsten klar benennen. Es geht dabei eigentlich nicht um die Stichprobe. Es geht um die Beziehung zwischen drei Dingen: wo Sie gemessen haben, wo Sie jetzt eine Zahl haben wollen und welchen Ausschnitt der Welt das Modell tatsächlich gesehen hat.

Alles Folgende beginnt, nachdem das Modell angepasst wurde, und setzt die Anpassung voraus. Die vorgelagerte Frage, wie dieses Modell kalibriert wurde und worüber sein kreuzvalidierter Wert eigentlich eine Aussage trifft, ist Gegenstand des Praxisleitfadens zu Kalibrierung und Validierung. Das R² von 0,78 oben ist ein gutes Beispiel dafür, warum das wichtig ist.

Zwei Fragen, verborgen in einem Wort

Repräsentativität wird für zwei unterschiedliche Aussagen verwendet, und wer sie vermengt, bekommt Probleme. Die erste Aussage betrifft eine Stichprobe und eine Grundgesamtheit: dass die Stichprobe das Gebiet widerspiegelt, das Sie beschreiben wollen, sodass ein daraus berechneter Mittelwert eine faire Schätzung des wahren Mittelwerts ist. Das ist das Gebiet des Stichprobendesigns und der Sinn, den wir in Wie groß sollte Ihre Beprobungskampagne für Bodenkohlenstoff sein? und Signal versus Rauschen durcharbeiten.

Die zweite Aussage betrifft einen neuen Punkt und ein Modell. Das meiste Monitoring endet heute nicht bei einem Stichprobenmittelwert. Es passt ein Modell an, eine allometrische Gleichung, eine Bodenkohlenstoffkarte, eine Spektralkalibrierung, ein Prozessmodell wie RothC oder einen Standard-Emissionsfaktor, und wendet es auf Orte an, an denen nichts gemessen wurde. Eine Vorhersage an einem neuen Ort ist nur so vertrauenswürdig wie die Erfahrung des Modells mit Bedingungen wie denen dieses Ortes. Außerhalb der Bandbreite der Bedingungen in den Trainingsdaten extrapoliert das Modell, und sein Fehler ist weder begrenzt noch aus den Anpassungsstatistiken erkennbar.

Diese beiden Aussagen entsprechen den zwei klassischen Inferenzmodi. Die designbasierte Inferenz bezieht ihre Gültigkeit daraus, wie die Stichprobe ausgewählt wurde, und beantwortet die Frage von der Stichprobe zur Grundgesamtheit. Die modellbasierte Inferenz bezieht ihre Gültigkeit daraus, dass das Modell dort korrekt ist, wo es angewendet wird, und beantwortet die Frage vom neuen Punkt zum Modell 78. Eine Stichprobe kann eine mustergültige Wahrscheinlichkeitsstichprobe ihrer eigenen Grundgesamtheit sein und dennoch eine Vorhersage weit außerhalb der Erfahrung eines übernommenen Modells platzieren. Die beiden Fragen sind unabhängig voneinander, und die zweite ist diejenige, die den Raum verstummen lässt.

Der Anwendbarkeitsbereich, definiert

Das Konzept, das die zweite Frage bestimmt, hat bereits einen Namen, entlehnt aus einem Fach, das die Lektion früh gelernt hat. In der Chemie sagen quantitative Struktur-Wirkungs-Modelle die Eigenschaften eines Moleküls aus seiner Struktur vorher, und Regulierungsbehörden bemerkten, dass diese Modelle selbstsichere, falsche Vorhersagen für Moleküle lieferten, die nichts im Trainingsdatensatz ähnelten. Die Antwort war die Definition eines Anwendbarkeitsbereichs: der Region des Eingaberaums, in der ein Modell verlässliche Vorhersagen liefert, mit einer expliziten Regel zur Entscheidung, ob ein neuer Fall darin liegt 12.

Das Umweltmonitoring nutzt dieselbe Idee, meist ohne den Namen. Jede allometrische Gleichung wird über eine Bandbreite von Baumdurchmessern angepasst 11, und ihre Anwendung über diese Bandbreite hinaus ist Extrapolation, weshalb die praktische Regel lautet, die Durchmesserverteilung Ihrer Inventur gegen den Anpassungsbereich der Gleichung aufzutragen, wie wir in Wie berechnet man die Kohlenstoffmenge in einem Baum? beschreiben. Eine Durchmesserspanne ist ein Anwendbarkeitsbereich in einer Dimension. Ein modernes Bodenmodell hängt von vielen Kovariaten zugleich ab, den SCORPAN-Faktoren, die die digitale Bodenkartierung formalisiert 9, und die Trainingsdaten bilden eine Wolke in diesem hochdimensionalen Raum. Der Anwendbarkeitsbereich ist die Region dieses Raums, die die Wolke tatsächlich abdeckt, und die ganze Frage wird geometrisch: Liegt der neue Punkt innerhalb der Wolke oder abseits in einer Ecke, die das Modell nie besucht hat?

Deckt Ihr Kalibrierungsdatensatz die neue Region ab?

Alles bisher Gesagte behandelt jeweils einen Punkt, und das ist die richtige Frage, wenn Sie im Begriff sind, eine Zahl für einen Betrieb zu berichten. Es ist die falsche Frage, wenn ein Programm wissen will, ob ein in einer Herkunftsregion erstelltes Modell in einer ganzen zweiten Herkunftsregion wiederverwendet werden kann. Das ist eine Frage nach zwei Verteilungen, und es gibt dafür einen direkten Test, der einen Nachmittag dauert.

Kennzeichnen Sie jede Kalibrierungsprobe mit 0 und jeden Standort im Zielgebiet mit 1. Verwerfen Sie die Bodenkohlenstoffwerte und behalten Sie nur die Kovariaten. Trainieren Sie nun einen Klassifikator, der die beiden Kennzeichnungen unterscheidet, und validieren Sie ihn per Kreuzvalidierung. Wenn der Klassifikator nicht besser als der Zufall abschneidet, sind die beiden Mengen hinsichtlich der vom Modell verwendeten Variablen statistisch nicht unterscheidbar, und Ihre Kalibrierungsdaten sind eine plausible Stichprobe der Bedingungen im Zielgebiet. Trennt er sie mühelos, liegt eine Kovariatenverschiebung vor, und Sie haben nun eine Zahl dafür statt eines Arguments. Dies ist der Zweistichprobentest mit Klassifikator, und die Theorie, die es erlaubt, aus der Genauigkeit eines Klassifikators einen Abstand zwischen Bereichen abzulesen, ist älter als seine Anwendung hier 2223.

Der Klassifikator liefert drei Dinge, die ein vorangestelltes R² nicht liefern kann. Seine Genauigkeit, gelesen als Fläche unter der ROC-Kurve, ist die Kennzahl. Seine Variablenwichtigkeiten sagen, welche Kovariate die Abweichung treibt, und das ist es, worauf Sie tatsächlich reagieren würden. Und seine angepassten Wahrscheinlichkeiten liefern das Dichteverhältnis zwischen den beiden Grundgesamtheiten, die Größe, die die Kovariatenverschiebung formalisiert 24 und die wieder auftaucht, wenn wir zur Unsicherheit kommen.

Die zweite Zeile ist diejenige, die man einem Auftraggeber vorlegen sollte. Die Umgewichtung eines Kalibrierungsdatensatzes auf eine neue Zielpopulation ist Standardpraxis 25, doch die Gewichte konzentrieren die Arbeit auf eine schrumpfende Handvoll Proben, und Kishs effektiver Stichprobenumfang misst, wie wenige übrig bleiben 26. Ein Kalibrierungsdatensatz mit 200 Proben, der nach Umgewichtung für die neue Region auf effektiv 14 schrumpft, hat die Frage beantwortet. Diese Zahl ist schwerer zu bestreiten als jede Anpassungsgüte-Statistik, weil sie die Daten zählt, die tatsächlich die Arbeit leisten.

Bewegen Sie die Regler unten und beobachten Sie, wie sich die drei Zahlen gemeinsam verändern. Zwei Verhaltensweisen lohnt es sich, gezielt hervorzurufen. Schieben Sie das Zielgebiet vom Kalibrierungsdatensatz weg: Der Klassifikator trennt beide, der effektive Stichprobenumfang bricht ein, und der Anteil des Zielgebiets innerhalb des Bereichs sinkt; wenn die Fläche unter der Kurve 0,94 erreicht, sind siebzig Kalibrierungsproben nur noch effektiv fünfzehn wert. Setzen Sie die Verschiebung dann auf null zurück und verbreitern Sie stattdessen das Zielgebiet. Der Klassifikator fällt auf 0,50 zurück und erklärt die beiden Mengen scheinbar für identisch, während deutlich weniger als die Hälfte des Zielgebiets noch innerhalb des Bereichs liegt.

Dieser zweite Fall ist die ehrliche Grenze der Methode, und sie ist wichtig. Ein linearer Klassifikator trennt anhand des Mittelwerts und ist daher blind für ein Zielgebiet, das das Zentrum des Kalibrierungsdatensatzes teilt und einfach mehr Gelände umfasst, und genau das tut ein Liefergebiet, wenn es sich in variableres Terrain ausdehnt. Verwenden Sie einen flexiblen Lerner statt einer logistischen Regression, und lesen Sie den Klassifikator nie für sich allein: Berichten Sie ihn zusammen mit dem Anteil des Zielgebiets, der innerhalb des Bereichs liegt. Die eine Zahl erkennt eine Verschiebung der Lage, die andere eine Verschiebung der Streuung, und ein Programm kann unter beidem leiden.

Für einen Monitoringplan ist dieser Anteil der Satz, den es sich aufzuschreiben lohnt: nicht „das Modell ist anwendbar“, sondern „62 % des neuen Liefergebiets liegen innerhalb des Kalibrierungsbereichs, der Rest konzentriert sich im niederschlagsreichen Norden, und das haben wir dagegen unternommen“.

Wie man erkennt, ob ein neuer Punkt im Bereich liegt

Die Zugehörigkeit zum Bereich ist messbar, und die Methoden bilden eher eine Stufenleiter als eine Auswahlliste. Jede Stufe behebt eine bestimmte Blindheit der darunterliegenden, sodass die nützliche Frage nicht lautet, welche Methode die beste ist, sondern welche Blindheit Sie sich leisten können.

Eine Variable nach der anderen. Liegt der neue Standort für jede Kovariate zwischen dem Minimum und dem Maximum der Trainingsdaten? Das fängt die gröbste Extrapolation in fünf Minuten ab. Die veröffentlichte Version dieser Prüfung, die multivariate Umweltähnlichkeitsfläche (MESS), bewertet einen Standort von 0 bis 100 danach, wie tief seine extremste Variable innerhalb der Referenzverteilung liegt, und wird negativ, sobald eine Variable den Referenzbereich verlässt, wobei der Betrag die Abweichung als Prozentsatz der Spannweite dieser Variable angibt 17. Ein Wert von 100 bedeutet, dass der Punkt bei jeder Variable im Median der Referenzdaten liegt.

Ihre Schwäche ist struktureller Natur: Sie nimmt das Minimum über alle Variablen, ist also nur knapp multivariat. Ein Punkt kann bequem innerhalb der Spannweite jeder Variable liegen und dennoch eine unmögliche Kombination sein, die das Modell nie gesehen hat: der Niederschlag eines feuchten Standorts mit dem Tongehalt eines trockenen. Keine noch so gründliche Prüfung Variable für Variable findet das.

Neue Kombinationen. Die Methode zur Extrapolationserkennung (ExDet) teilt Neuartigkeit ausdrücklich in die zwei Arten auf 16. Ihr erster Index summiert für jede Variable die Abweichung über den Referenzbereich hinaus, ausgedrückt als Anteil dieses Bereichs, und ist null, sobald alle Variablen im Bereich liegen. Ihr zweiter Index teilt die Mahalanobis-Distanz eines Punkts zum Referenzschwerpunkt durch die größte solche Distanz unter den Referenzdaten selbst. Werte über 1 bedeuten, dass der Punkt weiter vom Zentrum der Trainingswolke entfernt ist, als es je ein Trainingspunkt war: eine neue Kombination, unsichtbar für jede Bereichsprüfung.

Abstand zur Trainingswolke. Beiden liegt die Mahalanobis-Distanz zugrunde, die den Abstand in Einheiten der eigenen Streuung und Korrelation der Trainingsdaten misst, sodass ein Schritt in eine Richtung, die die Trainingsdaten kaum erkundet haben, mehr zählt als ein Schritt in eine Richtung, die sie gut abgedeckt haben. Ihre Referenzverteilung ist eine Chi-Quadrat-Verteilung mit so vielen Freiheitsgraden wie Kovariaten, was einen Schwellenwert statt eines Gefühls liefert: Markieren Sie alles jenseits des 95. Perzentils. Bei einem linearen Modell erscheint dieselbe Idee als Hebelwirkung (Leverage), die Diagonale der Hutmatrix, mit der altbewährten Warnlinie beim Dreifachen der mittleren Hebelwirkung, und eine Darstellung der Hebelwirkung gegen das standardisierte Residuum ist die Diagnose, die Regulierungsbehörden in dem Fach, das dem Anwendbarkeitsbereich seinen Namen gab, tatsächlich verwenden 1210.

Zwei Vorbehalte entscheiden, ob dies in der Praxis funktioniert. Die Kovarianzmatrix muss robust geschätzt werden, denn eine Handvoll ungewöhnlicher Trainingspunkte bläht sie auf, und die aufgeblähte Matrix erklärt dann alles für im Bereich liegend. Und sie lässt sich schlecht invertieren, wenn die Kovariaten kollinear oder zahlreich sind, was Bodenkovariaten zuverlässig sind; arbeiten Sie daher im Raum der beibehaltenen Hauptkomponenten oder verwenden Sie einen Shrinkage-Schätzer. Wo Variablen gemischt stetig und kategorial sind, sind die Gower-Distanz und einfache Nächste-Nachbarn-Distanzen der robuste nichtparametrische Ausweg.

Der Anwendbarkeitsbereich für Karten. Wenn das Modell eine flächendeckende Karte erzeugt, ist die Frage räumlich: Auf welche Pixel darf das Modell angewendet werden? Die Methode des Anwendbarkeitsbereichs (AOA) beantwortet genau das 3. Sie standardisiert die Kovariaten, gewichtet jede nach ihrer Wichtigkeit im angepassten Modell, misst in diesem gewichteten Raum den Abstand jedes Pixels zum nächstgelegenen Trainingspunkt und teilt ihn durch den Mittelwert aller paarweisen Abstände zwischen den Trainingsdaten. Pixel jenseits eines Schwellenwerts, der aus den eigenen Unähnlichkeiten der Trainingsdaten abgeleitet wird, liegen außerhalb des Anwendbarkeitsbereichs, und der berichtete Fehler des Modells gilt dort nicht. Eine regionale Karte kann vollständig und maßgeblich aussehen, während große Teile davon nach diesem Maß außerhalb des Bereichs liegen 4.

Dieser Schwellenwert verdient eine präzise Angabe, weil er häufig falsch zitiert wird. Er ist das um Ausreißer bereinigte Maximum der eigenen Unähnlichkeitsindizes der Trainingspunkte. Der bekannte Ausdruck des oberen Whiskers, das 75. Perzentil plus das 1,5-Fache des Interquartilsabstands, ist die Regel zur Entscheidung, welche Werte als Ausreißer gelten, nicht der Schwellenwert selbst. Der frei zirkulierende Preprint nennt wiederum eine andere Regel, das 0,95-Quantil, die im Peer-Review geändert wurde; umzusetzen ist die veröffentlichte Fassung.

Wie viel Rückhalt, nicht nur wie nah. Der Unähnlichkeitsindex betrachtet nur den einen nächstgelegenen Trainingspunkt und kann daher einen Standort, der von einer einzigen einsamen Probe gestützt wird, nicht von einem unterscheiden, hinter dem zweihundert stehen. Zu zählen, wie viele Trainingspunkte innerhalb der Schwellendistanz eines Standorts liegen, schließt diese Lücke, und die Zahl korreliert damit, wie gut das Modell dort tatsächlich abschneidet 15. Es ist ein nachträgliches Maß, das nichts zusätzlich kostet, sobald die Distanzen berechnet sind, und es macht den Unterschied zwischen „innerhalb des Bereichs“ und „innerhalb des Bereichs und gut gestützt“.

Spektralkalibrierungen haben ihre eigene Version. Wird Bodenkohlenstoff aus Spektren im mittleren Infrarot statt aus Kovariaten vorhergesagt, definiert die Hauptkomponentenanalyse des Kalibrierungsdatensatzes den Raum, den er kennt, und zwei Statistiken werden als Paar statt einzeln benötigt. Hotellings T² misst, wie weit ein neues Spektrum innerhalb dieses Raums vom Zentrum entfernt liegt; das Q-Residuum misst, wie weit es außerhalb davon liegt, in Richtungen, die die Kalibrierung nie modelliert hat. Eine Probe kann jede der beiden Prüfungen allein bestehen und dennoch eine sein, die zu lesen die Kalibrierung nie trainiert wurde.

Die Validierungsfalle: warum ein gutes R² lügen kann

Es gibt eine bestimmte Art, wie dies schiefgeht, und sie schmeichelt dem Anwender. Wird ein Modell durch gewöhnliche zufällige Kreuzvalidierung validiert, liegen die zurückgehaltenen Punkte verstreut zwischen den Trainingspunkten. Sind die Daten räumlich autokorreliert, und Boden- und Vegetationsdaten sind das fast immer, dann hat jeder zurückgehaltene Punkt einen nahen Nachbarn im Trainingsdatensatz. Das Modell wird fast ausschließlich innerhalb seines Bereichs getestet, an einfachen Punkten. Räumlich strukturierte Validierung, die ganze Raumblöcke zurückhält, zeigt immer wieder, dass Modelle mit hervorragenden Werten in der zufälligen Kreuzvalidierung schlecht vorhersagen, sobald sie weiter ausgreifen müssen 56. Eine regionale Karte kann über ihre gesamte Ausdehnung im Mittel unverzerrt sein und dennoch für jedes einzelne Projekt darin falsch liegen.

Die ehrliche Antwort ist nicht einfach, die zufällige gegen die räumliche Kreuzvalidierung auszutauschen und weiterzumachen, denn das richtige Validierungsdesign ist selbst umstritten: Räumliche Blockbildung kann pessimistisch sein, wenn sie Regionen zurückhält, für die das Modell nie eine Vorhersage liefern müsste, und die belastbarste Option ist, wo das Budget es erlaubt, eine separate Validierungsstichprobe, die per Wahrscheinlichkeitsauswahl aus dem Zielgebiet gezogen wird und die Kartengenauigkeit schätzt, ohne sich überhaupt auf das Modell zu stützen 78. Der Punkt, der die Debatte überdauert, ist einfacher: Eine Genauigkeitszahl ist nur zusammen mit der Angabe sinnvoll, wo im Kovariaten- und im geografischen Raum sie gemessen wurde und ob der Ort, für den Sie jetzt eine Vorhersage wollen, dem ähnelt.

Inzwischen gibt es eine schärfere Antwort, als sich für eine Seite zu entscheiden. Statt den Raum willkürlich in Blöcke zu teilen, passen Sie die Validierung an die Vorhersage an: Halten Sie Punkte so zurück, dass die Verteilung der Abstände von Testpunkten zu den Trainingsdaten der Verteilung der Abstände von den Orten, für die Sie tatsächlich vorhersagen werden, zu den Trainingsdaten ähnelt 13. Die Kreuzvalidierung misst dann die Reichweite, die vom Modell wirklich verlangt wird, weder geschmeichelt durch nahe Nachbarn noch bestraft für Regionen, nach denen niemand fragen wird. Die ursprüngliche Formulierung ließ jeweils einen Punkt aus und skalierte nicht; die k-fache Version bringt einen geclusterten Datensatz mit viertausend Punkten von Tagen auf etwa eine Minute 14, und das ist wichtig, denn der übliche Grund, warum Teams auf zufällige Kreuzvalidierung zurückgreifen, ist, dass die ehrliche Alternative rechnerisch außer Reichweite lag. Geclusterte Stichproben erfordern eigene Sorgfalt 39.

Was „die Unsicherheit erhöhen“ eigentlich bedeuten sollte

Der Rat, die Fehlerbalken für Grenzfälle zu verbreitern, ist leicht gegeben und schwer umzusetzen. Um wie viel verbreitern? Es gibt eine rigorose Antwort, und ihre Grenzen sind ebenso lehrreich wie ihre Garantien.

Die Split-Conformal-Vorhersage konstruiert ein Intervall aus zurückgehaltenen Residuen statt aus irgendeiner Annahme über die Form der Fehler 18. Passen Sie das Modell an einen Teil der Daten an, berechnen Sie die absoluten Residuen auf einem zurückgehaltenen Kalibrierungsdatensatz und nehmen Sie eine bestimmte Ordnungsstatistik dieser Residuen als halbe Intervallbreite. Das resultierende Intervall überdeckt den wahren Wert in mindestens 1 − α der Fälle, bei endlichen Stichproben und ganz ohne Verteilungsannahme.

Die zweite Zeile ist keine Formalität. Unterhalb dieser Zahl von Kalibrierungspunkten liefert die Methode ein unendlich breites Intervall, ihre ehrliche Art zu sagen, dass die Daten die von ihnen verlangte Aussage nicht tragen können. Eine Methode, die die Antwort verweigert, wenn sie keine geben kann, ist für ein Monitoringprogramm mehr wert als eine, die immer eine Zahl liefert.

Eine konstante halbe Breite über ein ganzes Projekt ist selten das, was man will, und die Abhilfe ist Standard: Bewerten Sie die Konformität gegenüber angepassten Quantilen statt gegenüber einem angepassten Mittelwert, und das Intervall passt sich daran an, wie unsicher das Modell an jedem Standort ist, während die Überdeckungsgarantie erhalten bleibt 20. Standorte unter gut beprobten Bedingungen erhalten enge Intervalle, schwierige erhalten breite, und niemand muss den Erhöhungsfaktor von Hand wählen.

Hier liegt der Haken, und er ist das ganze Thema dieses Artikels. Diese Garantie gilt nur, wenn die Kalibrierungspunkte und der neue Punkt austauschbar sind, und genau das bricht der Wechsel in eine neue Region. Konforme Vorhersage ist kein Ausweg aus dem Bereichsproblem. Naiv über eine Bereichsgrenze hinweg angewendet, erzeugt sie Intervalle, die rigoros aussehen und es nicht sind.

Was sie rettet, ist die Größe, die wir bereits konstruiert haben. Wenn Sie das Dichteverhältnis zwischen Ziel- und Kalibrierungspopulation kennen, können Sie jedes Kalibrierungsresiduum damit gewichten und die Garantie unter Kovariatenverschiebung wiederherstellen 19. Der Mechanismus ist elegant: Der neue Punkt trägt sein eigenes Gewicht zum Quantil bei, sodass, je weiter er in Gebiet vordringt, das die Kalibrierungsdaten kaum abdecken, desto mehr Wahrscheinlichkeitsmasse im Unendlichen liegt und das Intervall sich von selbst verbreitert, bis es unbeschränkt wird, sobald dieses Gewicht α übersteigt. Der Klassifikator aus dem Abschnitt zur Abdeckung liefert dieses Verhältnis, weshalb die beiden Abschnitte zusammengehören. Ein ehrlicher Vorbehalt: Die Garantie ist nur exakt, wenn das Verhältnis bekannt ist, und in der Praxis wird es geschätzt; behandeln Sie die Überdeckung daher als näherungsweise und mit der Qualität dieser Schätzung abnehmend.

Eine härtere Grenze sollte man kennen, bevor jemand sie verspricht. Eine Überdeckung, die auf die exakten Kovariatenwerte eines Standorts bedingt ist, lässt sich für stetige Kovariaten nicht auf nichttriviale Weise erreichen: Jedes Verfahren, das sie beansprucht, muss unendlich breite Intervalle liefern 21. Der praktikable Kompromiss besteht darin, die Überdeckung innerhalb vorab festgelegter Strata zu garantieren, nach Region, Bodentextur oder Landnutzung, jedes mit eigenem Kalibrierungsdatensatz. Das ist die richtige Form für MRV, und sie hat eine operative Konsequenz: Eine dünn beprobte Region erhält eine grobe Garantie oder gar keine, und das ist eine Information, kein Mangel.

Eine Entscheidungsregel, die sich verteidigen lässt

Zusammengenommen ist die Bereichsprüfung ein kurzer, wiederholbarer Arbeitsablauf, der auf eine Seite eines Monitoringplans passt. Den Kalibrierungsbereich definieren (die multivariate Verteilung der Kovariaten in den Trainingsdaten). Jeden neuen Punkt relativ dazu verorten: zuerst die Bereichsprüfung je Variable, dann ein Distanzmaß. Ihn anhand vorab festgelegter Schwellenwerte als innerhalb des Bereichs, grenzwertig oder außerhalb des Bereichs einstufen. Dann gemäß der Klasse handeln: Punkte innerhalb des Bereichs erhalten die Vorhersage unverändert; grenzwertige Punkte erhalten sie mit ausdrücklich erhöhter Unsicherheit und einer Markierung; Punkte außerhalb des Bereichs erhalten überhaupt keine übernommene Zahl, sondern lösen eine lokale Referenzbeprobung und eine Neuschätzung aus.

Der Wert des Aufschreibens liegt darin, dass es ein Argument („wir halten die neue Region für ähnlich genug“) in einen Nachweis verwandelt („hier liegt jeder neue Punkt, und das ist die Regel, die wir angewendet haben“). Das ist der Unterschied zwischen einer Aussage, die eine Prüfstelle akzeptiert, und einer, die sie hinterfragt.

Ein Rechenbeispiel: ein Modell, zwei Regionen

Ein Bodenkohlenstoffmodell wird auf Betrieben mit voller Sonne und leichter Beschattung in einer Beschaffungsregion kalibriert. Die Beschaffung weitet sich auf eine zweite Region mit etablierter beschatteter Agroforstwirtschaft aus. Fünf der Kovariaten des Modells, geprüft am repräsentativen Standort der neuen Region:

Drei von fünf Kovariaten liegen außerhalb des kalibrierten Bereichs, und die beiden, die für den Kohlenstoff am wichtigsten sind, Niederschlag und Beschattung, gehören dazu. Eine Mahalanobis-Distanz oder ein AOA-Index würde diesen Standort weit jenseits der Trainingswolke verorten. Das Urteil ist eindeutig: Das Modell ist hier außerhalb seines Bereichs, und seine Anwendung würde eine Zahl ohne jeden Rückhalt berichten. Das ist im Kleinen derselbe Befund, zu dem unabhängige Bewertungen auf kontinentaler Skala kommen, wo Bodenkohlenstoffbeziehungen, die an Reihenkulturen der gemäßigten Zone kalibriert wurden, sich ohne lokale Neuschätzung nicht auf beschattete Dauerkultursysteme übertragen lassen. Modellwahl und lokale Rekalibrierung behandeln wir in Wie modelliert man die Veränderung des Bodenkohlenstoffs über die Zeit?

Wenn die Antwort „außerhalb“ lautet: den Bereich kostengünstig erweitern

„Lokale Beprobung auslösen“ ist der Punkt, an dem die meisten Darstellungen dieses Themas aufhören, und es ist der Moment, in dem eine Programmverantwortliche oder ein Programmverantwortlicher die meiste Hilfe braucht. Die gute Nachricht ist, dass die Erweiterung eines Bereichs weit günstiger ist als sein Aufbau und dass die Zahlen überraschend klein sind.

Wählen Sie die neuen Punkte so, dass sie den Raum abdecken, nicht so, dass sie die Grundgesamtheit nachbilden. Das konditionierte Latin-Hypercube-Sampling, der Standard in der digitalen Bodenkartierung, wählt Standorte so aus, dass die Stichprobe die Randverteilungen der Kovariaten und ihre Korrelationen wiedergibt 29. Das Coverage-Sampling dagegen gruppiert das Zielgebiet im Kovariatenraum in Cluster und beprobt nahe jedem Clusterzentrum, wodurch es den gemeinsamen Raum aufspannt, statt seine Ränder nachzubilden 30. Für die Kalibrierung eines Modells ist das Aufspannen meist das, was Sie wollen, und ein Vergleich empfiehlt, die Stichprobe über den Merkmalsraum der wichtigsten Kovariaten zu verteilen 31.

Misstrauen Sie jedem, der Ihnen einen klaren Sieger zwischen beiden verkauft. Die Evidenz ist tatsächlich gemischt: Coverage-Sampling gewinnt in manchen Vergleichen im Mittel, der Latin Hypercube gewinnt in anderen bei kleinen Stichprobenumfängen, und in den meisten zählt der Stichprobenumfang mehr als die Wahl der Methode. Vergleiche, die auf einer einzigen Realisierung jedes Designs beruhen, sind nahezu aussagelos, weil sich die Verteilungen der Ergebnisse stark überlappen.

Oft müssen Sie das Modell gar nicht neu aufbauen. Die Bodenspektroskopie hat das zuerst gelernt: Eine große Bibliothek, die lokal versagt, lässt sich reparieren, indem man ihr eine Handvoll lokaler Proben hinzufügt, eine Praxis, die Spiking genannt wird. Die Zahlen in der Literatur sind konsistent und klein: Rund fünfzehn lokale Proben verringern die Vorhersageverzerrung deutlich 32, zwölf hoben die Leistung eines regionalen Modells von einem R² zwischen 0,07 und 0,36 auf ein R² zwischen 0,69 und 0,86 33, und zwölf bis zwanzig lokale Proben in Kombination mit einer großen Bibliothek erreichten standortspezifische Kalibrierungen, die aus bis zu dreihundert Proben erstellt wurden 34. Zehn bis dreißig gut gewählte Proben sind die praktische Spanne.

Dieselbe Sparsamkeit zeigt sich in der Allometrie. Verwendet man veröffentlichte Gleichungen als A-priori-Verteilungen, statt bei null anzufangen, können sechs Bäume die Parameter ebenso gut schätzen wie vierzig bis sechzig im klassischen Ansatz 35. Hier leistet partielles Pooling die Arbeit: Das übernommene Modell liefert die Form, die lokalen Daten ziehen es zur lokalen Wahrheit hin, und die Varianzkomponente zwischen Standorten ist selbst ein Maß dafür, wie übertragbar die Beziehung überhaupt war.

Wenn Sie sich nur einen Test leisten können, testen Sie auf Verzerrung. Eine kleine lokale Stichprobe, die keine Neuanpassung tragen kann, kann dennoch beantworten, ob das übernommene Modell hier systematisch danebenliegt. Das ist ein Zweistichprobenvergleich, und er verwendet dieselbe Teststärkeformel wie jedes Design zur Veränderungserkennung, die wir in Wie groß sollte Ihre Beprobungskampagne für Bodenkohlenstoff sein? durcharbeiten. Setzt man die Verzerrung, die einem wichtig wäre, anstelle der minimal nachweisbaren Differenz ein, ergibt sich die Zahl der lokalen Proben, die nötig sind, um sie zu erkennen.

Ein kontraintuitiver Befund verdient einen Platz in jeder Übertragungsentscheidung. Als Pedotransferfunktionen in eine neue Region übertragen wurden, schnitten diejenigen, die nur auf Sand und Ton beruhten, besser ab als Versionen mit elf Kovariaten 38. Mehr Prädiktoren bedeuten einen höherdimensionalen Raum, eine dünnere Trainingswolke und mehr Möglichkeiten für einen neuen Standort, aus ihr herauszufallen. Sparsamkeit erkauft Bereichsabdeckung, und das ist ein besserer Grund, sie zu bevorzugen, als Eleganz. Die Kosten eines Fehlers hierbei sind gut dokumentiert: Pantropische Gleichungen überschätzten die Biomasse an einem zentralafrikanischen Standort um etwa 40 % 36, und aus kleinen Stichproben erstellte Gleichungen weisen eine mittlere Verzerrung auf Standortebene von nahezu +70 % auf, mit einer Spanne von −4 % bis +193 % 37.

Wiederbeprobung und der Bereich, der sich verschiebt

Es gibt eine zweite, leisere Art, wie Repräsentativität versagt, und sie zeigt sich gerade dann, wenn ein Programm alles andere richtig macht. Monitoring beruht auf Wiederbeprobung: dasselbe Netz über die Zeit erneut aufsuchen, vergleichen und die Veränderung berichten. Die unausgesprochene Annahme ist, dass das Netz für das überwachte System repräsentativ bleibt. Systeme bewegen sich. Die Bewirtschaftung ändert sich, ein Schattenbaumprogramm wächst heran, eine Dürre formt das Bodenfeuchteregime um, die Landnutzung verschiebt sich an den Rändern des Liefergebiets. Ein einmal am ursprünglichen System kalibriertes Modell kann relativ zu dem System, das jetzt existiert, aus seinem Bereich herausgleiten, ohne dass jemand eine Prüfung wiederholt. Statistiker nennen das Kovariatenverschiebung oder Konzeptdrift; im Feld sieht es aus wie eine Baseline, die still und leise aufhört, die Gegenwart zu beschreiben.

Drift lässt sich mit dem bereits eingeführten Instrument testen. Lassen Sie den Bereichsklassifikator zwischen Monitoringzyklen statt zwischen Regionen laufen: Kennzeichnen Sie die Kovariaten des ersten Zyklus mit 0 und die des zweiten mit 1, und prüfen Sie, ob ein Klassifikator die Jahre unterscheiden kann. Kann er es, hat sich das System relativ zum Modell bewegt, und die Variablenwichtigkeiten benennen, was sich bewegt hat. Es kostet nichts über die Kovariaten hinaus, die Sie bereits haben, und es macht aus einer Warnung eine planmäßige Prüfung.

Warum Prüfstellen anfangen, danach zu fragen

Die Behauptung, das Umweltmonitoring nutze diese Idee, ohne sie zu benennen, bedarf einer Korrektur, und sie ist nützlich. Verras VM0042 benennt sie. Ihr Definitionsabschnitt definiert einen Projektbereich als die Menge von Bedingungen, einschließlich Kulturart, Bodentextur und Klima, unter denen die Modellanwendung validiert wurde 40. Der Anwendbarkeitsbereich ist hier keine aus der Chemie entlehnte Abstraktion; er ist ein definierter Begriff in der Methodologie, nach der ein großer Teil der Bodenkohlenstoffprojekte geschrieben wird.

Ihr Begleitmodul macht aus der Definition einen prüfbaren Test. Jede Klimazone oder national definierte landwirtschaftliche Region, die das Projekt angibt, muss im Validierungsdatensatz vorkommen; die drei Bodentexturklassen, die im Projektgebiet voraussichtlich dominieren, müssen enthalten sein; und die Daten müssen eine Spanne von 15 Prozentpunkten Tongehalt abdecken. Das Modul nennt seinen Zweck klar: zu bestätigen, dass das Modell nicht auf eine einzige Kombination von Bedingungen hyperkalibriert und dann anderswo angewendet wurde. Zwei Grenzen sollte man genau benennen: Die Anforderung gilt für die Quantifizierung durch Messung und Modellierung, nicht für eine rein messungsbasierte Zertifizierung, und sie legt keine Mindestzahl von Standorten fest. Die Disziplin betrifft die Abdeckung, nicht den Stichprobenumfang.

Alle anderen Rahmenwerke sind weicher, und man sollte sie nicht überbewerten. Der IPCC behandelt dies auf nationaler Ebene als gute Praxis und empfiehlt, Tier-3-Modelle an Messungen zu kalibrieren und zu testen, die die Variabilität von Klima, Boden und Landnutzung widerspiegeln, über die sie angewendet werden. Die EU-Verordnung über CO₂-Entnahmen erlegt entgegen häufiger gegenteiliger Behauptungen überhaupt keine Anforderung an die Modellvalidierung auf: Ihre Repräsentativitätspflicht bezieht sich auf die Baseline, und die Substanz wird auf noch ausstehende delegierte Rechtsakte verschoben. Wer sie zu diesem Zweck anführt, hat sie nicht gelesen.

Das ist nicht mehr nur eine methodische Feinheit. Die Bilanzierungsrahmen, die Kohlenstoffaussagen regeln, laufen auf die Forderung zu, dass Unsicherheit quantifiziert und offengelegt wird, und eine Vorhersage, die außerhalb des Bereichs eines Modells angewendet wird, ist Unsicherheit, die verborgen statt quantifiziert wurde. Die GHG Protocol Land Sector and Removals Guidance, gültig ab 1. Januar 2027, fordert Unternehmen auf, modellbasierte und fernerkundungsbasierte Ansätze mit empirischen Daten zu kalibrieren, die für die untersuchten Flächen und die Bewirtschaftung spezifisch sind, und wo Entnahmen geltend gemacht werden, wird aus dieser Empfehlung eine Anforderung, mit Wiederbeprobung mindestens alle fünf Jahre. Das IPCC 2019 Refinement drängt auf lokal angemessene Faktoren höherer Tiers statt übernommener Standardwerte, gerade weil Standardwerte für viele der Orte, an denen sie angewendet werden, außerhalb ihres Bereichs liegen 12. Prüfstellen beginnen, eine räumlich strukturierte oder unabhängige Validierung statt eines vorangestellten R² zu verlangen, sowie Nachweise, dass ein wiederverwendetes Modell zu dem Standort passt, an dem es wiederverwendet wird. Die Teams, die diese Fragen bestehen werden, sind diejenigen, die die Bereichszugehörigkeit geprüft haben, bevor sie danach gefragt wurden, und die ihre Arbeit belegen können.

Kernaussagen