Wie kalibriert und validiert man ein Modell? Ein Leitfaden für die Praxis, vom Bodenkohlenstoff bis zur Baumbiomasse

Ein Modell liefert eine Zahl. Dann muss jemand entscheiden, ob man ihr glaubt, und diese Person ist in der Regel nicht diejenige, die das Modell gebaut hat. Es ist ein Verifizierer, der ein Projektdokument liest, eine Nachhaltigkeitsverantwortliche, die entscheidet, ob sie die Zahl in einen Bericht aufnimmt, oder ein Gutachter, dem ein Manuskript vorgelegt wurde. Die Zahl kommt mit einem Namen daher, RothC, eine Chave-Gleichung oder ein Random Forest, und der Name leistet erstaunlich viel Arbeit. Er sollte fast keine leisten.

Nichts an der Architektur eines Modells macht seine Ausgabe vertrauenswürdig. Vertrauen entsteht aus Belegen dafür, wie sich das Modell bei Daten verhält, aus denen es nicht gebaut wurde, und diese Belege stehen entweder in der Dokumentation oder nicht. In der Praxis stehen sie oft nicht darin. Ein Projektdokument beschreibt das Modell im Detail, benennt die Parameter, zitiert die Originalpublikation und sagt bemerkenswert wenig darüber, was zurückgehalten wurde, wie es zurückgehalten wurde und wie die Fehler aussahen, als das Modell darauf traf.

Dieser Beitrag handelt von dieser fehlenden Hälfte. Er steht zwischen zwei anderen Beiträgen auf dieser Website. Wie man ein Bodenkohlenstoffmodell auswählt kommt zuerst, und wie man erkennt, wo ein angepasstes Modell angewendet werden darf kommt danach. Dies ist die Mitte: Wenn man etwas ausgewählt hat, wie passt man es an, wie testet man es, und was wäre nötig, damit der Test überhaupt etwas bedeutet?

Ein Wort, vier Aufgaben

Nehmen Sie an einer Validierungsbesprechung teil und zählen Sie die Bedeutungen. Der Projektentwickler sagt, das Modell sei an zwölf Langzeitversuchen kalibriert worden. Der Verifizierer fragt, ob es validiert wurde. Die Verantwortliche für Fernerkundung erwähnt, dass ihre Kalibrierung vierhundert Spektren verwendet hat, von denen hundert zurückgehalten wurden. Der Statistiker, bis dahin still, fragt, ob die Intervalle kalibriert sind. Vier Personen, ein Wort und mindestens drei verschiedene Operationen auf dem Tisch.

Keiner von ihnen verwendet das Wort falsch. Kalibrierung trägt in den Disziplinen, die in einem Kohlenstoffprojekt zusammentreffen, vier etablierte Bedeutungen, und diese sind keine Schattierungen einer einzigen Idee. Sie unterscheiden sich darin, was angepasst wird, was als Erfolg gilt und wie sie scheitern. Durch das Gleiten zwischen ihnen einigt sich eine Runde am Ende auf ein Wort und bleibt zugleich uneinig über alles, was dieses Wort hätte klären sollen.

Die älteste Bedeutung ist die metrologische. Ein Messgerät liefert eine Anzeige, und die Kalibrierung setzt diese Anzeige in Beziehung zu Werten, die von Messnormalen bereitgestellt werden, jeder mit seiner eigenen Unsicherheit, und macht aus dieser Beziehung ein Verfahren, um aus einer Ablesung ein Messergebnis zu gewinnen1. Ein Analysator für die trockene Verbrennung wird mit zertifizierten Referenzmaterialien bekannten Kohlenstoffgehalts kalibriert. Ein Detail ist hier die Quelle vieler späterer Ungenauigkeiten: Kalibrierung verändert das Messgerät nicht. Ein System so einzustellen, dass es vorgegebene Anzeigen liefert, ist eine eigene Operation mit eigenem Namen, die Justierung, und das Vokabular stellt ausdrücklich klar, dass beide nicht verwechselt werden sollten und dass die Kalibrierung eine Voraussetzung für die Justierung ist1. Kalibrierung in diesem Sinn erzeugt Wissen über ein Messgerät, kein besseres Messgerät.

Die zweite Bedeutung ist die statistische Anpassung eines empirischen Modells. Eine allometrische Gleichung, die Durchmesser und Biomasse verknüpft, oder ein Spektralmodell, das Reflexion und Kohlenstoffkonzentration verknüpft, hat Koeffizienten, die aus Daten geschätzt werden. Die Daten, mit denen sie geschätzt werden, bilden den Kalibrierungsdatensatz; was zurückgehalten wird, bildet den Validierungsdatensatz. Hier wird nichts auf ein Normal rückgeführt. Eine funktionale Form wird angepasst, und die entscheidende Frage ist, wie sie sich auf Daten verhält, die sie nicht gesehen hat. In der Bodenspektroskopie prallen die ersten beiden Bedeutungen am häufigsten aufeinander. Eine Bodeneigenschaft aus einem Spektrum der diffusen Reflexion vorherzusagen, bedeutet, eine Regression an einem Kalibrierungsdatensatz anzupassen und sie an zurückgehaltenen Proben zu testen2, sodass das Wort dort die Regression bezeichnet und nicht irgendeine Justierung des Spektrometers, obwohl ein Spektrometer im Raum steht.

Die dritte Bedeutung ist die Parameterschätzung für ein Prozessmodell. Die Abbauratenkonstanten von RothC oder die entsprechenden Parameter in Century und DayCent sind keine Größen, die man auf einem bestimmten Betrieb messen könnte. Sie werden erschlossen, indem man das Modell laufen lässt und sie so lange anpasst, bis es eine beobachtete Zeitreihe reproduziert. Jeder Kandidaten-Parametersatz erfordert einen weiteren vollständigen Lauf, um zu erfahren, wie weit er das Ziel verfehlt, und genau das macht daraus ein inverses Problem und keine Anpassung3. Der Unterschied zur zweiten Bedeutung liegt nicht in der Technik, sondern in der Verpflichtung: Diese Parameter sollen etwas Physikalisches bedeuten. Eine Abbaurate, die auf den Wert eingestellt wird, der die Residuen minimiert, ist keine Abbaurate mehr, sondern ein freier Parameter mit einem mechanistischen Etikett. Hier zeigt sich auch, dass mehrere verschiedene Parametersätze dieselben Beobachtungen etwa gleich gut reproduzieren, ein Problem mit eigenem Namen und eigener Literatur4.

Die vierte Bedeutung betrifft Wahrscheinlichkeitsaussagen statt Vorhersagen. Eine Prognose ist kalibriert, wenn die Ereignisse, denen sie eine Wahrscheinlichkeit von neunzig Prozent zuweist, in etwa neunzig Prozent der Fälle eintreten, und ein Neunzig-Prozent-Vorhersageintervall ist kalibriert, wenn es die Wahrheit in etwa neunzig Prozent der Fälle enthält. Dies ist die einzige Bedeutung, in der ein Modell tadellos kalibriert und völlig nutzlos sein kann. Sagen Sie jedes Mal den langfristigen Mittelwert voraus, fügen Sie Intervalle hinzu, die breit genug sind, um die gesamte Variation zu schlucken, und die Abdeckung wird hervorragend sein, während die Prognose niemandem etwas sagt. Kalibrierung ist hier notwendig, muss aber zusammen damit beurteilt werden, wie eng die Aussage ist, was die Prognoseliteratur als Schärfe (sharpness) bezeichnet5.

Für ein Kohlenstoffprojekt ist die Folge konkret genug, um darauf zu achten. Ein Verifizierer fragt, ob das Modell validiert wurde. Der Projektentwickler antwortet, es sei an lokalen Langzeitversuchen kalibriert worden, was eine wahre und relevante Aussage über die dritte Bedeutung ist. Der Verifizierer hat aber vielleicht nach der zweiten gefragt, also nach einem Test mit zurückgehaltenen Daten, oder nach der vierten, also danach, ob hinter der Unsicherheit, die der Endzahl beigefügt ist, überhaupt eine Abdeckung steht. Drei vernünftige Fragen, eine Antwort, und die Lücke zwischen ihnen taucht im Protokoll nicht auf.

Unter dieser Debatte liegt eine ältere. Verifikation gehört zu geschlossenen Systemen: Eine rein formale Struktur lässt sich durch symbolische Manipulation beweisen, und ein Algorithmus innerhalb eines Programms lässt sich auf dieselbe Weise prüfen. Ein aus solchen Komponenten gebautes Modell ist selbst nicht geschlossen, weil die Parameter, die es benötigt, nie vollständig bekannt sind, und die Behauptung, ein Modell eines offenen Umweltsystems sei in irgendeinem absoluten Sinn validiert worden, ist seit Mitte der Neunzigerjahre umstritten6. Lehrbücher für Modellierer ziehen aus praktischen Gründen dieselbe Linie. Das eine behandelt ein Modell als wissenschaftliche Hypothese, wenn die Frage lautet, ob sich seine Prozesse wie die realen verhalten, eine Hypothese, die widerlegt, aber nie endgültig validiert werden kann. Es behandelt dasselbe Modell als ingenieurtechnisches Werkzeug, wenn die Frage nicht lautet, wie es funktioniert, sondern wie gut es funktioniert, und nennt das Evaluierung7. Das andere lehnt das Wort Validierung für die dritte Phase eines Modellierungsprojekts ab und nennt diese Phase Evaluierung. Vorhersagen mit Beobachtungen zu vergleichen, ist nur einer von mehreren Faktoren, die ein Modell für seinen Zweck brauchbar machen, und Validierung legt nahe, dass es ein korrektes Modell gibt, das es zu finden gilt8. Nichts in diesem Beitrag verlangt, in dieser Debatte Partei zu ergreifen. Er verlangt aber, Validierung als Kurzform für einen bestimmten Test gegen bestimmte Daten zu lesen und nicht als Zertifikat.

Anpassung ist billig

Nehmen Sie zwölf Bäume, messen Sie den Durchmesser, bestimmen Sie die Biomasse durch destruktive Beprobung und passen Sie ein Polynom an. Beim Grad zwei verläuft die Kurve nahe an den Punkten. Beim Grad elf verläuft sie exakt durch jeden einzelnen. Die Residuen sind null, das Bestimmtheitsmaß ist eins, und die Anpassung ist perfekt, in dem einzigen Sinn, den das Wort innerhalb der Stichprobe haben kann. Zwischen den Punkten schwingt die Kurve zu physikalisch unmöglichen Werten aus, und ein dreizehnter Baum wird nirgendwo in ihrer Nähe landen.

Das ist keine Pathologie von Polynomen. Es ist das allgemeine Verhalten flexibler Modelle und der Grund, warum die Güte innerhalb der Stichprobe so wenig Information trägt. Je mehr Freiheit ein Modell gewinnt, desto stärker sinkt sein Trainingsfehler, monoton, ohne eine andere Untergrenze als null und ohne einen Punkt, an dem der Rückgang irgendetwas anzeigen würde. Der Fehler auf Daten, die von der Anpassung zurückgehalten wurden, verhält sich anders: Er sinkt, solange die zusätzliche Flexibilität Struktur erfasst, die sich verallgemeinern lässt, kehrt dann um und steigt, wenn dieselbe Flexibilität beginnt, Rauschen aufzunehmen, das für die vorliegende Stichprobe spezifisch ist9.

Der Mechanismus hat eine Standardzerlegung. Der erwartete Fehler an einem neuen Punkt zerfällt in einen Bias-Term, der angibt, wie weit das Modell im Mittel danebenliegt, einen Varianzterm, der angibt, wie stark sich das angepasste Modell bewegt, wenn die Trainingsstichprobe neu gezogen wird, und einen irreduziblen Term, die Varianz der Zielgröße um ihren eigenen wahren Mittelwert, die kein noch so großer Modellierungsaufwand beseitigen kann. Flexibilität tauscht den ersten gegen den zweiten. Ein starres Modell ist stärker verzerrt und stabiler, ein flexibles weniger verzerrt und sprunghafter, und der nützliche Bereich liegt an keinem der beiden Enden9.

Eine Folgerung verdient es, eigens festgehalten zu werden, weil sie in Projektdokumentationen fortlebt, lange nachdem sie hätte ausgemustert werden sollen. Das innerhalb der Stichprobe berechnete Bestimmtheitsmaß sinkt nie, wenn ein Prädiktor hinzugefügt wird. Fügen Sie einer Regression eine Spalte mit Zufallszahlen hinzu, und R² wird steigen. Korrigierte Formen bestrafen die Zahl der Parameter und beheben einen Teil des Problems, doch keine innerhalb der Stichprobe berechnete Statistik beantwortet die Frage, auf die es ankommt, nämlich was am nächsten Standort geschieht und nicht an diesem.

In unserem eigenen Fachgebiet hat die Falle eine bestimmte Form. Eine lokal angepasste allometrische Gleichung, geschätzt an ein paar Dutzend Bäumen aus einer Plantage, wird eine veröffentlichte pantropische Gleichung an genau diesen Bäumen praktisch jedes Mal schlagen. Dieser Vergleich ist kein Beleg dafür, dass die lokale Gleichung besser ist, und er wird routinemäßig so dargestellt, als wäre er es. Der ehrliche Vergleich hält Bäume zurück, die die lokale Gleichung nie gesehen hat, und genau diesen Vergleich macht ein kleiner destruktiver Datensatz schmerzhaft, weil jeder zurückgehaltene Baum ein Baum ist, der nicht für die Anpassung verwendet wird. Die Spannung ist real. Sie wegzudiskutieren, indem man die Güte innerhalb der Stichprobe berichtet, löst sie nicht.

Dasselbe Versagen setzt sich bis zu Karten fort. Großräumige ökologische Modelle, die durch zufälliges Zurückhalten von Pixeln validiert wurden, berichteten eine hohe Vorhersagegüte, die zusammenbrach, sobald die zurückgehaltenen Daten räumlich von den Trainingsdaten getrennt wurden, weil benachbarte Pixel keine unabhängigen Beobachtungen sind und eine zufällige Aufteilung dem Modell stillschweigend die Antworten zuspielt10. Dieses spezifische Versagen ist Gegenstand eines Begleitbeitrags und wird hier nicht wiederholt; hierher gehört die allgemeine Lehre, dass die Aufteilung die Arbeit leistet, nicht die danach berechnete Kennzahl.

Anatomie einer Validierung

Das Wort Validierung umfasst eine Hierarchie, die es wert ist, auseinandergenommen zu werden, weil ihre Ebenen unterschiedliche Dinge schätzen und routinemäßig zu einer zusammengezogen werden. In der saubersten Version gibt es drei Rollen für Daten, und jede Beobachtung spielt genau eine davon.

Die Unterscheidung zwischen der zweiten und der dritten Rolle ist diejenige, die verloren geht. Angenommen, Sie probieren acht Modellkonfigurationen aus, bewerten jede auf demselben zurückgehaltenen Block, wählen diejenige mit dem besten Wert und berichten diesen Wert dann als erwartete Güte des Modells. Die Zahl ist zu gut, und sie ist aus einem Grund zu gut, der nichts mit Unehrlichkeit zu tun hat: Sie haben das Maximum von acht verrauschten Schätzungen ausgewählt und damit teils echte Güte und teils günstiges Rauschen selektiert. Je mehr Konfigurationen Sie ausprobiert haben, desto mehr des berichteten Werts ist Rauschen, nach dem Sie gesucht haben11.

Wenn die Daten zu knapp sind, um einen nie berührten Testdatensatz zurückzuhalten, besteht die etablierte Antwort darin, das Verfahren zu verschachteln: eine innere Schleife, die die Auswahl trifft, und eine äußere Schleife, die immer nur bereits gewählte Modelle sieht, sodass die äußere Schätzung nie dazu verwendet wird, etwas auszuwählen11. Das kostet Rechenaufwand und keine Daten, weshalb sein Fehlen in den meisten angewandten Arbeiten aus praktischen Gründen schwer zu rechtfertigen ist.

Unter allen drei Ebenen liegt ein tragendes Wort, das die Arithmetik nicht für Sie prüfen kann. Zurückgehaltene Daten müssen unabhängig sein, und Unabhängigkeit ist hier eine Aussage über die Welt und nicht über die Tabelle. Zwei Bohrkerne aus demselben Feld im Abstand von zehn Metern sind zwei Zeilen in einer Tabelle und ungefähr eine Beobachtung über den Boden. Zwei Jahre vom selben Standort sind keine zwei unabhängigen Tests eines zeitlichen Modells. Eine Tabelle zufällig aufzuteilen, garantiert, dass die Zeilen getrennt sind. Es garantiert überhaupt nichts darüber, ob die Information getrennt ist.

Die Familie der Kreuzvalidierung, und was jedes ihrer Mitglieder voraussetzt

Einen einzelnen Testdatensatz zurückzuhalten, verschwendet Daten, und bei einigen hundert Beobachtungen schmerzt diese Verschwendung. Die Kreuzvalidierung gewinnt den Großteil davon zurück, indem sie die Rolle des Holdouts rotieren lässt: die Daten partitionieren, auf allen Teilen außer einem trainieren, auf dem ausgelassenen Teil testen, wiederholen, bis jeder Teil an der Reihe war, und dann mitteln. Die Idee ist alt, einfach und wird fast überall in einer Form berichtet, die das einzige Detail auslässt, das ein Leser braucht.

Dieses Detail ist, wie die Partition gebildet wurde. Kreuzvalidierung ist nicht ein Verfahren, sondern eine Familie, und ihre Mitglieder unterscheiden sich darin, wie sie Beobachtungen den Folds zuordnen. Diese Zuordnung ist keine technische Vorliebe. Sie ist eine Aussage darüber, was das Modell leisten soll, und jede Wahl schätzt den Fehler einer anderen Aufgabe12.

Lassen Sie denselben Datensatz durch mehrere dieser Schemata laufen, und der berichtete Fehler verschiebt sich, oft erheblich. Diese Verschiebung ist der eigentliche Punkt, kein Ärgernis. Ein kreuzvalidierter Fehler ist eine bedingte Aussage, und die Bedingung ist die Partition. Zwei unter verschiedenen Schemata erzeugte Zahlen sind nicht zwei Schätzungen derselben Größe; sie zu vergleichen, oder Ihr Leave-site-out-Ergebnis mit einem veröffentlichten Ergebnis aus zufälligem k-fold zu vergleichen, ist ein Kategorienfehler, der sich als Benchmark ausgibt. Das folgende Tool lässt einen nach Standorten geklumpten Datensatz durch drei Schemata laufen, sodass das Ausmaß der Verschiebung sichtbar wird, statt nur behauptet zu werden.

Der räumliche Fall hat mehr Struktur, als dieser Abschnitt ihm zugesteht: wie weit ein Block entfernt sein muss, bevor er als unabhängig gilt, wie eine Blockbildung in Pessimismus umschlagen kann und was zu tun ist, wenn die vorgesehenen Vorhersageziele selbst geklumpt sind. Das gehört in den Beitrag zur Repräsentativität, der dort beginnt, wo dieser Abschnitt endet.

Kennzahlen, die nur gemeinsam funktionieren

Steht die Aufteilung fest, muss über sie hinweg etwas berechnet werden, und hier ist es üblich, eine einzige Zahl zu berichten. Keine einzelne Zahl beschreibt die Fehler eines Modells, weil Fehler mindestens drei unabhängige Eigenschaften haben: ob sie in eine Richtung tendieren, wie groß sie typischerweise sind und ob das Modell eine triviale Alternative übertrifft. Eine Kennzahl beantwortet eine davon und schweigt zu den anderen.

Der mittlere Fehler, das durchschnittliche vorzeichenbehaftete Residuum, misst die Tendenz. Er ist für die Kohlenstoffbilanzierung am wichtigsten, weil ein systematischer Versatz nicht schrumpft, wenn das Projekt größer wird: Bias summiert sich auf, während sich zufällige Fehler teilweise aufheben. Er ist zugleich die Kennzahl, die am leichtesten zufällig erfüllt wird, da sich große positive und negative Fehler zu einer beruhigenden Null mitteln.

Die Wurzel des mittleren quadratischen Fehlers (RMSE) misst die typische Größe, in den Einheiten der Größe, und gewichtet große Abweichungen stark, weil sie vor dem Mitteln quadriert. Der mittlere absolute Fehler (MAE) stellt dieselbe Frage ohne diese Gewichtung. Beide zu berichten, ist aufschlussreich: Wenn der RMSE den MAE deutlich übersteigt, hat die Fehlerverteilung einen Ausläufer, und ein Ausläufer in einem Validierungsdatensatz bedeutet meist eine Teilpopulation, die das Modell schlecht behandelt, und nicht Pech.

Keiner von beiden sagt, ob sich das Modell lohnt. Dafür braucht es eine Referenz, und genau die liefert die Modelleffizienz: Sie vergleicht den quadratischen Fehler des Modells mit dem Fehler, den man macht, wenn man einfach den Mittelwert der Beobachtungen vorhersagt, und gibt den Anteil dieser Ausgangsvarianz an, den das Modell erklärt13. Eins ist Perfektion, null bedeutet, dass der Mittelwert ebenso gut gewesen wäre, und ein negativer Wert, dass der Mittelwert besser gewesen wäre. Negative Werte tauchen in veröffentlichten Arbeiten zu Boden und Biomasse häufiger auf, als der Ton des umgebenden Textes gewöhnlich zugibt. Das ist ein Eindruck aus der Lektüre, keine ausgezählte Zahl.

Die Kennzahl, der man am meisten misstrauen sollte, ist der Korrelationskoeffizient und sein Quadrat. Korrelation misst, ob sich zwei Reihen gemeinsam bewegen, nicht, ob sie übereinstimmen. Ein Modell, das bei jedem Baum genau die Hälfte der wahren Biomasse liefert, korreliert perfekt mit der Wahrheit, mit einem R² von eins, und liegt überall um fünfzig Prozent daneben. Das ist kein konstruierter Fall: Eine systematisch skalierte Vorhersage ist genau das, was ein fehlkalibriertes Modell hervorbringt, und genau dafür ist R² blind. Lins Konkordanzkorrelationskoeffizient existiert aus diesem Grund. Er belohnt die Übereinstimmung mit der Eins-zu-eins-Linie statt mit irgendeiner Linie, sodass er sinkt, wenn ein Modell proportional verzerrt ist, selbst wenn die Korrelation perfekt bleibt14.

Bleibt die Grafik, die jeder zeichnet und die überraschend viele falsch zeichnen. Wenn beobachtete und vorhergesagte Werte gegeneinander aufgetragen werden und eine Gerade angepasst wird, um auf eine Steigung von eins und einen Achsenabschnitt von null zu testen, ist die Wahl der Achsen nicht kosmetisch. Vorhergesagte auf beobachtete Werte zu regressieren und beobachtete auf vorhergesagte Werte zu regressieren, ergibt unterschiedliche Steigungen, und nur eine davon testet die Hypothese zur Modellgüte, die die Grafik testen soll. Die Konvention, hinter der das statistische Argument steht, setzt die beobachteten Werte auf die vertikale Achse und die vorhergesagten auf die horizontale, weil die Vorhersagen die zu bewertende Größe sind und die Annahmen der Regression dann dort liegen, wo sie liegen sollten15.

Wie eine vollständigere Evaluierung aussieht, ist dokumentiert. Als das Boden-Pflanzen-Modell STICS mit einem einzigen Standard-Parametersatz über fünfzehn Kulturen und eine große Bandbreite französischer Böden und Klimate getestet wurde, wurde die Bewertung dreigeteilt. Die Genauigkeit stützte sich auf RMSE, relativen RMSE und Modelleffizienz, zusammen mit der Frage, ob der Fehler überwiegend Bias oder Streuung war. Die Robustheit fragte, ob die Größe des Fehlers von der Kultur oder der Umwelt abhing. Das Verhalten fragte, ob das Modell die beobachteten Unterschiede zwischen kontrastierenden Umweltbedingungen und Bewirtschaftungspraktiken reproduzierte16. Die drei beantworten unterschiedliche Fragen, und ein Validierungsabschnitt, der nur die erste berichtet, hat eine davon beantwortet.

Ein Prozessmodell zu kalibrieren, ist eine andere Aufgabe

Alles Bisherige setzte ein Modell voraus, dessen Parameter beliebige Werte annehmen dürfen, die am besten passen, weil sie keine Bedeutung über die Anpassung hinaus tragen. Prozessmodelle brechen mit dieser Annahme. Die Abbauraten der Pools von RothC, die Umsatzkonstanten von Century und die Stickstoffparameter von DayCent sind als physikalische Größen formuliert, und der Anspruch des Modells, über seine Kalibrierungsdaten hinaus zu projizieren, beruht vollständig darauf, dass sie physikalisch sind. Dieser Anspruch macht ihre Abstimmung heikel.

Die Instrumente für diese Aufgabe sind die Langzeitversuche, von denen einige seit über einem Jahrhundert laufen und in denen der Bodenkohlenstoff unter festen Behandlungen verfolgt wurde. Sie sind die einzigen Daten, die ein dekadisches Modell auf der Zeitskala einschränken, auf der es zu funktionieren beansprucht, was auch bedeutet, dass es nicht viele davon gibt, dass sie ungleichmäßig über die Klimate und Böden der Welt verteilt sind und dass dieselbe Handvoll in einer Kalibrierung nach der anderen auftaucht. Der Workshop, der begann, Modelle der organischen Bodensubstanz systematisch an Langzeitdatensätzen zu testen, nannte den Grund: Veränderungen der organischen Bodensubstanz verlaufen langsam, sodass nur Langzeitdaten ein Modell dafür testen können. Seine Datensätze stammten nach eigener Aussage aus der gemäßigten Zone17. Ein Modell, das an Ackerbauversuchen der gemäßigten Zone abgestimmt und auf tropische Agroforstsysteme angewendet wird, wurde mit einem Instrument kalibriert, das nie etwas gemessen hat, das dem Ziel ähnelt18.

Die Praxis bewegt sich entlang eines Spektrums. Am einen Ende passt ein Modellierer die Parameter von Hand an, bis simulierte und beobachtete Kurven nah beieinander aussehen, was schnell, undokumentiert und nicht reproduzierbar ist. In der Mitte minimiert ein Optimierer eine Verlustfunktion, was reproduzierbar ist und einen einzigen besten Satz liefert, ohne Angabe darüber, wie viel besser er als die Alternativen war. Am anderen Ende behandelt die bayessche Kalibrierung die Parameter als Zufallsvariablen, kombiniert eine A-priori-Verteilung mit der Likelihood der Beobachtungen und liefert eine A-posteriori-Verteilung: nicht eine Antwort, sondern eine Beschreibung aller Antworten, die die Daten zulassen, mit ihrer eigenen Unsicherheit19.

Dieser Rahmen schafft auch Raum für etwas, das die beiden anderen ignorieren. Reale Modelle sind strukturell falsch, und struktureller Fehler verhält sich nicht wie Messrauschen. Die Kalibrierung liefert einen bestangepassten Wert, keinen physikalischen, und eine Abbaurate kann bei dem Wert landen, der einen Prozess kompensiert, den das Modell nicht abbildet. Es passt immer noch. Es ist keine Abbaurate mehr, und eine Projektion, die sich auf ihre physikalische Bedeutung stützt, stützt sich auf etwas, das stillschweigend aufgehört hat, physikalisch zu sein19.

Der andere Grund, eine Verteilung einer besten Anpassung vorzuziehen, ist, dass die beste Anpassung meist nicht viel besser ist als eine große Zahl recht verschiedener Alternativen. Viele Parametersätze reproduzieren eine beobachtete Kohlenstoffentwicklung etwa gleich gut, und sie sind sich über die Zukunft nicht einig, weil die Anpassung an dieselbe Vergangenheit eine viel schwächere Einschränkung ist, als es scheint. Die Antwort ist nicht, den Gewinner auszuwählen und seine Projektion zu berichten, sondern die Menge der akzeptablen Sätze weiterzuführen und daraus eine Spanne entstehen zu lassen4. Das folgende Tool macht dies an einem Ein-Pool-Spielzeugmodell mit zwei Unbekannten sichtbar: Der mit den Daten vereinbare Bereich des Parameterraums ist breit, er wird enger, je mehr Daten hinzukommen, und er schrumpft nie auf einen Punkt zusammen.

Eine weitere Wechselwirkung wird leicht übersehen. Wo ein Prozessmodell beginnt, ist selbst eine Kalibrierungsentscheidung. Die Aufteilung des Anfangsvorrats auf schnelle, langsame und inerte Pools ist selten messbar, meist geschätzt und verändert eine Dreißigjahresprojektion erheblich. Parameter an einer Entwicklung zu kalibrieren, deren Ausgangspunkt selbst angenommen wurde, bedeutet, zwei Unbekannte an eine Kurve anzupassen. Dieses Problem und das Spin-up-Verfahren, das die belastbare Antwort darauf ist, werden in dem Beitrag zur Wahl eines Bodenkohlenstoffmodells durchgearbeitet.

Eine Unsicherheitsangabe ist eine Vorhersage und lässt sich testen

Zurück zur vierten Bedeutung der Kalibrierung, an der die meisten berichteten Modellunsicherheiten stillschweigend scheitern. Ein Projekt gibt seine Schätzung als zentralen Wert mit einem Neunzig-Prozent-Intervall an. Dieses Intervall ist weder ein Vorbehalt noch eine Geste der Bescheidenheit. Es ist eine falsifizierbare Behauptung: Über viele solcher Aussagen hinweg sollte die Wahrheit in etwa neunzig Prozent davon liegen. Der Anteil, bei dem das tatsächlich zutrifft, ist die erreichte Abdeckung, und sie mit den nominalen neunzig zu vergleichen, ist eine gewöhnliche Messung, die fast niemand durchführt.

Wird sie durchgeführt, sind die Intervalle meist zu eng. Drei Ursachen erklären den Großteil davon. Die Parameterunsicherheit fällt weg, sodass das Intervall die Reststreuung um ein einziges angepasstes Modell widerspiegelt statt der Unsicherheit darüber, welches Modell das richtige war. Struktureller Fehler wird ignoriert, weil kein Term in der Rechnung die Möglichkeit abbildet, dass die Modellform falsch ist. Und korrelierte Beobachtungen werden als unabhängige gezählt, was den effektiven Stichprobenumfang aufbläht und jedes daraus berechnete Intervall verengt, ein Mechanismus, der in dem Beitrag zur Repräsentativität durchgearbeitet wird.

Die Korrektur besteht nicht darin, Intervalle so lange zu verbreitern, bis sie abdecken, was die Versagensform aus der anderen Richtung ist und Aussagen hervorbringt, die zu vage sind, um danach zu handeln. Abdeckung und Schärfe sind getrennte Achsen, und das Ziel ist das engste Intervall, das noch mit seiner nominalen Rate abdeckt5. Praktikabel wird dies dadurch, dass beide auf zurückgehaltenen Daten messbar sind, mit denselben Aufteilungen, die bereits für die Bewertung der zentralen Vorhersage gebildet wurden. Eine Validierung, die die erreichte Abdeckung neben dem RMSE berichtet, hat eine Frage beantwortet, die ein Verifizierer zu stellen berechtigt ist und meist nicht zu formulieren weiß.

Was die Standards tatsächlich verlangen

Zwei Fragen tauchen immer auf, wenn dieser Stoff auf ein reales Projekt trifft. Verlangt das jemand, und prüft das jemand? Die kurzen Antworten lauten: Die modellbasierte Bilanzierung ist durchaus mit Validierungsanforderungen verbunden, diese sind weniger spezifisch als die obige statistische Diskussion, und in der Lücke zwischen dem, was ein Standard verlangt, und dem, was eine Zahl belastbar macht, liegt der Großteil des fachlichen Urteils.

Der IPCC-Rahmen legt das Vokabular fest. Tier 3 ist die Ebene, auf der ein Inventar Modelle oder direkte Messungen statt Standard-Emissionsfaktoren verwendet, und die Anforderung an die modellbasierte Variante ist klar formuliert: Modellbasierte Tier-3-Inventare erfordern Messungen, um die Modelle zu kalibrieren und zu validieren, mit denen Veränderungen der Kohlenstoffvorräte geschätzt werden20. Beide Hälften dieses Artikels stehen in diesem Satz, verbunden durch ein „und“, statt als eine Sache behandelt zu werden. Messungen zum Kalibrieren und Messungen zum Validieren. Ob ein bestimmtes Inventar sie getrennt hält, kann der Satz nicht erzwingen.

Auf dem freiwilligen Markt sind die Anforderungen expliziter. Die Methodik von Verra für verbessertes landwirtschaftliches Flächenmanagement erlaubt einem biogeochemischen Modell, die Veränderung des Bodenkohlenstoffs zu simulieren, und verknüpft dies mit einem ganzen Apparat: einem Modellvalidierungsbericht, der von einem unabhängigen Modellierungsexperten bewertet und erneut eingereicht wird, sobald spätere Messkampagnen den Kalibrierungs- und Validierungsdatensatz erweitern, sowie einem Unsicherheitsabzug, der auf die ausgegebenen Reduktionen angewendet wird21. Ein separates Modul enthält die Anforderungen an Kalibrierung und Validierung selbst22. Der Abzug ist der Teil, der hervorgehoben zu werden verdient, weil sein Gestaltungsprinzip gut ist. Er skaliert mit dem relativen Standardfehler der Schätzung, sodass Unsicherheit nicht nur offengelegt, sondern bepreist wird, und ein Projekt, das kein gut eingegrenztes Modell nachweisen kann, für denselben gemessenen Kohlenstoff weniger Zertifikate ausgibt.

Zur Partition selbst ist das Modul spezifischer, als die meisten Praktiker erwarten, und anspruchsvoller. Es verlangt, dass Kalibrierungs- und Validierungsdaten nachweislich unabhängig sind, und es sagt, was das bedeutet: Die Datensätze dürfen sich hinsichtlich des Standorts der experimentellen Forschung nicht überschneiden und dürfen nicht aus derselben experimentellen Studie stammen22. Die Aufteilung eines einzigen Pools ist zulässig, und k-fold wird als Weg dazu genannt, doch die Unabhängigkeitsbedingung gilt weiterhin, sodass die Folds Studie und Standort respektieren müssen, statt zufällig über die Zeilen gezogen zu werden. In der Sache liegt das viel näher am Leave-site-out als am zufälligen Holdout, das sich die meisten vorstellen, und ein Team, das sich mit einem zufälligen k-fold über geklumpte Parzellen zufriedengegeben hat, hat die Anforderung nicht erfüllt, wie gut die resultierende Zahl auch aussieht. Wie ein Verifizierer die daraus folgende Behauptung liest, ist Gegenstand des Begleitbeitrags.

Was man jede modellierte Zahl fragen sollte

Nichts davon setzt voraus, dass die fragende Person Modelliererin oder Modellierer ist. Es sind die Fragen, die eine Zahl mit Belegen dahinter von einer Zahl mit einem Literaturzitat dahinter unterscheiden, und man kann sie in einer Besprechung stellen.

Der Grund, sie zu stellen, ist nicht Misstrauen. Die meisten modellierten Zahlen in diesem Fachgebiet stammen von Menschen, die mit kleinen Datensätzen und echten Fristen ihr Bestes geben, und die Lücken sind meist übernommene Konventionen statt bewusster Abkürzungen. Doch eine Zahl, die in einen Bericht, eine Zertifikatsausgabe oder ein Politikdokument eingeht, hat die Hände des Modellierers verlassen, und von da an steht zwischen ihr und einer Entscheidung nur noch die Frage, ob jemand gefragt hat, woran sie getestet wurde.

Kernaussagen