Come si calibra e si valida un modello? Una guida pratica, dal carbonio del suolo alla biomassa degli alberi

Un modello produce un numero. Qualcuno deve poi decidere se crederci, e quella persona di solito non è chi lo ha costruito. È un verificatore che legge un documento di progetto, o una responsabile della sostenibilità che deve decidere se inserire la cifra in una rendicontazione, o un revisore a cui è stato affidato un manoscritto. Il numero arriva accompagnato da un nome, RothC o un'equazione di Chave o una random forest, e il nome fa una quantità sorprendente di lavoro. Non dovrebbe farne quasi nessuno.

Nulla nell'architettura di un modello rende affidabile il suo output. La fiducia nasce dalle prove su come quel modello si comporta su dati che non sono serviti a costruirlo, e quelle prove o sono nella documentazione o non ci sono. In pratica, spesso non ci sono. Un documento di progetto descriverà il modello in dettaglio, nominerà i parametri, citerà la pubblicazione originale, e dirà straordinariamente poco su che cosa è stato tenuto da parte, su come è stato tenuto da parte e sull'aspetto degli errori quando il modello vi si è confrontato.

Questo articolo riguarda quella metà mancante. Si colloca tra altri due articoli di questo sito. Come scegliere un modello del carbonio del suolo viene prima, e come sapere dove si può applicare un modello adattato viene dopo. Questo è il punto intermedio: scelto un modello, come lo si adatta, come lo si verifica, e che cosa servirebbe perché la verifica significhi qualcosa.

Una parola, quattro mestieri

Assista a una riunione di validazione e conti i significati. Lo sviluppatore dice che il modello è stato calibrato su dodici prove di lungo periodo. Il verificatore chiede se sia stato validato. La responsabile del telerilevamento ricorda che la sua calibrazione ha usato quattrocento spettri, di cui cento tenuti da parte. Lo statistico, rimasto in silenzio fino a quel momento, chiede se gli intervalli siano calibrati. Quattro persone, una parola, e almeno tre operazioni diverse sul tavolo.

Nessuno di loro usa la parola in modo sbagliato. Calibrazione ha quattro significati consolidati nelle discipline che si incontrano in un progetto sul carbonio, e non sono sfumature di un'unica idea. Differiscono in ciò che viene regolato, in ciò che conta come successo e nel modo in cui falliscono. Scivolare dall'uno all'altro è il modo in cui una riunione finisce per accordarsi su una parola restando in disaccordo su tutto ciò che la parola doveva stabilire.

Il significato più antico è metrologico. Uno strumento fornisce un'indicazione, e la calibrazione (che il vocabolario metrologico italiano chiama taratura) mette in relazione quell'indicazione con valori forniti da campioni di misura, ciascuno con la propria incertezza, e poi trasforma quella relazione in un modo per ottenere un risultato di misura a partire da una lettura1. Un analizzatore a combustione secca viene calibrato con materiali di riferimento certificati a contenuto di carbonio noto. Un dettaglio, qui, è all'origine di molti discorsi approssimativi successivi: la calibrazione non modifica lo strumento. Impostare un sistema in modo che fornisca indicazioni prescritte è un'operazione distinta con un proprio nome, la regolazione, e il vocabolario è esplicito sia sul fatto che le due non vanno confuse sia sul fatto che la calibrazione è un prerequisito della regolazione1. In questo senso la calibrazione produce conoscenza su uno strumento, non uno strumento migliore.

Il secondo significato è l'adattamento statistico di un modello empirico. Un'equazione allometrica che lega il diametro alla biomassa, o un modello spettrale che lega la riflettanza alla concentrazione di carbonio, ha coefficienti stimati dai dati. I dati usati per stimarli costituiscono l'insieme di calibrazione; ciò che viene tenuto da parte costituisce l'insieme di validazione. Qui nulla viene reso riferibile a un campione. Si adatta una forma funzionale, e la domanda che conta è come si comporti su dati che non ha visto. La spettroscopia del suolo è il campo in cui i primi due significati si scontrano più spesso. Prevedere una proprietà del suolo da uno spettro di riflettanza diffusa significa adattare una regressione su un insieme di calibrazione e verificarla su campioni tenuti da parte2, per cui lì la parola indica la regressione e non una qualsiasi regolazione dello spettrometro, anche se nella stanza c'è uno spettrometro.

Il terzo significato è la stima dei parametri di un modello di processo. Le costanti di velocità di decomposizione di RothC, o i parametri analoghi di Century e DayCent, non sono grandezze che si possano andare a misurare in una data azienda agricola. Si deducono facendo girare il modello e regolandoli finché non riproduce una serie temporale osservata. Ogni insieme di parametri candidato richiede un'altra simulazione completa per sapere di quanto manca il bersaglio, ed è questo che ne fa un problema inverso e non un adattamento3. La differenza rispetto al secondo significato non è la tecnica ma l'obbligo: questi parametri dovrebbero avere un significato fisico. Una velocità di decomposizione tarata su qualunque valore minimizzi i residui ha smesso di essere una velocità di decomposizione ed è diventata un parametro libero con un'etichetta meccanicistica. È anche il caso in cui diversi insiemi di parametri risultano riprodurre le stesse osservazioni più o meno ugualmente bene, un problema con un proprio nome e una propria letteratura4.

Il quarto significato riguarda enunciati probabilistici anziché previsioni. Una previsione è calibrata quando gli eventi a cui assegna una probabilità del novanta per cento si verificano circa il novanta per cento delle volte, e un intervallo di previsione al novanta per cento è calibrato quando contiene il valore vero circa il novanta per cento delle volte. È l'unico significato in cui un modello può essere calibrato in modo impeccabile e del tutto inutile. Si preveda ogni volta la media di lungo periodo, vi si associno intervalli abbastanza ampi da inghiottire la variabilità, e la copertura sarà eccellente mentre la previsione non dice niente a nessuno. Qui la calibrazione è necessaria, ma va giudicata insieme a quanto è stretto l'enunciato, ciò che la letteratura sulla previsione chiama nitidezza (sharpness)5.

La conseguenza per un progetto sul carbonio è abbastanza precisa da poterla tenere d'occhio. Un verificatore chiede se il modello sia stato validato. Lo sviluppatore risponde che è stato calibrato su prove locali di lungo periodo, il che è un'affermazione vera e pertinente riguardo al terzo significato. Il verificatore poteva riferirsi al secondo, cioè a una verifica su dati tenuti da parte, o al quarto, cioè se l'incertezza associata al numero finale abbia una qualche copertura alle spalle. Tre domande ragionevoli, una sola risposta, e lo scarto tra di esse non compare nel verbale.

Sotto questa discussione ce n'è una più antica. La verifica appartiene ai sistemi chiusi: una struttura puramente formale può essere dimostrata mediante manipolazione simbolica, e un algoritmo all'interno di un programma può essere controllato allo stesso modo. Un modello costruito con tali componenti non è a sua volta chiuso, perché i parametri di cui ha bisogno non sono mai completamente noti, e l'affermazione che un modello di un sistema ambientale aperto sia stato validato in un qualche senso assoluto è contestata dalla metà degli anni novanta6. I manuali scritti per i modellisti tracciano la stessa linea per ragioni pratiche. Uno tratta un modello come un'ipotesi scientifica quando la domanda è se i suoi processi si comportino come quelli reali, un'ipotesi che può essere invalidata ma mai definitivamente validata. Tratta lo stesso modello come uno strumento ingegneristico quando la domanda non è come funzioni ma quanto bene funzioni, e chiama questo valutazione7. L'altro rinuncia alla parola validazione per la terza fase di un progetto di modellizzazione e chiama quella fase valutazione. Confrontare le previsioni con le osservazioni è solo uno dei vari elementi che rendono un modello utile al suo scopo, e validazione suggerisce che esista un modello corretto da trovare8. Nulla in questo articolo richiede di prendere posizione in quella discussione. Richiede però di leggere validazione come un'abbreviazione per una verifica specifica su dati specifici, anziché come un certificato.

Adattarsi bene costa poco

Si prendano dodici alberi, se ne misuri il diametro, se ne campioni la biomassa in modo distruttivo e si adatti un polinomio. Al secondo grado la curva passa vicino ai punti. All'undicesimo grado passa esattamente per ciascuno di essi. I residui sono zero, il coefficiente di determinazione è uno, e l'adattamento è perfetto nell'unico senso che la parola può avere all'interno del campione. Tra un punto e l'altro la curva oscilla verso valori fisicamente impossibili, e un tredicesimo albero cadrà lontanissimo da essa.

Non è una patologia dei polinomi. È il comportamento generale dei modelli flessibili, e il motivo per cui la prestazione all'interno del campione porta così poca informazione. Man mano che un modello acquista libertà, il suo errore di addestramento diminuisce in modo monotono, senza altro limite inferiore che lo zero e senza un punto in cui il calo segnali qualcosa. L'errore su dati esclusi dall'adattamento si comporta diversamente: diminuisce finché la flessibilità aggiunta cattura una struttura che si generalizza, poi si inverte e risale quando la stessa flessibilità comincia ad assorbire il rumore specifico del campione a disposizione9.

Il meccanismo ha una scomposizione standard. L'errore atteso in un nuovo punto si scompone in un termine di bias, cioè di quanto il modello sbaglia in media, un termine di varianza, cioè quanto si sposta il modello adattato quando il campione di addestramento viene ri-estratto, e un termine irriducibile, la varianza della variabile obiettivo attorno alla propria media vera, che nessuno sforzo di modellizzazione può eliminare. La flessibilità scambia il primo con il secondo. Un modello rigido è più distorto e più stabile, uno flessibile meno distorto e più instabile, e il punto utile non si trova a nessuno dei due estremi9.

Un corollario merita di essere enunciato a parte, perché sopravvive nella documentazione di progetto molto dopo che avrebbe dovuto essere messo da parte. Il coefficiente di determinazione all'interno del campione non diminuisce mai quando si aggiunge un predittore. Si aggiunga a una regressione una colonna di numeri casuali e l'R² salirà. Le forme corrette penalizzano il numero di parametri e correggono parte del problema, ma nessuna statistica all'interno del campione risponde alla domanda che conta, cioè che cosa succede sul sito successivo anziché su questo.

Nel nostro settore la trappola ha una forma specifica. Un'equazione allometrica adattata localmente, stimata su qualche decina di alberi di un'unica piantagione, batterà su quegli stessi alberi un'equazione pantropicale pubblicata praticamente ogni volta. Quel confronto non prova che l'equazione locale sia migliore, e viene abitualmente presentato come se lo provasse. Il confronto onesto tiene da parte alberi che l'equazione locale non ha mai visto, ed è esattamente il confronto che un piccolo dataset distruttivo rende doloroso, perché ogni albero tenuto da parte è un albero non usato per l'adattamento. La tensione è reale. Fingere che non esista riportando la capacità all'interno del campione non la risolve.

Lo stesso fallimento si ripresenta alla scala delle mappe. Modelli ecologici su larga scala validati tenendo da parte pixel a caso hanno riportato forti prestazioni predittive, crollate non appena i dati tenuti da parte sono stati separati spazialmente dai dati di addestramento, perché pixel vicini non sono osservazioni indipendenti e una suddivisione casuale passa di nascosto le risposte al modello10. Quel fallimento specifico è oggetto di un articolo complementare e non viene ripreso qui; ciò che appartiene a questo articolo è la lezione generale che a fare il lavoro è la suddivisione, non la metrica calcolata dopo.

Anatomia di una validazione

La parola validazione copre una gerarchia che vale la pena smontare, perché i suoi livelli stimano cose diverse e vengono abitualmente fusi in uno solo. Nella versione più pulita i dati hanno tre ruoli, e ogni osservazione ne svolge esattamente uno.

È la distinzione tra il secondo e il terzo ruolo quella che va persa. Supponiamo di provare otto configurazioni del modello, valutarle tutte sullo stesso blocco tenuto da parte, scegliere quella con il punteggio migliore e poi riportare quel punteggio come prestazione attesa del modello. Il numero è troppo bello, e lo è per un motivo che non ha nulla a che vedere con la disonestà: si è scelto il massimo di otto stime rumorose, e quindi si è selezionato in parte per capacità reale e in parte per rumore favorevole. Più configurazioni si sono provate, più il punteggio riportato è fatto di rumore che si è andati a cercare11.

Quando i dati sono troppo scarsi per tenere da parte un insieme di test che non venga mai toccato, la risposta consolidata è annidare la procedura: un ciclo interno che effettua la selezione, un ciclo esterno che vede solo modelli già scelti, così che la stima esterna non venga mai usata per scegliere alcunché11. Costa in calcolo e non costa nulla in dati, il che rende difficile giustificarne l'assenza dalla maggior parte del lavoro applicato con ragioni pratiche.

Sotto tutti e tre i livelli c'è una parola portante che l'aritmetica non può verificare al posto Suo. I dati tenuti da parte devono essere indipendenti, e l'indipendenza qui è un'affermazione sul mondo anziché sul foglio di calcolo. Due carote prelevate nello stesso campo a dieci metri di distanza sono due righe in una tabella e all'incirca un'osservazione sul suolo. Due anni dello stesso sito non sono due test indipendenti di un modello temporale. Suddividere una tabella a caso garantisce che le righe siano separate. Non garantisce assolutamente nulla sul fatto che lo sia l'informazione.

La famiglia della validazione incrociata, e che cosa presuppone ciascun membro

Tenere da parte un unico insieme di test spreca dati, e con qualche centinaio di osservazioni quello spreco pesa. La validazione incrociata ne recupera la maggior parte facendo ruotare il ruolo dei dati tenuti da parte: si partizionano i dati, si addestra su tutte le parti tranne una, si verifica sulla parte esclusa, si ripete finché ogni parte non ha avuto il suo turno, poi si fa la media. L'idea è antica, semplice e riportata quasi sempre in una forma che omette l'unico dettaglio di cui il lettore ha bisogno.

Il dettaglio è come è stata fatta la partizione. La validazione incrociata non è una procedura ma una famiglia, e i suoi membri differiscono nel modo in cui assegnano le osservazioni ai blocchi (fold). Quell'assegnazione non è una preferenza tecnica. È un'affermazione su ciò che verrà chiesto di fare al modello, e ciascuna scelta stima l'errore di un compito diverso12.

Si faccia passare lo stesso dataset attraverso diversi di questi schemi e l'errore riportato si sposta, spesso di molto. Quello spostamento è il punto, non un fastidio. Un errore di validazione incrociata è un enunciato condizionale, e la condizione è la partizione. Due numeri prodotti con schemi diversi non sono due stime di un'unica grandezza, quindi confrontarli, o confrontare il proprio risultato leave-site-out con un risultato k-fold casuale pubblicato, è un errore di categoria travestito da benchmark. Lo strumento qui sotto fa passare un dataset raggruppato per sito attraverso tre schemi, così che l'entità dello spostamento sia visibile anziché affermata.

Il caso spaziale ha più struttura di quanta gliene dia questa sezione: quanto distante deve essere un blocco per contare come indipendente, come la suddivisione a blocchi possa sconfinare nel pessimismo, e che cosa fare quando gli obiettivi di previsione sono essi stessi raggruppati. Questo appartiene a l'articolo sulla rappresentatività, che comincia dove si ferma questa sezione.

Metriche che funzionano solo in compagnia

Una volta stabilita la suddivisione, bisogna calcolare qualcosa su di essa, e qui l'abitudine è riportare un solo numero. Nessun numero da solo descrive gli errori di un modello, perché gli errori hanno almeno tre proprietà indipendenti: se pendono da una parte, quanto sono grandi in genere, e se il modello batte un'alternativa banale. Una metrica risponde a una di queste domande e tace sulle altre.

L'errore medio, la media dei residui con segno, misura la pendenza da una parte. È quello che conta di più per la contabilità del carbonio, perché uno scostamento sistematico non si riduce quando il progetto cresce: il bias si somma, mentre l'errore casuale in parte si compensa. È anche la metrica più facile da soddisfare per caso, dato che grandi errori positivi e negativi danno in media uno zero rassicurante.

La radice dell'errore quadratico medio (RMSE) misura la dimensione tipica, nelle unità della grandezza, e pesa molto gli scarti grandi perché eleva al quadrato prima di fare la media. L'errore assoluto medio (MAE) pone la stessa domanda senza quella ponderazione. Riportarli entrambi è informativo: quando l'RMSE supera di molto il MAE, la distribuzione degli errori ha una coda, e una coda in un insieme di validazione di solito indica una sottopopolazione che il modello gestisce male piuttosto che sfortuna.

Nessuno dei due dice se valga la pena avere il modello. Per questo serve un riferimento, ed è ciò che fornisce l'efficienza del modello: confronta l'errore quadratico del modello con l'errore che si commetterebbe prevedendo semplicemente la media delle osservazioni, e riporta la quota di quella varianza iniziale che il modello spiega13. Uno è la perfezione, zero dice che la media avrebbe fatto altrettanto bene, e un valore negativo dice che la media avrebbe fatto meglio. I valori negativi compaiono nei lavori pubblicati su suolo e biomassa più spesso di quanto il tono del testo circostante di solito ammetta. È un'impressione di lettura, non un dato conteggiato.

La metrica da trattare con il massimo sospetto è il coefficiente di correlazione e il suo quadrato. La correlazione misura se due serie si muovono insieme, non se concordano. Un modello che restituisce esattamente metà della biomassa reale di ogni albero è perfettamente correlato con il valore vero, R² pari a uno, e sbaglia del cinquanta per cento ovunque. Non è un caso artificioso: una previsione scalata in modo sistematico è esattamente ciò che produce un modello mal calibrato, ed è esattamente ciò a cui l'R² è cieco. Il coefficiente di correlazione di concordanza di Lin esiste per questo motivo. Premia l'accordo con la retta uno-a-uno anziché con una retta qualsiasi, per cui diminuisce quando un modello ha un bias proporzionale anche se la correlazione resta perfetta14.

Resta il grafico che tutti tracciano e che un numero sorprendente di persone traccia in modo sbagliato. Quando valori osservati e previsti sono rappresentati gli uni contro gli altri e si adatta una retta per verificare una pendenza pari a uno e un'intercetta pari a zero, la scelta degli assi non è estetica. Regredire i previsti sugli osservati e regredire gli osservati sui previsti dà pendenze diverse, e solo una delle due verifica l'ipotesi sulla prestazione del modello che il grafico dovrebbe verificare. La convenzione sostenuta dall'argomento statistico mette i valori osservati sull'asse verticale e i previsti su quello orizzontale, perché le previsioni sono la grandezza che si sta valutando e le ipotesi della regressione ricadono dove devono15.

Che aspetto abbia una valutazione più completa è documentato. Quando il modello suolo-coltura STICS è stato testato con un unico insieme di parametri standard su quindici colture e un'ampia gamma di suoli e climi francesi, la valutazione è stata divisa in tre parti. L'accuratezza si basava su RMSE, RMSE relativo ed efficienza del modello, insieme al fatto che l'errore fosse soprattutto bias o dispersione. La robustezza chiedeva se l'entità dell'errore dipendesse dalla coltura o dall'ambiente. Il comportamento chiedeva se il modello riproducesse le differenze osservate tra condizioni ambientali e pratiche di gestione contrastanti16. Le tre parti rispondono a domande diverse, e una sezione di validazione che riporta solo la prima ha risposto a una sola di esse.

Calibrare un modello di processo è un altro mestiere

Tutto ciò che precede presupponeva un modello i cui parametri sono liberi di assumere qualunque valore si adatti meglio, perché non hanno significato al di là dell'adattamento. I modelli di processo rompono questo presupposto. Le velocità di decomposizione dei comparti di RothC, le costanti di turnover di Century e i parametri dell'azoto di DayCent sono scritti come grandezze fisiche, e la pretesa del modello di proiettare oltre i suoi dati di calibrazione si fonda interamente sul loro essere fisici. È questa pretesa a rendere delicata la loro taratura.

Gli strumenti per questo lavoro sono le prove di lungo periodo, alcune in corso da oltre un secolo, in cui il carbonio del suolo è stato seguito sotto trattamenti fissi. Sono gli unici dati che vincolano un modello decennale alla scala temporale su cui afferma di funzionare, il che significa anche che non sono molte, che sono distribuite in modo diseguale tra i climi e i suoli del mondo, e che la stessa manciata ricompare in una calibrazione dopo l'altra. Il workshop che cominciò a testare in modo sistematico i modelli della sostanza organica del suolo su dataset di lungo periodo ne diede il motivo: i cambiamenti della sostanza organica del suolo sono lenti, quindi solo dati di lungo periodo possono testarne un modello. I suoi dataset provenivano, per sua stessa ammissione, dalla regione temperata17. Un modello tarato su prove a seminativo temperate e applicato all'agroforestazione tropicale è stato calibrato con uno strumento che non ha mai misurato nulla di simile al bersaglio18.

La pratica si distribuisce lungo uno spettro. A un estremo, un modellista regola i parametri a mano finché le curve simulate e osservate sembrano vicine, il che è rapido, non documentato e non ripetibile. Nel mezzo, un ottimizzatore minimizza una funzione di perdita, il che è ripetibile e restituisce un unico insieme migliore senza dire quanto fosse migliore delle alternative. All'altro estremo, la calibrazione bayesiana tratta i parametri come variabili casuali, combina una distribuzione a priori con la verosimiglianza delle osservazioni e restituisce una distribuzione a posteriori: non una risposta ma una descrizione di tutte le risposte che i dati tollerano, con la propria incertezza associata19.

Quell'impostazione fa spazio anche a qualcosa che le altre due ignorano. I modelli reali sono strutturalmente sbagliati, e l'errore strutturale non si comporta come il rumore di misura. La calibrazione restituisce un valore di miglior adattamento, non un valore fisico, e una velocità di decomposizione può finire su qualunque valore compensi un processo che il modello non rappresenta. Si adatta comunque. Non è più una velocità di decomposizione, e una proiezione che si appoggia sul suo significato fisico si appoggia su qualcosa che ha smesso, senza farsi notare, di essere fisico19.

L'altro motivo per preferire una distribuzione a un miglior adattamento è che il miglior adattamento di solito non è molto migliore di un gran numero di alternative piuttosto diverse. Molti insiemi di parametri riproducono una traiettoria del carbonio osservata più o meno ugualmente bene, e non concordano tra loro sul futuro, perché adattarsi allo stesso passato è un vincolo molto più debole di quanto sembri. La risposta non è scegliere il vincitore e riportarne la proiezione, ma portare avanti l'insieme accettabile e lasciare che produca un intervallo4. Lo strumento qui sotto lo rende visibile su un modello giocattolo a un comparto con due incognite: la regione dello spazio dei parametri compatibile con i dati è ampia, si restringe man mano che arrivano altri dati, e non si riduce mai a un punto.

C'è un'ulteriore interazione facile da trascurare. Il punto di partenza di un modello di processo è esso stesso una decisione di calibrazione. La ripartizione dello stock iniziale tra comparti veloce, lento e inerte è raramente misurabile, di solito stimata, e cambia in modo sostanziale una proiezione a trent'anni. Calibrare i parametri su una traiettoria il cui punto di partenza è stato a sua volta ipotizzato significa adattare due incognite a una sola curva. Quel problema, e la procedura di spin-up che ne è la risposta difendibile, sono trattati nell'articolo sulla scelta di un modello del carbonio del suolo.

Un enunciato di incertezza è una previsione, e può essere verificato

Torniamo al quarto significato di calibrazione, che è il punto in cui la maggior parte delle incertezze di modello riportate fallisce senza farsi notare. Un progetto dichiara la sua stima come valore centrale con un intervallo al novanta per cento. Quell'intervallo non è una cautela né un gesto di umiltà. È un'affermazione falsificabile: su molti enunciati di questo tipo, il valore vero dovrebbe cadere all'interno di circa il novanta per cento di essi. La frazione in cui ciò accade davvero è la copertura ottenuta, e confrontarla con il novanta nominale è una misura ordinaria che quasi nessuno esegue.

Quando la si esegue, gli intervalli risultano di solito troppo stretti. Tre cause ne spiegano la maggior parte. L'incertezza sui parametri viene tralasciata, così l'intervallo riflette la dispersione residua attorno a un unico modello adattato anziché l'incertezza su quale modello fosse giusto. L'errore strutturale viene ignorato, perché nessun termine del calcolo rappresenta la possibilità che la forma del modello sia sbagliata. E osservazioni correlate vengono contate come indipendenti, il che gonfia la dimensione campionaria effettiva e restringe ogni intervallo calcolato a partire da essa, un meccanismo trattato nell'articolo sulla rappresentatività.

La correzione non è allargare gli intervalli finché non coprono, che è il modo di fallire nella direzione opposta e produce enunciati troppo vaghi per agire. Copertura e nitidezza sono assi separati, e l'obiettivo è l'intervallo più stretto che copra ancora al suo tasso nominale5. Ciò che lo rende praticabile è che entrambe sono misurabili su dati tenuti da parte, usando le stesse suddivisioni già costruite per valutare la previsione centrale. Una validazione che riporta la copertura ottenuta accanto all'RMSE ha risposto a una domanda che un verificatore ha il diritto di porre e che di solito non sa come formulare.

Che cosa chiedono davvero gli standard

Due domande emergono ogni volta che questo materiale incontra un progetto reale. Qualcuno lo richiede, e qualcuno lo controlla? Le risposte brevi sono che la contabilità basata su modelli comporta effettivamente requisiti di validazione, che questi sono meno specifici della discussione statistica precedente, e che lo scarto tra ciò che uno standard richiede e ciò che rende un numero difendibile è il punto in cui si concentra gran parte del giudizio professionale.

Il quadro IPCC stabilisce il vocabolario. Il Tier 3 è il livello in cui un inventario usa modelli o misure dirette anziché fattori di emissione predefiniti, e il requisito associato alla versione basata su modelli è enunciato chiaramente: gli inventari Tier 3 basati su modelli richiedono misure per calibrare e validare i modelli usati per stimare le variazioni degli stock di carbonio20. Entrambe le metà di questo articolo stanno in quella frase, unite da una «e» anziché trattate come una cosa sola. Misure per calibrare, e misure per validare. Se un dato inventario le tenga separate non è qualcosa che la frase possa imporre.

Nel mercato volontario i requisiti sono più espliciti. La metodologia di Verra per il miglioramento della gestione dei terreni agricoli consente a un modello biogeochimico di simulare la variazione del carbonio del suolo, e vi associa un apparato: un rapporto di validazione del modello, valutato da un esperto di modellizzazione indipendente e ripresentato man mano che le successive campagne di misura ampliano il dataset di calibrazione e validazione, e una deduzione per incertezza applicata alle riduzioni emesse21. Un modulo separato contiene i requisiti di calibrazione e validazione veri e propri22. La deduzione è l'elemento che vale la pena nominare, perché il principio di progettazione è buono. Cresce con l'errore standard relativo della stima, per cui l'incertezza non è solo dichiarata ma ha un prezzo, e un progetto che non riesce a dimostrare un modello ben vincolato emette meno crediti a parità di carbonio misurato.

Sulla partizione in sé, il modulo è più specifico di quanto la maggior parte degli operatori si aspetti, e più esigente. Richiede che i dati di calibrazione e validazione siano dimostrabilmente indipendenti, e dice che cosa significa: i dataset non devono sovrapporsi per sito di ricerca sperimentale, e non devono provenire dallo stesso studio sperimentale22. Suddividere un unico insieme è consentito, e il k-fold è indicato come un modo per farlo, ma la condizione di indipendenza resta vincolante, quindi i blocchi devono rispettare studio e sito anziché essere estratti a caso tra le righe. Nella sostanza è molto più vicino al leave-site-out che alla suddivisione casuale che la maggior parte delle persone immagina, e un gruppo che si è accontentato di un k-fold casuale su parcelle raggruppate non ha soddisfatto il requisito, per quanto buono sembri il numero risultante. Come un verificatore legga l'affermazione che ne deriva è l'oggetto dell'articolo complementare.

Che cosa chiedere a qualsiasi numero modellato

Nulla di quanto segue richiede che chi pone le domande sia un modellista. Sono le domande che separano un numero con delle prove alle spalle da un numero con una citazione alle spalle, e si possono porre in una riunione.

Il motivo per porle non è il sospetto. La maggior parte dei numeri modellati in questo settore è prodotta da persone che fanno del loro meglio con piccoli dataset e scadenze reali, e le lacune sono di solito convenzioni ereditate piuttosto che scorciatoie. Ma un numero che entra in una rendicontazione, in un'emissione di crediti o in un documento di policy ha lasciato le mani del modellista, e a quel punto l'unica cosa che lo separa da una decisione è se qualcuno abbia chiesto rispetto a che cosa sia stato verificato.

Punti chiave