Bagaimana Cara Mengkalibrasi dan Memvalidasi Model? Panduan Lapangan, dari Karbon Tanah sampai Biomassa Pohon

Sebuah model menghasilkan angka. Seseorang kemudian harus memutuskan apakah angka itu layak dipercaya, dan orang itu biasanya bukan orang yang membangun modelnya. Ia bisa seorang verifikator yang membaca dokumen proyek, seorang pimpinan keberlanjutan yang memutuskan apakah angka itu akan dimasukkan ke dalam sebuah pengungkapan, atau seorang penelaah yang disodori sebuah naskah. Angka itu datang dengan sebuah nama yang melekat padanya, RothC atau persamaan Chave atau random forest, dan nama itu memikul beban yang besarnya mengejutkan. Seharusnya ia hampir tidak memikul apa-apa.

Tidak ada apa pun dalam arsitektur sebuah model yang membuat keluarannya layak dipercaya. Kepercayaan datang dari bukti tentang bagaimana model berperilaku pada data yang tidak dipakai untuk membangunnya, dan bukti itu ada dalam dokumentasi atau tidak ada sama sekali. Dalam praktik, bukti itu sering tidak ada. Sebuah dokumen proyek akan menguraikan model secara terperinci, menyebutkan parameternya, mengutip publikasi aslinya, dan hanya berkata sangat sedikit tentang data apa yang disisihkan, bagaimana data itu disisihkan, dan seperti apa galatnya ketika model berhadapan dengan data tersebut.

Tulisan ini membahas separuh yang hilang itu. Ia berada di antara dua tulisan lain di situs ini. Cara memilih model karbon tanah datang lebih dulu, dan cara mengetahui di mana model yang telah dicocokkan boleh diterapkan datang sesudahnya. Inilah bagian tengahnya: setelah memilih sesuatu, bagaimana Anda mencocokkannya, bagaimana Anda mengujinya, dan apa yang diperlukan agar pengujian itu bermakna.

Satu kata, empat tugas

Ikutlah dalam sebuah rapat validasi dan hitung maknanya. Pengembang mengatakan model telah dikalibrasi pada dua belas percobaan jangka panjang. Verifikator bertanya apakah model itu sudah divalidasi. Pimpinan penginderaan jauh menyebut bahwa kalibrasinya memakai empat ratus spektrum dengan seratus di antaranya disisihkan. Ahli statistik, yang sejak tadi diam, bertanya apakah intervalnya terkalibrasi. Empat orang, satu kata, dan sedikitnya tiga operasi berbeda di atas meja.

Tidak seorang pun dari mereka memakai kata itu secara keliru. Kalibrasi membawa empat makna yang mapan di berbagai disiplin yang bertemu dalam sebuah proyek karbon, dan keempatnya bukan nuansa dari satu gagasan. Keempatnya berbeda dalam hal apa yang disesuaikan, apa yang dianggap berhasil, dan bagaimana ia gagal. Berpindah-pindah di antara makna-makna itu adalah cara sebuah ruangan berakhir sepakat tentang sebuah kata sambil tidak sepakat tentang semua hal yang seharusnya diselesaikan oleh kata itu.

Makna tertua bersifat metrologis. Sebuah instrumen menghasilkan indikasi, dan kalibrasi menghubungkan indikasi itu dengan nilai-nilai yang disediakan oleh standar pengukuran, masing-masing dengan ketidakpastiannya sendiri, lalu mengubah hubungan itu menjadi cara untuk memperoleh hasil pengukuran dari suatu pembacaan1. Penganalisis pembakaran kering dikalibrasi terhadap bahan acuan bersertifikat dengan kandungan karbon yang diketahui. Satu detail di sini menjadi sumber banyak pembicaraan yang longgar di kemudian hari: kalibrasi tidak mengubah instrumen. Mengatur sebuah sistem agar memberikan indikasi yang ditentukan adalah operasi terpisah dengan namanya sendiri, penyetelan (adjustment), dan kosakata metrologi menyatakan secara eksplisit bahwa keduanya tidak boleh dikacaukan dan bahwa kalibrasi merupakan prasyarat bagi penyetelan1. Kalibrasi dalam makna ini menghasilkan pengetahuan tentang sebuah instrumen, bukan instrumen yang lebih baik.

Makna kedua adalah pencocokan statistik sebuah model empiris. Persamaan alometrik yang menghubungkan diameter dengan biomassa, atau model spektral yang menghubungkan reflektansi dengan konsentrasi karbon, memiliki koefisien yang diestimasi dari data. Data yang dipakai untuk mengestimasinya adalah himpunan kalibrasi; apa pun yang disisihkan adalah himpunan validasi. Tidak ada yang sedang dibuat tertelusur ke sebuah standar di sini. Sebuah bentuk fungsional sedang dicocokkan, dan pertanyaan yang penting adalah bagaimana ia berperilaku pada data yang belum pernah dilihatnya. Spektroskopi tanah adalah tempat dua makna pertama paling sering bertabrakan. Memprediksi sifat tanah dari spektrum reflektansi difus berarti mencocokkan sebuah regresi pada himpunan kalibrasi dan mengujinya pada sampel yang disisihkan2, sehingga kata itu di sana menamai regresinya, bukan penyetelan apa pun pada spektrometer, meskipun ada spektrometer di ruangan itu.

Makna ketiga adalah estimasi parameter untuk model proses. Konstanta laju dekomposisi RothC, atau parameter yang serupa dalam Century dan DayCent, bukanlah besaran yang dapat diukur langsung oleh siapa pun di suatu lahan tertentu. Parameter itu disimpulkan dengan menjalankan model dan menyesuaikannya sampai model mereproduksi deret waktu yang teramati. Setiap kandidat set parameter membutuhkan satu simulasi penuh lagi untuk mengetahui seberapa jauh ia meleset, dan itulah yang menjadikannya masalah invers, bukan pencocokan3. Perbedaannya dengan makna kedua bukan terletak pada teknik, melainkan pada kewajiban: parameter-parameter ini seharusnya bermakna fisik. Laju dekomposisi yang disetel ke nilai apa pun yang meminimalkan residu sudah berhenti menjadi laju dekomposisi dan berubah menjadi parameter bebas yang mengenakan label mekanistik. Di sini pula beberapa set parameter yang berbeda ternyata mereproduksi pengamatan yang sama dengan kebaikan yang kurang lebih setara, sebuah masalah yang memiliki nama dan literaturnya sendiri4.

Makna keempat menyangkut pernyataan probabilitas, bukan prediksi. Sebuah prakiraan terkalibrasi bila peristiwa yang diberinya probabilitas sembilan puluh persen memang terjadi pada sekitar sembilan puluh persen kasus, dan interval prediksi sembilan puluh persen terkalibrasi bila interval itu memuat nilai sebenarnya pada sekitar sembilan puluh persen kasus. Inilah satu-satunya makna yang memungkinkan sebuah model terkalibrasi tanpa cela sekaligus sama sekali tidak berguna. Prediksikan rata-rata jangka panjang setiap kali, lampirkan interval yang cukup lebar untuk menelan variasinya, dan cakupannya akan sangat baik sementara prakiraan itu tidak memberi tahu siapa pun apa pun. Kalibrasi di sini perlu, tetapi harus dinilai bersama seberapa sempit pernyataannya, yang dalam literatur prakiraan disebut ketajaman (sharpness)5.

Konsekuensinya bagi sebuah proyek karbon cukup spesifik untuk diwaspadai. Seorang verifikator bertanya apakah model telah divalidasi. Pengembang menjawab bahwa model dikalibrasi terhadap percobaan jangka panjang setempat, sebuah pernyataan yang benar dan relevan tentang makna ketiga. Verifikator itu mungkin sedang menanyakan makna kedua, yaitu pengujian dengan data yang disisihkan, atau makna keempat, yaitu apakah ketidakpastian yang melekat pada angka akhir memiliki dasar cakupan. Tiga pertanyaan yang wajar, satu jawaban, dan celah di antara keduanya tidak tercatat dalam notulen.

Sebuah argumen yang lebih tua berada di bawah argumen ini. Verifikasi adalah milik sistem tertutup: sebuah struktur yang murni formal dapat dibuktikan melalui manipulasi simbolik, dan sebuah algoritma di dalam program dapat diperiksa dengan cara yang sama. Model yang dibangun dari komponen semacam itu tidak dengan sendirinya tertutup, karena parameter yang dibutuhkannya tidak pernah diketahui sepenuhnya, dan klaim bahwa model sebuah sistem lingkungan yang terbuka telah divalidasi dalam arti mutlak apa pun telah diperdebatkan sejak pertengahan tahun sembilan puluhan6. Buku teks yang ditulis untuk para pemodel menarik garis yang sama dengan alasan praktis. Salah satunya memperlakukan model sebagai hipotesis ilmiah ketika pertanyaannya adalah apakah proses-prosesnya berperilaku seperti proses nyata, sebuah hipotesis yang dapat dibatalkan tetapi tidak pernah dapat divalidasi secara definitif. Buku yang sama memperlakukan model itu sebagai alat rekayasa ketika pertanyaannya bukan bagaimana model bekerja melainkan seberapa baik ia bekerja, dan menyebutnya evaluasi7. Buku yang lain menolak kata validasi untuk fase ketiga sebuah proyek pemodelan dan menyebut fase itu evaluasi. Membandingkan prediksi dengan pengamatan hanyalah satu dari beberapa hal yang membuat sebuah model berguna bagi tujuannya, dan kata validasi menyiratkan bahwa ada model yang benar untuk ditemukan8. Tidak ada dalam tulisan ini yang mengharuskan Anda memihak dalam perdebatan itu. Yang diharuskan adalah membaca validasi sebagai singkatan untuk pengujian tertentu terhadap data tertentu, bukan sebagai sertifikat.

Kecocokan itu murah

Ambil dua belas pohon, ukur diameternya, ambil sampel biomassanya secara destruktif, lalu cocokkan sebuah polinomial. Pada derajat dua, kurvanya melintas dekat titik-titik itu. Pada derajat sebelas, kurvanya melintasi setiap titik dengan tepat. Residunya nol, koefisien determinasinya satu, dan kecocokannya sempurna dalam satu-satunya arti yang dapat dipikul kata itu di dalam sampel. Di antara titik-titik itu, kurvanya berayun ke nilai-nilai yang mustahil secara fisik, dan pohon ketiga belas akan jatuh jauh dari kurva tersebut.

Ini bukan kelainan khas polinomial. Ini adalah perilaku umum model yang lentur, dan alasan mengapa kinerja di dalam sampel membawa begitu sedikit informasi. Seiring model memperoleh keleluasaan, galat pelatihannya turun secara monoton, tanpa batas bawah selain nol dan tanpa titik ketika penurunan itu menandakan sesuatu. Galat pada data yang disisihkan dari pencocokan berperilaku lain: ia turun selama kelenturan tambahan itu membeli struktur yang dapat digeneralisasi, lalu berbalik naik ketika kelenturan yang sama mulai menyerap derau yang khas pada sampel yang sedang dipegang9.

Mekanismenya memiliki dekomposisi baku. Galat yang diharapkan pada sebuah titik baru terurai menjadi suku bias, yaitu seberapa jauh model keliru secara rata-rata, suku varians, yaitu seberapa banyak model yang dicocokkan bergeser ketika sampel pelatihan ditarik ulang, dan suku yang tak tereduksi, yaitu varians target di sekitar rata-rata sebenarnya sendiri, yang tidak dapat dihilangkan oleh pemodelan sebanyak apa pun. Kelenturan menukar suku pertama dengan suku kedua. Model yang kaku lebih bias dan lebih stabil, model yang lentur kurang bias dan lebih gelisah, dan tempat yang berguna tidak berada di salah satu ujungnya9.

Satu akibat wajar layak dinyatakan tersendiri, karena ia bertahan dalam dokumentasi proyek lama setelah seharusnya dipensiunkan. Koefisien determinasi di dalam sampel tidak pernah turun ketika sebuah prediktor ditambahkan. Tambahkan satu kolom bilangan acak ke sebuah regresi dan R² akan naik. Bentuk yang disesuaikan (adjusted) memberi penalti pada jumlah parameter dan mengoreksi sebagian masalahnya, tetapi tidak ada statistik di dalam sampel yang menjawab pertanyaan yang penting, yaitu apa yang terjadi di lokasi berikutnya, bukan di lokasi ini.

Di bidang kita sendiri, jebakan ini memiliki bentuk yang spesifik. Persamaan alometrik yang dicocokkan secara lokal, diestimasi pada beberapa lusin pohon dari satu perkebunan, pada dasarnya akan selalu mengalahkan persamaan pantropis yang terpublikasi pada pohon-pohon yang sama itu. Perbandingan itu bukan bukti bahwa persamaan lokal lebih baik, namun secara rutin disajikan seolah-olah demikian. Perbandingan yang jujur menyisihkan pohon-pohon yang tidak pernah dilihat oleh persamaan lokal, dan itulah persis perbandingan yang terasa menyakitkan bagi set data destruktif yang kecil, karena setiap pohon yang disisihkan adalah pohon yang tidak dipakai untuk pencocokan. Ketegangan ini nyata. Berpura-pura ia tidak ada dengan melaporkan kecakapan di dalam sampel bukanlah penyelesaiannya.

Kegagalan yang sama berlaku pula pada skala peta. Model ekologi berskala besar yang divalidasi dengan menyisihkan piksel secara acak telah melaporkan kinerja prediktif yang kuat, yang runtuh begitu data yang disisihkan dipisahkan secara spasial dari data pelatihan, karena piksel yang bertetangga bukanlah pengamatan yang independen dan pembagian acak diam-diam memberikan jawabannya kepada model10. Kegagalan spesifik itu adalah pokok bahasan sebuah tulisan pendamping dan tidak diulang di sini; yang relevan di sini adalah pelajaran umumnya, bahwa pembagianlah yang melakukan pekerjaan, bukan metrik yang dihitung sesudahnya.

Anatomi sebuah validasi

Kata validasi mencakup sebuah hierarki yang layak dibongkar, karena tingkat-tingkatnya memperkirakan hal yang berbeda dan secara rutin diringkus menjadi satu. Dalam versi yang paling bersih ada tiga peran bagi data, dan setiap pengamatan memainkan tepat satu di antaranya.

Perbedaan antara peran kedua dan ketiga itulah yang sering hilang. Misalkan Anda mencoba delapan konfigurasi model, mengevaluasi masing-masing pada blok data disisihkan yang sama, memilih yang skornya terbaik, lalu melaporkan skor itu sebagai kinerja yang diharapkan dari model tersebut. Angkanya terlalu bagus, dan terlalu bagus karena alasan yang sama sekali tidak berkaitan dengan ketidakjujuran: Anda memilih nilai maksimum dari delapan estimasi yang berderau, sehingga Anda memilih sebagian karena kecakapan yang sungguhan dan sebagian karena derau yang menguntungkan. Semakin banyak konfigurasi yang Anda coba, semakin besar bagian skor yang dilaporkan yang merupakan derau yang memang Anda cari11.

Ketika data terlalu langka untuk menyisihkan data uji yang tidak pernah disentuh, jawaban yang mapan adalah membuat prosedurnya bersarang (nested): sebuah loop dalam yang melakukan seleksi, dan sebuah loop luar yang hanya melihat model yang sudah dipilih, sehingga estimasi luar tidak pernah dipakai untuk memilih apa pun11. Cara ini memakan komputasi tetapi sama sekali tidak memakan data, sehingga ketiadaannya dalam sebagian besar pekerjaan terapan sulit dibela dengan alasan praktis.

Di bawah ketiga tingkat itu terdapat sebuah kata penyangga yang tidak dapat diperiksa oleh aritmetika untuk Anda. Data yang disisihkan harus independen, dan independensi di sini adalah klaim tentang dunia, bukan tentang lembar kerja. Dua inti tanah dari lahan yang sama yang berjarak sepuluh meter adalah dua baris dalam tabel dan kira-kira satu pengamatan tentang tanah. Dua tahun dari lokasi yang sama bukanlah dua uji independen bagi sebuah model temporal. Membagi tabel secara acak menjamin bahwa baris-barisnya terpisah. Pembagian itu sama sekali tidak menjamin apakah informasinya terpisah.

Keluarga validasi silang, dan apa yang diasumsikan setiap anggotanya

Menyisihkan satu data uji tunggal memboroskan data, dan dengan beberapa ratus pengamatan pemborosan itu terasa. Validasi silang memulihkan sebagian besarnya dengan menggilir peran data yang disisihkan: partisi datanya, latih pada semua bagian kecuali satu, uji pada bagian yang ditinggalkan, ulangi sampai setiap bagian mendapat giliran, lalu rata-ratakan. Gagasannya tua, sederhana, dan hampir selalu dilaporkan dalam bentuk yang menghilangkan satu-satunya detail yang dibutuhkan pembaca.

Detail itu adalah cara partisi dibuat. Validasi silang bukan satu prosedur melainkan sebuah keluarga, dan para anggotanya berbeda dalam cara menetapkan pengamatan ke dalam lipatan (fold). Penetapan itu bukan preferensi teknis. Ia adalah pernyataan tentang apa yang akan diminta dari model, dan setiap pilihan memperkirakan galat dari tugas yang berbeda12.

Jalankan set data yang sama melalui beberapa skema ini dan galat yang dilaporkan akan bergerak, sering kali sangat jauh. Pergerakan itu adalah intinya, bukan gangguan. Galat tervalidasi silang adalah pernyataan bersyarat, dan syaratnya adalah partisi. Dua angka yang dihasilkan dengan skema berbeda bukanlah dua estimasi dari satu besaran, sehingga membandingkan keduanya, atau membandingkan hasil leave-site-out Anda dengan hasil k-fold acak yang terpublikasi, adalah kesalahan kategori yang didandani sebagai tolok ukur. Alat di bawah menjalankan satu set data yang berkelompok per lokasi melalui tiga skema, sehingga besarnya pergerakan itu terlihat, bukan sekadar dinyatakan.

Kasus spasial memiliki struktur yang lebih kaya daripada yang diberikan bagian ini: seberapa jauh sebuah blok harus terpisah sebelum dianggap independen, bagaimana pemblokiran bisa kebablasan menjadi pesimisme, dan apa yang harus dilakukan ketika sasaran prediksi yang dimaksud itu sendiri berkelompok. Hal itu termasuk dalam tulisan tentang keterwakilan, yang dimulai tepat di tempat bagian ini berhenti.

Metrik yang hanya berguna bila bersama-sama

Begitu pembagian sudah ditetapkan, sesuatu harus dihitung di seluruhnya, dan di sini kebiasaannya adalah melaporkan satu angka. Tidak ada satu angka pun yang menggambarkan galat sebuah model, karena galat memiliki sedikitnya tiga sifat yang independen: apakah ia condong, seberapa besar ia lazimnya, dan apakah model mengalahkan alternatif yang remeh. Sebuah metrik menjawab salah satunya dan diam tentang yang lain.

Galat rata-rata (mean error), yaitu rata-rata residu bertanda, mengukur kecondongan. Metrik inilah yang paling penting bagi akuntansi karbon, karena selisih sistematis tidak menyusut ketika proyek membesar: bias berakumulasi, sementara galat acak sebagian saling meniadakan. Metrik ini juga yang paling mudah terpenuhi secara kebetulan, karena galat positif dan negatif yang besar dapat merata-rata menjadi nol yang menenangkan.

Root mean square error mengukur ukuran lazimnya, dalam satuan besaran yang diukur, dan memberi bobot besar pada kemelesetan yang besar karena ia mengkuadratkan sebelum merata-ratakan. Mean absolute error mengajukan pertanyaan yang sama tanpa pembobotan itu. Melaporkan keduanya bersifat informatif: bila RMSE jauh melampaui MAE, distribusi galat memiliki ekor, dan ekor dalam data validasi biasanya menandakan subpopulasi yang ditangani model dengan buruk, bukan nasib buruk.

Tidak satu pun dari keduanya mengatakan apakah model itu layak dimiliki. Untuk itu dibutuhkan baseline, dan itulah yang disediakan oleh efisiensi model: ia membandingkan galat kuadrat model dengan galat dari sekadar memprediksi rata-rata pengamatan, dan melaporkan proporsi varians awal yang dapat dijelaskan oleh model13. Satu berarti sempurna, nol berarti rata-rata akan sama baiknya, dan negatif berarti rata-rata akan lebih baik. Nilai negatif muncul dalam karya terpublikasi tentang tanah dan biomassa lebih sering daripada yang biasanya diakui oleh nada teks di sekitarnya. Itu kesan dari membaca, bukan angka hasil penghitungan.

Metrik yang paling patut dicurigai adalah koefisien korelasi dan kuadratnya. Korelasi mengukur apakah dua deret bergerak bersama, bukan apakah keduanya sesuai. Model yang mengembalikan tepat separuh biomassa sebenarnya dari setiap pohon berkorelasi sempurna dengan kebenaran, R² sama dengan satu, dan keliru lima puluh persen di mana-mana. Ini bukan kasus yang dibuat-buat: prediksi yang terskala secara sistematis adalah persis apa yang dihasilkan model yang salah kalibrasi, dan persis hal yang tidak terlihat oleh R². Koefisien korelasi konkordansi Lin ada karena alasan ini. Koefisien itu mengganjar kesesuaian dengan garis satu-banding-satu, bukan dengan sembarang garis, sehingga nilainya turun ketika sebuah model bias secara proporsional meskipun korelasinya tetap sempurna14.

Tersisa plot yang digambar semua orang dan, secara mengejutkan, cukup sering digambar keliru. Ketika nilai teramati dan nilai prediksi diplot satu terhadap yang lain dan sebuah garis dicocokkan untuk menguji kemiringan satu dan intersep nol, pilihan sumbu bukanlah soal kosmetik. Meregresikan nilai prediksi terhadap nilai teramati dan meregresikan nilai teramati terhadap nilai prediksi menghasilkan kemiringan yang berbeda, dan hanya satu di antaranya yang menguji hipotesis tentang kinerja model yang memang hendak diuji oleh plot itu. Konvensi yang didukung argumen statistik menempatkan nilai teramati pada sumbu vertikal dan nilai prediksi pada sumbu horizontal, karena prediksilah besaran yang sedang dievaluasi dan asumsi regresi jatuh di tempat yang semestinya15.

Seperti apa evaluasi yang lebih lengkap sudah terdokumentasi. Ketika model tanah-tanaman STICS diuji dengan satu set parameter baku pada lima belas tanaman dan beragam tanah serta iklim Prancis, penilaiannya dibagi tiga. Akurasi dinilai dari RMSE, RMSE relatif, dan efisiensi model, bersama dengan apakah galatnya sebagian besar berupa bias atau dispersi. Ketangguhan menanyakan apakah besarnya galat bergantung pada tanaman atau lingkungan. Perilaku menanyakan apakah model mereproduksi perbedaan yang teramati antara kondisi lingkungan dan praktik pengelolaan yang kontras16. Ketiganya menjawab pertanyaan yang berbeda, dan bagian validasi yang hanya melaporkan yang pertama baru menjawab satu di antaranya.

Mengkalibrasi model proses adalah pekerjaan yang lain

Semua yang di atas mengasumsikan model yang parameternya bebas mengambil nilai apa pun yang paling cocok, karena parameter itu tidak membawa makna di luar kecocokannya. Model proses mematahkan asumsi itu. Laju dekomposisi reservoir dalam RothC, konstanta pergantian dalam Century, dan parameter nitrogen dalam DayCent ditulis sebagai besaran fisik, dan klaim model untuk memproyeksikan melampaui data kalibrasinya sepenuhnya bertumpu pada sifat fisik parameter-parameter itu. Klaim itulah yang membuat penyetelannya rumit.

Instrumen untuk pekerjaan ini adalah eksperimen jangka panjang, sebagian berjalan lebih dari satu abad, tempat karbon tanah diikuti di bawah perlakuan yang tetap. Hanya data itulah yang membatasi model berskala dasawarsa pada skala waktu yang diklaimnya, yang juga berarti jumlahnya tidak banyak, sebarannya tidak merata di antara iklim dan tanah dunia, dan segelintir eksperimen yang sama muncul dalam kalibrasi demi kalibrasi. Lokakarya yang mulai menguji model bahan organik tanah terhadap set data jangka panjang secara sistematis memberikan alasannya: perubahan bahan organik tanah berlangsung lambat, sehingga hanya data jangka panjang yang dapat menguji model tentangnya. Set datanya, menurut pengakuannya sendiri, berasal dari kawasan beriklim sedang17. Model yang disetel pada percobaan lahan garapan beriklim sedang dan diterapkan pada agroforestri tropis telah dikalibrasi terhadap instrumen yang tidak pernah mengukur apa pun yang menyerupai sasarannya18.

Praktiknya membentang di sepanjang sebuah spektrum. Di satu ujung, seorang pemodel menyesuaikan parameter dengan tangan sampai kurva simulasi dan kurva pengamatan tampak berdekatan, cara yang cepat, tidak terdokumentasi, dan tidak dapat diulang. Di tengah, sebuah pengoptimal meminimalkan fungsi kerugian, cara yang dapat diulang dan mengembalikan satu set terbaik tanpa pernyataan tentang seberapa jauh lebih baik set itu dibandingkan alternatifnya. Di ujung terjauh, kalibrasi Bayesian memperlakukan parameter sebagai variabel acak, menggabungkan prior dengan likelihood pengamatan, dan mengembalikan distribusi posterior: bukan satu jawaban, melainkan gambaran setiap jawaban yang dapat ditoleransi data, lengkap dengan ketidakpastiannya sendiri19.

Kerangka itu juga memberi ruang bagi sesuatu yang diabaikan oleh dua pendekatan lainnya. Model nyata keliru secara struktural, dan galat struktural tidak berperilaku seperti derau pengukuran. Kalibrasi menghasilkan nilai yang paling cocok, bukan nilai fisik, dan laju dekomposisi dapat berakhir pada nilai apa pun yang mengompensasi sebuah proses yang tidak direpresentasikan model. Ia tetap cocok. Ia bukan lagi laju dekomposisi, dan proyeksi yang bersandar pada makna fisiknya sedang bersandar pada sesuatu yang diam-diam sudah berhenti bersifat fisik19.

Alasan lain untuk lebih memilih distribusi daripada satu kecocokan terbaik adalah bahwa kecocokan terbaik biasanya tidak jauh lebih baik daripada sejumlah besar alternatif yang cukup berbeda. Banyak set parameter mereproduksi lintasan karbon yang teramati dengan kebaikan yang kurang lebih setara, dan set-set itu tidak sepakat satu sama lain tentang masa depan, karena mencocokkan masa lalu yang sama adalah batasan yang jauh lebih lemah daripada kelihatannya. Tanggapannya bukan memilih pemenang dan melaporkan proyeksinya, melainkan membawa himpunan yang dapat diterima itu ke depan dan membiarkannya menghasilkan sebuah rentang4. Alat di bawah memperlihatkan hal itu pada model mainan satu reservoir dengan dua besaran yang tidak diketahui: wilayah ruang parameter yang konsisten dengan data itu lebar, menyempit ketika lebih banyak data datang, dan tidak pernah menciut menjadi satu titik.

Satu interaksi lagi mudah terlewat. Titik awal sebuah model proses itu sendiri merupakan keputusan kalibrasi. Pembagian stok awal ke dalam reservoir cepat, lambat, dan inert jarang dapat diukur, biasanya diestimasi, dan secara material mengubah proyeksi tiga puluh tahun. Mengkalibrasi parameter terhadap sebuah lintasan yang titik awalnya sendiri diasumsikan berarti mencocokkan dua besaran yang tidak diketahui pada satu kurva. Masalah itu, beserta prosedur spin-up yang merupakan jawaban yang dapat dipertahankan untuknya, diuraikan dalam tulisan tentang memilih model karbon tanah.

Pernyataan ketidakpastian adalah prediksi, dan dapat diuji

Kembali ke makna keempat kalibrasi, tempat sebagian besar ketidakpastian model yang dilaporkan diam-diam gagal. Sebuah proyek menyatakan estimasinya sebagai nilai pusat dengan interval sembilan puluh persen. Interval itu bukan peringatan atau isyarat kerendahan hati. Ia adalah klaim yang dapat difalsifikasi: dari banyak pernyataan semacam itu, nilai sebenarnya semestinya jatuh di dalam sekitar sembilan puluh persennya. Proporsi yang benar-benar demikian adalah cakupan yang tercapai, dan membandingkannya dengan angka nominal sembilan puluh adalah pengukuran biasa yang hampir tidak pernah dilakukan siapa pun.

Ketika pengukuran itu dilakukan, intervalnya biasanya terlalu sempit. Tiga penyebab menjelaskan sebagian besarnya. Ketidakpastian parameter dibuang, sehingga interval mencerminkan sebaran residu di sekitar satu model yang dicocokkan, bukan ketidakpastian tentang model mana yang benar. Galat struktural diabaikan, karena tidak ada suku dalam aritmetika yang mewakili kemungkinan bahwa bentuk model itu keliru. Dan pengamatan yang berkorelasi dihitung sebagai pengamatan independen, yang menggelembungkan ukuran sampel efektif dan menyempitkan setiap interval yang dihitung darinya, sebuah mekanisme yang diuraikan dalam tulisan tentang keterwakilan.

Koreksinya bukan melebarkan interval sampai cakupannya terpenuhi, karena itu adalah mode kegagalan dari arah yang berlawanan dan menghasilkan pernyataan yang terlalu kabur untuk ditindaklanjuti. Cakupan dan ketajaman adalah dua sumbu yang terpisah, dan sasarannya adalah interval tersempit yang masih mencakup pada laju nominalnya5. Yang membuat hal ini dapat dikerjakan dalam praktik adalah bahwa keduanya dapat diukur pada data yang disisihkan, dengan pembagian yang sama yang sudah dibangun untuk mengevaluasi prediksi pusat. Validasi yang melaporkan cakupan yang tercapai di samping RMSE telah menjawab pertanyaan yang berhak diajukan seorang verifikator dan biasanya tidak tahu cara merumuskannya.

Apa yang sebenarnya diminta oleh standar

Dua pertanyaan selalu muncul setiap kali materi ini bertemu proyek nyata. Apakah ada yang mewajibkan ini, dan apakah ada yang memeriksanya. Jawaban singkatnya: akuntansi berbasis model memang membawa persyaratan validasi, persyaratan itu kurang spesifik daripada pembahasan statistik di atas, dan celah antara apa yang diwajibkan sebuah standar dan apa yang membuat sebuah angka dapat dipertahankan adalah tempat sebagian besar penilaian profesional berada.

Kerangka IPCC menetapkan kosakatanya. Tier 3 adalah tingkat ketika sebuah inventarisasi memakai model atau pengukuran langsung alih-alih faktor emisi bawaan, dan persyaratan yang melekat pada versi berbasis model dinyatakan dengan gamblang: inventarisasi Tier 3 berbasis model memerlukan pengukuran untuk mengkalibrasi dan memvalidasi model yang dipakai untuk mengestimasi perubahan stok karbon20. Kedua separuh artikel ini berada dalam kalimat itu, dihubungkan oleh kata “dan”, bukan diperlakukan sebagai satu hal. Pengukuran untuk mengkalibrasi, dan pengukuran untuk memvalidasi. Apakah sebuah inventarisasi tertentu memisahkan keduanya bukanlah sesuatu yang dapat ditegakkan oleh kalimat itu.

Di pasar sukarela, persyaratannya lebih eksplisit. Metodologi Verra untuk pengelolaan lahan pertanian yang lebih baik mengizinkan model biogeokimia untuk menyimulasikan perubahan karbon tanah, dan melekatkan perangkat padanya: laporan validasi model, yang dinilai oleh seorang ahli pemodelan independen dan diajukan ulang ketika kampanye pengukuran berikutnya memperluas set data kalibrasi dan validasi, serta pengurangan ketidakpastian yang diterapkan pada reduksi emisi yang diterbitkan21. Sebuah modul terpisah memuat persyaratan kalibrasi dan validasi itu sendiri22. Pengurangan itulah bagian yang layak disebut, karena prinsip desainnya baik. Besarnya mengikuti galat baku relatif dari estimasi, sehingga ketidakpastian tidak hanya diungkapkan tetapi juga diberi harga, dan proyek yang tidak dapat menunjukkan model yang terbatasi dengan baik menerbitkan lebih sedikit kredit untuk karbon terukur yang sama.

Mengenai partisi itu sendiri, modul tersebut lebih spesifik daripada yang diperkirakan sebagian besar praktisi, dan lebih menuntut. Modul itu mensyaratkan agar data kalibrasi dan data validasi terbukti independen, dan menyatakan apa artinya: set data itu tidak boleh tumpang tindih dalam lokasi penelitian eksperimental, dan tidak boleh diambil dari studi eksperimental yang sama22. Membagi satu kumpulan data diperbolehkan, dan k-fold disebut sebagai salah satu caranya, tetapi syarat independensi tetap mengikat, sehingga fold harus menghormati studi dan lokasi alih-alih diambil secara acak lintas baris. Secara substansi, hal itu jauh lebih dekat ke leave-site-out daripada ke holdout acak yang dibayangkan kebanyakan orang, dan tim yang merasa cukup dengan k-fold acak atas petak-petak yang berkelompok belum memenuhi persyaratan itu, sebagus apa pun angka yang dihasilkannya. Cara seorang verifikator membaca klaim yang dihasilkan adalah pokok bahasan tulisan pendamping.

Apa yang perlu ditanyakan pada setiap angka hasil pemodelan

Tidak satu pun dari pertanyaan berikut mengharuskan penanyanya menjadi pemodel. Inilah pertanyaan-pertanyaan yang memisahkan angka yang didukung bukti dari angka yang hanya didukung kutipan, dan semuanya dapat diajukan dalam sebuah rapat.

Alasan untuk menanyakannya bukan kecurigaan. Sebagian besar angka hasil pemodelan di bidang ini dihasilkan oleh orang-orang yang bekerja sebaik mungkin dengan set data kecil dan tenggat yang nyata, dan celah-celahnya biasanya merupakan konvensi warisan, bukan jalan pintas yang disengaja. Namun angka yang masuk ke dalam sebuah pengungkapan, penerbitan kredit, atau dokumen kebijakan telah meninggalkan tangan pemodelnya, dan pada titik itu satu-satunya hal yang berdiri di antara angka itu dan sebuah keputusan adalah apakah ada yang bertanya terhadap apa angka itu diuji.

Poin-poin utama