Representatif terhadap Apa? Ketika Sampel Baru Berada di Luar Domain Model Anda

Sebuah program pengadaan kakao membangun garis dasar karbon organik tanah untuk wilayah asal pertamanya. Tim mengumpulkan sampel di seluruh wilayah pasokan, mencocokkan sebuah model yang memprediksi stok karbon dari kovariat tanah dan bentang lahan, lalu memvalidasinya dengan validasi silang. Nilai R² adalah 0.78. Cukup baik untuk dilaporkan. Setahun kemudian program itu meluas ke wilayah asal kedua di negara yang berbeda, dan menggunakan kembali model yang sama untuk memperkirakan garis dasar baru, karena membangunnya ulang akan menuntut sebuah kampanye lapangan yang tidak dimiliki anggaran. Verifikator mengajukan satu pertanyaan: apa bukti Anda bahwa wilayah asal kedua berada dalam rentang kondisi tempat model dikalibrasi? Tim menunjuk ke angka 0.78. Namun angka itu menggambarkan seberapa baik model memprediksi di dalam kondisi wilayah asal pertama. Ia tidak mengatakan apa pun tentang yang kedua. Ruangan pun hening.

Inilah masalah representativitas yang paling sering ditemui tim pemantauan dan paling jarang diberi nama dengan jelas. Persoalannya sebenarnya bukan tentang sampel. Ia tentang hubungan antara tiga hal: di mana Anda mengukur, di mana Anda kini menginginkan sebuah angka, dan potongan dunia yang benar-benar pernah dilihat oleh model.

Dua pertanyaan yang bersembunyi dalam satu kata

Representativitas dipakai untuk dua klaim yang berbeda, dan mencampuradukkan keduanya adalah awal dari masalah. Klaim pertama tentang sampel dan populasi: bahwa sampel mencerminkan wilayah yang ingin Anda deskripsikan, sehingga rata-rata yang dihitung darinya merupakan taksiran yang wajar bagi rata-rata sebenarnya. Ini adalah ranah rancangan pengambilan sampel, makna yang kami telusuri dalam Seberapa Besar Kampanye Pengambilan Sampel Karbon Tanah Anda Seharusnya? dan Sinyal versus Derau.

Klaim kedua tentang titik baru dan model. Sebagian besar pemantauan saat ini tidak berhenti pada rata-rata sampel. Pemantauan itu mencocokkan sebuah model, sebuah persamaan alometrik, sebuah peta karbon tanah, sebuah kalibrasi spektral, sebuah model proses seperti RothC, atau sebuah faktor emisi bawaan, lalu menerapkannya ke lokasi-lokasi tempat tidak ada yang diukur. Sebuah prediksi di lokasi baru hanya sepercaya pengalaman model terhadap kondisi seperti lokasi tersebut. Di luar rentang kondisi dalam data pelatihan, model sedang mengekstrapolasi, dan galatnya tidak terbatasi maupun dapat diketahui dari statistik kecocokan.

Keduanya berpadanan dengan dua moda inferensi klasik. Inferensi berbasis rancangan memperoleh keabsahannya dari cara sampel dipilih, dan menjawab pertanyaan sampel-ke-populasi. Inferensi berbasis model memperoleh keabsahannya dari benarnya model di tempat ia diterapkan, dan menjawab pertanyaan titik-baru-ke-model 78. Sebuah sampel dapat menjadi sampel probabilitas yang sesuai buku teks bagi populasinya sendiri dan tetap menempatkan sebuah prediksi jauh di luar pengalaman sebuah model pinjaman. Kedua pertanyaan itu saling bebas, dan yang kedua adalah yang membuat ruangan terdiam.

Domain keberlakuan, didefinisikan

Konsep yang mengatur pertanyaan kedua sudah punya nama, dipinjam dari sebuah bidang yang belajar pelajarannya lebih awal. Dalam kimia, model struktur-aktivitas kuantitatif memprediksi sifat-sifat sebuah molekul dari strukturnya, dan para regulator memperhatikan bahwa model-model ini menghasilkan prediksi yang meyakinkan namun keliru bagi molekul yang tidak menyerupai apa pun dalam himpunan pelatihan. Tanggapannya adalah mendefinisikan sebuah domain keberlakuan: kawasan ruang masukan tempat sebuah model menghasilkan prediksi yang andal, disertai aturan eksplisit untuk memutuskan apakah sebuah kasus baru berada di dalamnya 12.

Pemantauan lingkungan menggunakan gagasan yang sama, biasanya tanpa namanya. Setiap persamaan alometrik dicocokkan pada suatu rentang diameter pohon, dan menerapkannya di luar rentang itu adalah ekstrapolasi, itulah sebabnya aturan praktisnya adalah memplot distribusi diameter inventarisasi Anda terhadap rentang tercocok persamaan tersebut, seperti yang kami uraikan dalam Bagaimana Menghitung Jumlah Karbon dalam Sebuah Pohon? Sebuah rentang diameter adalah domain keberlakuan dalam satu dimensi. Sebuah model tanah modern bergantung pada banyak kovariat sekaligus, faktor-faktor SCORPAN yang diformalkan oleh pemetaan tanah digital 9, dan data pelatihan menempati sebuah awan dalam ruang berdimensi tinggi itu. Domain keberlakuan adalah kawasan ruang tersebut yang benar-benar dicakup oleh awan itu, dan seluruh pertanyaan menjadi geometris: apakah titik baru berada di dalam awan, atau jauh di sebuah sudut yang tak pernah dikunjungi model?

Cara mengetahui apakah sebuah titik baru berada di dalam domain

Keanggotaan domain dapat diukur, dan metodenya berkisar dari pemeriksaan lima menit hingga sebuah statistik yang dapat dipertahankan untuk Anda tunjukkan kepada seorang auditor. Gunakan berurutan menurut tingkat kecermatan yang meningkat.

Rentang dan rentang multivariat. Untuk setiap kovariat, apakah lokasi baru jatuh di dalam nilai minimum dan maksimum data pelatihan? Ini menangkap ekstrapolasi yang paling kasar. Kelemahannya, sebuah titik bisa berada di dalam rentang setiap variabel secara terpisah namun tetap merupakan kombinasi tak realistis yang tak pernah dilihat model, misalnya curah hujan sebuah lokasi basah dengan kandungan liat sebuah lokasi kering.

Jarak ke data pelatihan. Metode andalan mengukur seberapa jauh titik baru berada dari awan pelatihan, dengan memperhitungkan korelasi antarvariabel. Leverage (diagonal matriks hat) melakukan ini untuk model linear; jarak Mahalanobis menskalakan setiap arah dengan kovariansi pelatihan; jarak ke k titik pelatihan terdekat, dan jarak Gower untuk campuran variabel kontinu dan kategorik, merupakan alternatif nonparametrik yang tegar 1210.

Wilayah keberlakuan, untuk peta. Ketika model menghasilkan peta yang menyeluruh, pertanyaannya bersifat spasial: piksel mana saja yang boleh diterapi model? Metode wilayah keberlakuan menjawab tepat hal ini 3. Metode ini membobot setiap kovariat menurut kepentingannya, mengukur jarak dalam ruang terbobot itu dari setiap piksel ke titik pelatihan terdekat, lalu membandingkannya dengan jarak lazim di antara titik-titik pelatihan itu sendiri. Piksel di luar ambang yang diturunkan dari validasi silang berada di luar wilayah keberlakuan, dan galat model yang dilaporkan tidak berlaku di sana. Sebuah peta regional dapat tampak lengkap dan otoritatif padahal sebagian besarnya, menurut ukuran ini, berada di luar domain 4.

Kalibrasi spektral memiliki versinya sendiri. Jika karbon tanah diprediksi dari spektra inframerah tengah alih-alih dari kovariat, analisis komponen utama atas himpunan kalibrasi mendefinisikan ruang yang dikenalnya, dan bagi sebuah spektrum baru, Hotelling’s T² (seberapa jauh di dalam ruang itu) dan Q-residual (seberapa jauh di luarnya) menandai sampel yang tak pernah dilatih untuk dibaca oleh kalibrasi.

Jebakan validasi: mengapa R² yang baik dapat menyesatkan

Ada satu cara khusus di mana hal ini keliru dan justru menyanjung praktisi. Ketika sebuah model divalidasi dengan validasi silang acak biasa, titik-titik yang disisihkan tersebar di antara titik-titik pelatihan. Jika data terautokorelasi secara spasial, dan data tanah serta vegetasi hampir selalu demikian, maka setiap titik yang disisihkan memiliki tetangga dekat di dalam himpunan pelatihan. Model diuji hampir sepenuhnya di dalam domainnya, pada titik-titik yang mudah. Validasi berstruktur spasial, yang menyisihkan seluruh blok ruang, berulang kali mengungkap bahwa model dengan skor validasi silang acak yang sangat baik justru berkinerja buruk saat harus menjangkau jauh 56. Sebuah peta regional dapat tak bias secara rata-rata di seluruh cakupannya namun tetap keliru di setiap proyek individual di dalamnya.

Tanggapan yang jujur bukan sekadar mengganti validasi silang acak dengan yang spasial lalu melangkah maju, karena rancangan validasi yang tepat itu sendiri masih diperdebatkan: pemblokan spasial bisa pesimistis jika ia menyisihkan kawasan yang tak akan pernah diminta diprediksi model, dan pilihan yang paling dapat dipertahankan, bila anggaran memungkinkan, adalah sampel validasi terpisah yang diambil melalui pengambilan sampel probabilitas dari wilayah sasaran, yang menaksir akurasi peta tanpa bersandar sama sekali pada model 78. Butir yang bertahan dari perdebatan itu lebih sederhana: sebuah angka akurasi baru bermakna bila disertai pernyataan tentang di mana, dalam ruang kovariat dan ruang geografis, ia diukur, dan apakah tempat yang kini Anda inginkan prediksinya menyerupai tempat itu.

Sebuah aturan keputusan yang dapat Anda pertahankan

Bila dirangkai, pengujian domain adalah alur kerja yang ringkas dan dapat diulang, yang muat dalam satu halaman rencana pemantauan. Definisikan domain kalibrasi (distribusi multivariat kovariat dalam data pelatihan). Letakkan setiap titik baru relatif terhadapnya: pemeriksaan rentang per variabel dahulu, lalu sebuah metrik jarak. Golongkan sebagai di dalam domain, ambang batas, atau di luar domain terhadap ambang-ambang yang ditetapkan di muka. Kemudian bertindaklah sesuai golongannya: titik di dalam domain mendapatkan prediksi apa adanya; titik ambang batas mendapatkannya dengan ketidakpastian yang secara eksplisit digelembungkan dan sebuah penanda; titik di luar domain tidak mendapatkan angka pinjaman sama sekali, melainkan memicu pengambilan sampel acuan lokal dan penaksiran ulang.

Nilai dari menuliskan ini adalah bahwa ia mengubah sebuah argumen (“kami rasa kawasan baru cukup serupa”) menjadi bukti (“inilah tempat setiap titik baru jatuh, dan inilah aturan yang kami terapkan”). Itulah perbedaan antara klaim yang diterima verifikator dan klaim yang dicecar verifikator.

Sebuah contoh terkerjakan: satu model, dua wilayah

Sebuah model karbon tanah dikalibrasi pada kebun bermatahari penuh dan bernaungan ringan di satu wilayah pengadaan. Pengadaan meluas ke wilayah kedua berupa agroforestri bernaungan yang sudah mapan. Lima dari kovariat model, diperiksa terhadap lokasi representatif wilayah baru:

Tiga dari lima kovariat jatuh di luar rentang terkalibrasi, dan dua yang paling penting bagi karbon, yakni curah hujan dan naungan, termasuk di antaranya. Sebuah jarak Mahalanobis atau indeks wilayah keberlakuan akan menempatkan lokasi ini jauh di luar awan pelatihan. Vonisnya tegas: model berada di luar domain di sini, dan menerapkannya berarti melaporkan sebuah angka tanpa dukungan. Ini adalah temuan yang sama, dalam bentuk mini, yang dicapai oleh evaluasi independen pada skala benua, tempat hubungan karbon tanah yang dikalibrasi pada sistem tanaman baris beriklim sedang tidak beralih ke sistem menahun bernaungan tanpa penaksiran ulang lokal. Kami membahas pemilihan model dan rekalibrasi lokal dalam Bagaimana Anda Memodelkan Perubahan Karbon Tanah dari Waktu ke Waktu?

Pengambilan sampel ulang, dan domain yang bergerak

Ada cara kedua, yang lebih senyap, di mana representativitas gagal, dan ia muncul justru ketika sebuah program melakukan segala hal lainnya dengan benar. Pemantauan dibangun di atas pengambilan sampel ulang: kunjungi kembali jaringan yang sama dari waktu ke waktu, bandingkan, dan laporkan perubahannya. Asumsi yang tak terucapkan adalah bahwa jaringan tetap representatif terhadap sistem yang dipantaunya. Sistem bergerak. Pengelolaan berubah, sebuah program naungan menjadi matang, kekeringan membentuk ulang rezim kelembapan tanah, tata guna lahan bergeser di tepi-tepi wilayah pasokan. Sebuah model yang dikalibrasi sekali terhadap sistem asli dapat tergelincir keluar dari domain relatif terhadap sistem yang kini ada, tanpa ada yang menjalankan ulang pemeriksaan. Para statistikawan menyebutnya pergeseran kovariat atau penyimpangan konsep; di lapangan ia tampak seperti garis dasar yang diam-diam berhenti menggambarkan masa kini.

Mengapa verifikator mulai menanyakannya

Ini bukan lagi sekadar kehalusan metodologis. Kerangka akuntansi yang mengatur klaim karbon sedang mengerucut pada tuntutan agar ketidakpastian dikuantifikasi dan diungkapkan, dan sebuah prediksi yang diterapkan di luar domain sebuah model adalah ketidakpastian yang disembunyikan alih-alih dikuantifikasi. GHG Protocol Land Sector and Removals Standard menuntut kuantifikasi yang dapat dipertahankan dengan ketidakpastian yang diungkapkan. IPCC 2019 Refinement mendorong ke arah faktor bertingkat lebih tinggi yang sesuai secara lokal ketimbang nilai bawaan pinjaman, justru karena nilai bawaan berada di luar domain bagi banyak tempat yang menerapkannya 12. Verifikator mulai meminta validasi berstruktur spasial atau validasi independen ketimbang R² utama, dan meminta bukti bahwa sebuah model yang digunakan ulang cocok dengan lokasi tempat ia digunakan ulang. Tim yang akan lolos dari pertanyaan-pertanyaan ini adalah mereka yang menguji keanggotaan domain sebelum ditanya, dan dapat menunjukkan pekerjaannya.

Poin-poin utama