Model machine learning terlihat sangat baik saat diuji, tetapi hasilnya menurun setelah dipakai. Salah satu penyebabnya adalah data leakage: model memperoleh informasi yang seharusnya belum tersedia saat prediksi dibuat. Akibatnya, nilai evaluasi tidak menggambarkan kemampuan pada kondisi nyata.
Apa Itu Data Leakage
Data leakage terjadi ketika informasi dari luar proses pelatihan yang semestinya masuk ke pembentukan model. Kebocoran dapat berasal dari data pengujian, variabel yang mengandung jawaban, atau proses pengolahan data yang keliru.
Analogi sederhananya adalah latihan ujian menggunakan soal yang sudah disertai sebagian kunci jawaban. Nilai tinggi belum menunjukkan kemampuan mengerjakan soal baru.
Contoh pada Prediksi Penjualan
Bayangkan perusahaan ingin memprediksi penjualan bulan depan menggunakan informasi yang tersedia hari ini. Jika tabel latihan memasukkan total penjualan bulan depan sebagai salah satu fitur, model sudah mendapat petunjuk tentang jawabannya.
Kebocoran yang lebih samar bisa berupa status akhir transaksi atau laporan yang baru diterbitkan setelah periode prediksi. Kolom tersebut tampak relevan, tetapi belum tersedia ketika keputusan seharusnya dibuat.
Kebocoran saat Preprocessing
Masalah juga dapat muncul ketika scaler, pengisi nilai kosong, atau pemilihan fitur dipelajari dari seluruh dataset sebelum data dibagi. Informasi data uji ikut memengaruhi persiapan model.
Praktik yang lebih tepat adalah membagi data terlebih dahulu. Pelajari parameter preprocessing pada data training, lalu gunakan parameter yang sama untuk mentransformasi data validasi atau pengujian.
Cara Mengurangi Risiko Kebocoran
- Tanyakan kapan setiap fitur benar-benar tersedia.
- Pisahkan data training dan pengujian sebelum mempelajari transformasi.
- Gunakan Pipeline untuk merangkai preprocessing dan model.
- Sesuaikan pembagian dengan struktur waktu atau kelompok data.
- Simpan data uji akhir untuk penilaian setelah pemilihan model selesai.
Pada prediksi berbasis waktu, pembagian acak tidak selalu sesuai. Latihan menggunakan masa lalu dan pengujian pada periode berikutnya sering lebih mendekati penggunaan sebenarnya.
Pilih Metrik yang Sesuai
Untuk prediksi angka penjualan, metrik seperti MAE atau RMSE lebih relevan daripada accuracy klasifikasi. Bahkan metrik yang tepat tetap dapat menyesatkan jika data bocor. Evaluasi harus memeriksa angka dan cara angka tersebut diperoleh.
Belajar Python Machine Learning di Wahana Training
Model yang dapat diandalkan membutuhkan pengujian dengan informasi yang tersedia pada waktu prediksi. Nilai evaluasi tinggi perlu ditinjau bersama rancangan data dan alur pelatihannya. Ingin memahami proses membangun serta mengevaluasi model? Hubungi Wahana Training untuk mendiskusikan kebutuhan belajar Python dan machine learning sesuai kemampuan awal Anda.
Informasi & Pendaftaran Wahana Training Semarang
Alamat: Jl. MT Haryono No. 637, Semarang
Website: wahanatraining.id
WhatsApp: 0882 2788 0577