Belajar mengetahui metode evaluasi dalam machine learning

Evaluasi dalam machine learning sangat penting untuk memahami seberapa baik model yang kita buat bekerja. Berikut adalah beberapa metode evaluasi yang umum digunakan:

1. Train-Test Split

Ini adalah metode dasar di mana data dibagi menjadi dua bagian: satu untuk melatih model (train) dan satu lagi untuk menguji model (test). Biasanya, pembagian dilakukan dengan perbandingan 70-30 atau 80-20.

2. K-Fold Cross-Validation

Pada metode ini, data dibagi menjadi k subset (folds). Model dilatih k kali, setiap kali menggunakan satu fold sebagai data uji dan sisa k-1 sebagai data latih. Hasil akhir adalah rata-rata dari semua iterasi ini, memberikan ukuran evaluasi yang lebih stabil.

3. Leave-One-Out Cross-Validation (LOOCV)

LOOCV adalah kasus khusus dari k-fold cross-validation di mana k sama dengan jumlah sampel dalam dataset. Setiap sampel digunakan satu kali sebagai data uji sementara sampel lainnya digunakan untuk melatih model. Ini sangat memakan waktu tetapi memberikan evaluasi yang sangat komprehensif.

4. Stratified K-Fold Cross-Validation

Mirip dengan k-fold, tetapi memastikan bahwa distribusi kelas di setiap fold serupa dengan distribusi kelas di dataset asli. Ini sangat berguna untuk data yang tidak seimbang.

Metode Evaluasi Model

1. Confusion Matrix

Digunakan untuk binari dan klasifikasi multi-kelas, matriks ini menunjukkan jumlah true positives (TP), true negatives (TN), false positives (FP), dan false negatives (FN). Dari sini, kita bisa menghitung metrik-metrik berikut:

- Accuracy: `(TP + TN) / (TP + TN + FP + FN)`

- Precision: `TP / (TP + FP)`

- Recall (Sensitivity): `TP / (TP + FN)`

- F1-Score: Harmonik rata-rata dari precision dan recall.

2. ROC Curve dan AUC

ROC (Receiver Operating Characteristic) curve digunakan untuk memahami trade-off antara true positive rate dan false positive rate pada berbagai threshold. AUC (Area Under Curve) memberikan ukuran umum dari performa model, di mana 1 adalah performa sempurna dan 0.5 adalah performa acak.

3. Mean Absolute Error (MAE)

Digunakan untuk regresi, MAE mengukur rata-rata absolut dari kesalahan antara prediksi dan nilai sebenarnya.

4. Mean Squared Error (MSE)

Mirip dengan MAE tetapi mengkuadratkan kesalahan sebelum menghitung rata-rata. Ini memberikan penalti yang lebih besar untuk kesalahan yang lebih besar.

5. R-squared (R²)

Mengukur seberapa baik model menjelaskan variabilitas data. Nilai 1 menunjukkan model sempurna, sementara nilai 0 menunjukkan model yang tidak lebih baik dari rata-rata sederhana.

Memahami metode ini membantu kita memilih model terbaik dan memahami kekurangan serta kelebihan dari setiap model dalam konteks data yang kita miliki.