Machine Learning ve Overfitting - Öğrenme Yerine Ezber Yöntemini Kullanma

Overfitting Nedir?

Açıklaması şöyle

Overfitting, modelinizin öğrenme yerine ezber yöntemine geçmesine verilen isimdir. Aşırı öğrenme durumunu tespit etmek için en iyi yöntemlerden birisi; eğitim verisi dışında, ilk kez karşılaşacağı veriler ile modeli test etmektir. Eğitim verileri ile %90'ın üzerinde (hatta %100'e yakın) başarılı sonuç elde edebilirken harici veriler ile bu oran çok çok düşük olabilmektedir.

Overfitting problemini görsel olarak soran bir soru burada

Aşırı Öğrenmenin Önüne Nasıl Geçebiliriz?

Bazı önlemler burada

Önlem - Verileri Artırın

Açıklaması şöyle

If you're training a complex model with small amount of data, your model is very likely to overfit.

Örnek

Çözmek istediğimiz problem şu olsun

Imagine that you're building a model that predicts house price based on the floor area.

Elimizdeki veri şöyle olsun

area  price
30    100001
50    150002
80    200003

Problemin açıklaması şöyle

You train your model, then ask it to predict the price for a house of area=50, and it tells you that the price should be 150002. Is that impressively accurate? Not really. It's just memorizing the training data.
Overfitting is commonly detected through a large difference in performance between the training and test set. If you test on the training set, you're unable to detect overfitting.

Önlem - Aynı Veri Training ve Test İçin Kullanmayın

Bir örnek şöyle

As a teacher, you wouldn’t give your students an exam that’s got the exact same exercises you have provided as homework: you want to find out whether they (a) have actually understood the intuition behind the methods you taught them and (b) make sure they haven’t just memorized the homework exercises.