Karmaşıklık Matrisi ve Performans Metrikleri Nasıl Kullanılır?

Karmaşıklık Matrisi ve Performans Metrikleri Nasıl Kullanılır?

İçindekiler

1. Giriş
2. Sorunun Tanımı
3. Karmaşıklık Matrisi ve Performans Metrikleri
   • 3.1 Doğruluk (Accuracy)
   • 3.2 Yanlış Sınıflandırma Oranı
   • 3.3 Pozitif Oranı
   • 3.4 Yanlış Pozitif Oranı
   • 3.5 Doğru Negatif Oranı
   • 3.6 Kesinlik (Precision)
   • 3.7 Önem (Prevalence)
4. Örnek Uygulama
5. Sonuç

Karmaşıklık Matrisi ve Performans Metrikleri

Bu videoda, doğruluk, hassasiyet, geri çağırma ve diğer performans metrikleri gibi farklı performans ölçütlerinin nasıl bulunacağını tartışacağım. Bir karmaşıklık matrisi verilmiş olan bu durumda, 150 tahminle ilgili olarak doğruluk, yanlış sınıflandırma oranı, pozitif oranı, yanlış pozitif oranı, doğru negatif oranı ve kesinlik gibi farklı performans metriklerini bulmamız gerekiyor.

Karmaşıklık matrisimize baktığımızda, 150 tahminden 100 örneğin "evet" olarak sınıflandırıldığını ve 50 örneğin "hayır" olarak tahmin edildiğini görüyoruz. 100 örnekten 50'si "hayır" sınıfına, 100 örnek ise "evet" sınıfına aittir.

Öncelikle, bu sayıların her birine bir isim vermemiz gerekiyor. 45 örneğin "hayır" sınıfına ait olduğunu ve burada "hayır" olarak tahmin edildiğini görebiliriz, bu nedenle bunun bir doğru negatif olduğunu söyleyebiliriz. 5 örneğin "evet" sınıfına ait olduğunu ancak burada "hayır" olarak tahmin edildiğini görüyoruz, bu ise yanlış pozitif olarak adlandırılır.

Ayrıca, 5 örneğin "evet" sınıfına ait olduğunu ancak burada "hayır" olarak tahmin edildiğini görüyoruz, bu yanlış negatif anlamına gelir ve bu 95 örneğin "evet" olduğunu ve burada "evet" olarak tahmin edildiğini görebiliriz, bu da doğru pozitif olarak adlandırılır.

Doğruluk, bu modelin genel doğruluğunu ifade eder ve bu da toplam doğru tahminlerin (doğru negatif + doğru pozitif) tahminlerin toplam sayısına bölünmesiyle hesaplanır. Burada doğru pozitif ve doğru negatif toplamı 45 + 95'e eşittir ve toplam örnek sayısı 150'dir. Bu denklemi hesaplarsak %93.33 gibi bir doğruluk elde ederiz.

Diğer performans metriklerinden biri, yanlış sınıflandırma oranıdır. Bu, sınıflandırmanın ne sıklıkta yanlış yapıldığını ifade eder. Yanlış sınıflandırmaların (yanlış negatif + yanlış pozitif) örneklerin toplam sayısına bölünmesiyle hesaplanır. Burada yanlış negatif + yanlış pozitif 10'a eşittir ve toplam örnek sayısı 150'dir. Bu durumda yanlış sınıflandırma oranı %6.67'dir.

Diğer performans metrikleri arasında pozitif oranı da vardır. Bu, bir örneğin "evet" olduğu ve bunun ne sıklıkla "evet" olarak tahmin edildiği durumunda kullanılır. Bu durumda, "evet" örneklerinin toplamı 100'dür ve bunların 95'i "evet" olarak tahmin edilir. Bu durumu hesaplarsak 95/100 gibi bir doğru pozitif oranı, hassasiyet veya geri çağırma elde ederiz.

Bir diğer performans metriği olan yanlış pozitif oranı ise bir örneğin "hayır" olduğu durumunda ne sıklıkla "evet" olarak tahmin edildiğini ifade eder. Bu durumda, yanlış pozitif sayısı 5'tir ve "hayır" sayısı 50'dir. Bu durumda yanlış pozitif oranı %10'dur.

Doğru negatif ise bir örneğin "hayır" olduğu durumunda ne sıklıkla "hayır" olarak tahmin edildiğini ifade eder. Bu durumda, 50 örnekten 45'i "hayır" olarak tahmin edilir, bu da doğru negatif oranının %90 olduğunu gösterir. Ayrıca bu, özgüllük olarak da adlandırılır.

Kesinlik ise "evet" olarak tahmin edildiğinde bunun ne sıklıkla doğru olduğunu ifade eder. Bu durumda, tahmini "evet" olan örneklerin toplamı ve doğru tahminin gerçek "evet" sayısına bölünmesiyle hesaplanır. Burada tahmini "evet" olan örnek sayısı 95'tir ve gerçek "evet" sayısı 100'dür. Bu durumda kesinlik %95'tir.

Son olarak, prevalans denilen bir performans metriği vardır. Bu, örnekte "evet" durumunun gerçekte ne sıklıkta gerçekleştiğini ifade eder. Gerçek "evet" sayısı toplam örnek sayısına bölünerek hesaplanır. Burada gerçek "evet" sayısı 95 ve toplam örnek sayısı 150'dir. Bu durumda prevalans %66.67'dir.

Makine öğrenme modellerinde genellikle kullanılan farklı performans metrikleriyle bir modelin performansını bilmemizi sağlar. Bu yazıda, basit bir örnek ile bu değerlerin nasıl hesaplandığını açıkladım. Umarım bu konsept açıktır. Videoyu beğendiyseniz ve arkadaşlarınızla paylaşmak isterseniz beğenmeyi ve paylaşmayı unutmayın. Daha fazla video için Abone Ol butonuna basın ve düzenli güncellemeler için bildirim ikonuna tıklayın. İzlediğiniz için teşekkür ederim.

Öne Çıkanlar

• Performans ölçütleri, makine öğrenme modellerinin performansını değerlendirmek için kullanılır.
• Doğruluk, yanlış sınıflandırma oranı, pozitif oranı, yanlış pozitif oranı, doğru negatif oranı, kesinlik ve prevalans gibi farklı performans metrikleri bulunur.
• Karmaşıklık matrisi, sınıflandırma sonuçlarını göstermek için kullanılır.
• Performans metrikleri, modelin doğruluğunu ve yanlış sınıflandırma oranını belirlemeye yardımcı olur.

Sıkça Sorulan Sorular

1. Performans metriklerini nasıl hesaplayabilirim?

   • Performans metriklerini hesaplamak için karmaşıklık matrisi kullanılır. Doğruluk, yanlış sınıflandırma oranı, pozitif oranı, yanlış pozitif oranı, doğru negatif oranı, kesinlik ve prevalans gibi metrikler hesaplanabilir.

2. Karmaşıklık matrisi nasıl oluşturulur?

   • Karmaşıklık matrisi, örneklerin sınıflandırma sonuçlarını gösteren bir matristir. Gerçek sınıflandırmalar yatay eksende, tahmin edilen sınıflandırmalar ise dikey eksende yer alır.

3. Performans metrikleri modelin başarısını nasıl değerlendirir?

   • Performans metrikleri, modelin doğruluğunu, yanlış sınıflandırma oranını, hassasiyetini ve diğer başarı kriterlerini değerlendirir. Bu metrikler, modelin ne kadar iyi performans gösterdiğini belirlemeye yardımcı olur.

Kaynaklar

• Makine Öğrenme Performans Metrikleri
• Karmaşıklık Matrisi ve Performans Değerlendirmesi
• Performans Metrikleri ve Hesaplama Yöntemleri