İstatistik Kullanım Alanları ve Yöntemleri

Keşifsel Veri Analizi

Mel Restori, chartio.com

Veri madenciliğinde keşifsel veri analizi (exploratory data analysis, EDA), veri kümesi temel karakteristiğinin sıklıkla görsel metotlar yardımıyla özetlendiği yaklaşımdır. Modelleme aşamasından önce verinin bize ne göstermek istediğini anlamamızı sağlar. Tek bir sütundaki onlarca sayıya ya da tüm bir Excel sayfasına bakıp verinin tipik özelliklerini tanımlamak kolay değildir. Sadece sayılara bakıp veri hakkında çıkarsamalarda bulunmak zahmetli, bıktırıcı ve usandırıcı bir iş hâline dönüşebilir. Keşifsel veri analiz teknikleri bu gibi durumlara çözüm amacıyla geliştirilmiştir.

Keşifsel veri analizinde iki ana yöntemle çapraz sınıflandırma yapılır.¹ İlkinde her bir metot ya grafikseldir ya da özet tablolardan oluşur. İkincisinde yöntemler tek değişkenli ya da çok değişkenli olmalıdır. (Çoğunlukla iki değişkenlidir.)

Keşifsel Veri Analizi Örneği

Keşifsel veri analizinin öğrenilmesini kolaylaştırmak adına “süsen veri seti”² üzerinde çalışma yapacağız.

(sepal: çanak yaprağı, petal: taç yaprağı, length: uzunluk, width: genişlik, species: türler, versicolor: çok renkli, virginica: virginya, setosa: setosa)

Veri seti, süsen çiçeğinin 3 farklı türüne³ ait 4 farklı özelliğini⁴ içermektedir. Veri kümesinde 50 farklı örnek (50 satır) olmakla birlikte 3 farklı tür ile toplamda 150 birim⁵ yer almaktadır.

Tek Değişken Analizi

Tek değişken analizi, verinin tek değişkenli olduğu durumlarda kullanılan en basit veri analizi uygulamasıdır. Sadece tek bir değişkene sahip olmasından dolayı neden – sonuç bağlarına ve bağımsız değişkenler arasındaki ilişkilere ihtiyaç duyulmaz. Temel amaç veriyi tanımlamak ve veriyi oluşturan yapıyı bulmaya çalışmaktır.

A. Kutu Diyagramı

Veri kümesini “beş gösterge” ile özetler: Minimum değer (Q₀), ilk kartil (Q₁), medyan (Q₂), üçüncü kartil (Q₃) ve maksimum değer (Q₄).

Oluşturulan diyagram veri setindeki dört nümerik özelliğin özetini verir. Kutuların büyüklüğünden taç (petal) uzunluk ve genişliklerinin çanağa (sepal’e) göre daha büyük olduğunu söyleyebiliriz. Buna rağmen çanak uzunluk ve genişlikleri medyan (ortanca) etrafında yoğunlaşmıştır. Dahası çanak genişliği diyagramında bulunan noktalardan aykırı değerlerin⁶ varlığını gözlemleyebiliriz.

B. Histogram

Sürekli değişkenler ile oluşturulan veri kümesine ait frekans dağılımını gösteren diyagramdır. Dağılımın normal dağılım olup olmadığını, dağılımdaki aykırı değerleri ve dağılıma ait çarpıklık derecesi gibi önemli özellikleri incelememize yarar.

Yukarıdaki diyagram, çanak ve taç genişliklerinin histogram grafiğini göstermektedir. Soldaki grafikte çanak genişliklerinin normal dağılıma sahip olduğu görülebilir. Buna rağmen ikinci grafikte taç genişlikleri sağa çarpık dağılım sergilemiştir. Ayrıca taç genişliklerine ait örneklerin büyük bölümü 0.4 cm’den daha kısadır.

Çok Değişken Analizi

Birden fazla değişken içeren verinin istatistiksel teknikler ile analizini belirtir. Gerçeğe daha yakın modellemeler yapmamızı sağlar.

A. Dağılım Grafiği

Dağılım grafiği iki farklı değişkenden elde edilen değerlerin X ve Y eksenlerine denk gelen kesişimlerini gösteren iki boyutlu veri görselleştirmesidir.

Yukarıdaki dağılım grafiklerinin ilkinde taç uzunluk ve genişlikleri arasında doğrusal bir ilişki olduğunu söyleyebiliriz. Buna rağmen çanak uzunlukları ile genişlikleri arasında orantısal bir artış olmamasından dolayı pozitif ya da negatif yönlü doğrusal bir ilişki olmadığı sonucuna varılabilir.

Dağılım grafiklerinin renkli gösterilmesi hâlinde diyagrama yeni değişkenler eklenebilir. Aşağıdaki örnekte çiçek türleri renklendirilerek üç türe ait taç uzunluk ve genişlikleri tek bir grafik üzerinde gösterilmiştir.

En küçük taç uzunluk ve genişlik değerlerine sahip çiçeğin setosa süseni, en büyük değerlere sahip çiçeğin ise virginya süseni olduğunu söyleyebiliriz. Çok renkli süsene ait taç uzunluk ve genişlikleri setosa ve virginya süsenlerinin arasındadır.

A. Sütun Grafiği

Kategorik verilere⁷ ait değerlerin oransal uzunluklarını gösteren grafik türüdür. Örneğin, veri setimizdeki tüm çiçek türlerine ait ortalama taç/çanak uzunluklarını ve genişliklerini görmek isteyelim.

Sütun grafiklerinden görebileceğimiz gibi virginya süseninin en büyük taç uzunluk ve genişliği ile çanak uzunluğuna sahip olduğunu söyleyebiliriz. Bununla birlikte setosa süseninin çanak genişliği genelden farklı olarak en yüksek değere sahiptir.

Örneğini incelediğimiz keşifsel veri analizi, verinin içeriğine dair iyi bir bakış açısına sahip olmamıza yarar. Keşifsel veri analizi aşaması tamamlandığında kümeleme⁸ ve sınıflandırma⁹ gibi daha karmaşık modelleme adımlarına geçilebilir.

Keşifsel veri analizi için örneklendirdiğimiz grafiklerin yanında verimizin karakteristik özelliklerine bağlı olarak farklı gösterimleri de tercih edebiliriz:

• Zaman içindeki değişimleri göstermek için çizgi grafiklerini
• Parça ile bütün arasındaki ilişkiyi göstermek için pasta grafiklerini
• Konum verilerini görselleştirmek için harita grafiklerini

kullanabiliriz.

Sonuç

Keşifsel veri analizi, “makine öğrenmesi”¹⁰ ya da “istatiksel modelleme”ye¹¹ başlanılmadan önce uygun model geliştirme ve sonuçları doğru bir şekilde yorumlama ihtiyacını karşılaması yönüyle kritik bir aşamadır. Veri bilimcisi için elde edilen sonuçların geçerliliğini doğrulaması, sonuçları düzgün şekilde göstermesi ve çalışılan iş üzerinde uygulanabilir kılması bakımından da önemlidir.

Çeviri Kaynağı: https://chartio.com/learn/data-analytics/what-is-exploratory-data-analysis/