DİSKRİMİNANT ANALİZİ VE UYGULAMASI ÜZERİNE BİR ÖRNEK

Aydın Ünsal*

            In this study,we investigate discriminant analysis and an example is given.

Giriş

Bu  çalışmada,uygulamacılara ışık tutmak amacı ile diskriminant analizinin veri yapısı matrisi, iki ve daha fazla grup olması durumunda diskriminant fonksiyonlarının bulunması ve bu fonksiyonların anlamlılık testlerinin nasıl yapıldıgı teorik olarak anlatıldı. Daha sonra tüm anlatılanların küçük bir örnek üzerinde adım adım uygulaması yapıldı.

            1.1 DİSKRİMİNANT ANALİZİ

            Diskriminant analizi, tek faktör çok değişkenli varyans analizi MANOVA’nın uzantısı olan çok değişkenli bir analiz türüdür. Gruplar arası fark yoktur anlamını taşıyan Ho hipotezi red edildikten sonra, gruplar arası farkın olduğu sonucuna varılır. Bu farklılığın ana nedenleri diskriminant analizi tekniğiyle ortaya çıkarılır.

      Diskriminant analizi aracılığıyla elde edilen diskriminant (ayırıcı) fonksiyonları , tahmin değişkenlerinin doğrusal bileşenlerinden oluşur. Diskriminant fonkiyonları gruplar arası farklılığa etki eden tahmin değişkenlerinin hangileri olduğunu ortaya çıkarır. Gruplar arası farklılığa etki eden bu değişkenlere de diskriminant (ayırıcı) değişkenler  adı verilir. Diskriminant analizinin bir diğer işlevi ise, gruplardan herhangi birisine ait olan fakat hangi gruptan geldiği bilinmeyen bir birimin ait olduğu grubu en az hata ile saptamaktır.

O halde Diskriminant analizinin amacını iki grupta toplamak olanaklıdır.

1)      Diskriminant fonksiyonları saptayıp, ve bu fonksiyonlar aracılığıyla gruplar arası ayırıma en fazla etki eden ayırıcı  değişkenleri belirlemek,

*     Doç.Dr.,G.Ü.İ.İ.B.F.,Ekonometri Bölümü Ögretim Üyesi

2) Hangi gruptan geldiği bilinmeyen bir birimin hangi gruba dahil edileceğini belirlemektir. ( 1, s : 493 )

            Birinci amaca yönelik Diskriminant analizi Betimsel ( discriptif ) amaçlı analiz  , ikinci amaca yönelik olarak diskriminant analizi Karar amaçlı analiz  olarak adlandırılır. Gerek 1. gerekse 2. amaca yönelik kuramsal yapıya girmeden önce, Diskriminant analizi probleminin irdelendiği veri yapısını inceleyelim.

1.1  VERİ YAPISI MATRİSİ

            Diskriminant analizine ilişkin veri yapısı, bazı notasyon değişiklikleri dışında, MANOVA’ya  ilişkin veri yapısına benzer.

            g. grupta ( yığın ) ( G₁, G₂ ,....., G_p ),  p.değişkenin ( X₁, X₂ ,...., X_p ) herbirine ilişkin  nj  ( j:1, 2 ,....., g ) gözlem yapıldığı varsayıldığında aşağıdaki veri tablosu elde edilir.

TABLO 1.1   G - GRUP İÇİN DİSKRİMİNANT  ANALİZİ  VERİ  TABLOSU

            Veri yapısı matrisi Tablo (1.1)’de olduğu üzere gösterildiği gibi Tablo (1.1.a)’da  olduğu gibi de gösterilebilir.

TABLO  1.1.a  DİSKRİMİNANT  ANALİZİ  VERİ  TABLOSU

Burada;

x_ijk : i.( i : 1, 2 ,....., g )  yığında  j. (  j : 1, 2 ,....., p )  değişkene  ilişkin  k.

( k : 1, 2 ,....., n_i ) bireyin değerini ifade eder.

1.1.2  İKİDEN FAZLA GRUP OLMASI  DURUMUNDA DİSKRİMİNANT  ANALİZİ

            Tek faktör varyans analizi modelinde faktör ( değişken ) düzeyleri arasında farklılığın olup olmadığı aşağıdaki kriter ile belirlenir.

Burada ;

            GAOK = SS_b / ( p –1 )

            GİOK = Ss_w / ( n – p )    yi ifade eder.

Benzer bir kriter, X₁ , X₂  ,....,  X_p  tahmin değişkenlerinin doğrusal bileşenleri

                        Y = V₁X₁ + V₂X₂ + .....+ V_pX_p                                                          (1.1)

veya

için diskriminant analizi ile Fisher tarafından geliştirilmiştir.  doğrusal bileşenine ayırıcı fonksiyon  veya diskriminant fonksiyonu  denir.

            Fisher’in geliştirmiş olduğu yöntem gruplar arası varyansın gruplar içi varyansa oranını maksimum yapacak ( 1.1 ) eşitliğinde yer alan V_i ( i : 1, 2 ,...., p ) katsayılarının bulunması esasına dayanır. Yani

                        Y = V₁X₁ + V₂X₂  + .....+ V_pX_p                     

doğrusal bileşeni için

                                                                                                   (1.2)                      

  oranını maksimum yapacak V₁, V₂ ,...., V_p katsayılarını bulmaktır.

            Fisher’in diskriminant analizi için grupların normal dağılıma sahip olma sayıltısı gerekli olmamakla beraber tüm grupların  p x p  kovaryans matrislerinin eşit olduğu kabul edilir. Yani; å₁ = å₂ = .....= å_p = å_.

            Birleştirilmiş gruplara ilişkin ortalama vektör  olmak üzere, gruplar arası kareler toplamı

                                                                                        (1.3)

Burada ;

            m_i = i.  grubun ortalaması,

              tüm gruplara ilişkin genel ortalamadır.

            ( 1.1 ) ’deki  diskriminant fonksiyonunu dikkate aldığımızda, Y ’ye ilişkin ortalama;

                                         ( i.grup için, i : 1, 2 ,...., p )                              (1.4)

varyans ise;

                                                         (1.4a)

olarak tüm gruplar için elde edilir.

            O halde, i.grup için elde edilen y ’lerin ortalaması  olarak bulunur. Gruplar değiştirildikçe ’ler de buna bağlı olarak farklılık gösterirler.Tüm gruplar için Y ’ye ilişkin genel ortalama,

                                           (1.5)

olarak bulunur.

            ( 1.2 ) kriterinin diskriminant fonksiyonu için oluşturulabilmesi, Y ’in gruplar arası ve gruplar içi kareler toplamının bulunmasına bağlıdır. Bu kareler toplamından hareketle de gerek gruplar arası varyans gerekse gruplar içi varyans bulunur.

            Bu amaçla önce Y ’ye ait gruplar arası kareler toplamını daha sonrada gruplar içi kareler toplamını bulalım.

                                                        (( 1.3 ) ’den yaralanarak )                   (1.6)

elde edilir. B₀V terimi serbestlik derecesi ( g – 1 ) ’re bölünerek gruplar arası varyans elde edilir.    

( 1.2 ) diskriminant kriteri (1.6 ) ve ( 1.4a ) dan yararlanılarak

                                                                                                         (1.7) olarak elde edilir. ( 2, s : 541 )

            Şimdi de diskriminant kriteri adı verilen bu oranı maksimum yapacak V vektörler kümesini bulalım.

                          kriterini maksimum yapacak V vektörler kümesinin bulunabilmesi için G₁ ,G₂ ,...., G_p , yığında X₁ , X₂ ,...., X_p değişkenlerinde yapılan n_i     

( i : 1, 2 ,...., g ) gözlemleri için tanımlanan gruplar arası kareler toplamı  B_o  ve gruplar içi kareler toplamı å ‘nın tahmin değerlerinin bulunması gerekir. 

Gruplar arası kareler toplamı ve çapraz çarpımlar  B₀  ve gruplar içi  kareler toplamı ve çapraz çarpımlar å matrisleri sırasıyla;

ve

olarak tahmin edilir.

            B₀ ve å ‘nın tahmin değerleri bulunduktan sonra ( 1.7 ) ’deki diskriminant kriteri aşağıdaki gibi maksimize edilir.

                1.1.3 DİSKRİMİNANT KRİTERİNİN MAKSİMİZASYONU

            (1.7 ) diskriminant kriterinin maksimizasyonu için l ‘nın ’ye göre kısmi türevi alınıp sıfıra eşitliğinde;

                         elde edilir.

Bu eşitliğinde pay ve paydasını ’ye bölüp ve ( 1.7 ) eşitliği de kullanıldığında

            ( B - lW )V = 0                                                                                (1.8)

eşitliği elde edilir. ( 2, s : 160 )

W matrisinin tekil olmayan bir matris olduğunu kabul edip, (1.8 ) eşitliğinin her iki tarafı W^-1 matrisi ile çarpıldığında

                        ( W^-1B - lI )V = 0                                                                              (1.9)

eşitliği elde edilir. Burada W^-1B matrisi yerine A matrisini koyduğumuzda,

                        ( A - lI )V = 0

eşitliğine ulaşılır.  Bu eşitlikligin çözümüne ulaşabilmek için aşağıdaki eşitlikten yararlanılır.

            Söz konusu çözüme ulaşabilmek için,

                                                                                                        (1.10)

karekteristik denkleminin kökleri l_i ( i : 1, 2 ,...., s ) değerleri bulunur. l_i ( i :1, 2 ,...., s ) değerleri W^-1B matrisinin sıfırdan farklı özdeğerleridir. l_i ( i : 1, 2 ,...., s ) öz değerleri bulunduktan sonra bu değer gerek ( 1.8 )’de gerekse ( 1.9 )’da yerlerine konularak, söz konusu öz değerlere karşılık gelen W-IB matrisinin öz vektörleri ( V₁ , V₂ ,...., V_s ) bulunur. W^-1B  matrisinin öz vektörlerinin  sayısı  s = min ( p, g – 1 ) ’dir. [1]

            Herhangi bir l_i değerine karşılık bulunacak V_i değeri için cV_i (c herhangi bir sabit ) değeride ( 1.9 ) eşitliğini sağlayacağından, V_i vektörünün normu bire eşittir.  olması sağlanır.Böylelikle ( 1.1 ) tanımlanan diskriminant fonksiyonları         Y₁, Y₂ , ....,Y_s  bulunmuş olur.

            l₁ , W^-1B matrisinin öz değeri ve V₁ = ( V₁₁ , V₁₂ , ...., V_1p ) bu özdeğere karşılık gelen öz vektör ise, birinci diskriminant fonksiyonu Y₁ ,

                        Y₁  =  v₁₁X₁  +  v₁₂X₂  + .....+  v_1pX_p

olarak bulunur. Y₁ en büyük diskriminant kriteri l₁ ’re sahiptir.

            l₂ , W^-1B  matrisinin öz değeri ve V₂ = ( V₂₁ , V₂₂ , ...., V_2p ) bu özdeğere karşılık gelen öz vektör ise, birinci diskriminant fonksiyonu Y₂ ,

                        Y₂ =  v₂₁X₁ + v₂₂X₂ + .....+  v_2pX_p

olarak elde edilir. Y₂ ’de ikinci büyük diskriminant kriteri l₂ ’re sahiptir. Y₂ diskriminat fonksiyonu ile Y₁ diskriminant fonksiyonu arasındaki korelasyon sıfırdır. Benzer şekilde,

                        Y₃  =  v₃₁X₁ +  v₃₂X₂  + .....+  v_3pX_p   

Y₁ ve Y₂ ile korelasyonu sıfır olan 3. en büyük diskriminant kriterine sahip Y₃ diskriminat fonksiyonu elde edilir.         

Yine benzer şekilde, s. diskriminant fonksiyonu Y_s , l_s ’ye karşılık gelen               V_s = ( V_s1 , V_s2 , ...., V_sp )  ağırlıkları kullanılarak elde edilir. Bu şekilde elde edilen diskriminant fonksiyonu Y_s , Y₁ , Y₂ ,....,Y_s-1 diskriminant fonksiyonları ile korelasyonu sıfır olan en büyük diskriminant kriteri l_s ’ye sahiptir.

            Diskriminant fonksiyonundaki değişkenlerin ayırma etkilerinin ya da diskriminant fonksiyonuna katkı miktarlarının bilinmesi özellikle yorum aşamasında önemli olduğundan, böyle bir karşılaştırmanın yapılabilmesi için bulunan katsayıların;

            U_ij = V_ij (W_ii)^1/2                      i : 1, 2 ,...., p ;  j : 1, 2 ,....., s               (1.11)

formülü ile standartlaştırılması gerekir. (4, s: 210 )

            Tüm bu bilgiler ışığı altında Fisher’in Diskriminant analizi için geliştirmiş olduğu yöntemi örnek için, aşağıdaki gibi özetlemek olanaklıdır.  

            , .... > 0 W^-1B matrisinin öz değerleri ve V₁ , V₂ ,...., V_s   koşulu altında bu özdeğerlere karşılık gelen öz vektörler ise,   V katsayılar vektörü

                                                        (1.12)

oranını maksimum yapar. Bu durumda; ( X = ( X₁ , X₂ , ....., X_p )) doğrusal bileşeni ilk diskriminant fonksiyonunu, doğrusal bileşeni ikinci diskriminant fonksiyonu oluşturur. Bu şekilde devam edilerek k. diskriminant fonksiyonu  şeklinde oluşturulur. (1, s : 542 )

            Buraya kadar, diskriminant fonksiyonlarının boyutunu belirlemeye çalıştık. Diskriminant fonksiyonlarının boyut sayısının, W^-1B matrisinin sıfırdan farklı öz değerlerinin sayısına eşit olduğunu gördük. Bu değerinde yani W^-1B matrisinin sıfırdan büyük öz değerlerinin sayısının min ( g - 1, p ) değerine eşit olduğu tesbit edildi. Fakat genellikle, istatistiksel olarak anlamlı diskriminant fonksiyonu sayısı min ( g - 1, p ) değerinden daha küçüktür. Bunun nedeni de, bazı diskriminant fonksiyonlarının, grup farklılaşmalarının oluşumuna etkilerinin istatistiksel olarak önemsiz olmasıdır.

            Bu aşamada, istatistiksel olarak anlamlı olan diskriminant fonksiyonları belirlenebilir.

            1.1.4 DİSKRİMİNANT FONKSİYONLARININ ANLAMLILIK TESTİ       

            Wilks Lamda’sıyla ( Ù^* diskriminant fonksiyonlarının sayısı tespit edilir. Ù^* krieri ile diskriminant fonksiyonlarının diskriminant değerleri arasında cebirsel bir ilişki vardır.Bu ilişki aşağıda olduğu gibidir.

                        Ù^* =                                                                                                                    1 / Ù^* =   

                                 =             ( T = W + B )

                                 =                                                                       (1.13)

l₁ , l₂ , ......, l_r ,  W^-1B matrisinin özdeğerleri olmak üzere, ( 1.13 ) ’de tanımlanan 1/Ù^* değeri, ilgili teoremlerden de yararlanılarak, aşağıdaki gibi yeniden tanımlanabilir.

            1 / Ù^* = ( 1 + l₁ ).( 1 + l₂       ) ..... ( 1 + l_r )                                           (1.14)  [2]

Wilks Lambda’sı ( Ù^* ) ‘yı test için Bartlett istatistiği  V;

            V = -(  N – 1 - ( p + g ) / 2  ) lnÙ^*

şeklinde tanımlanır. V  ( 1.14 ) ’den yararlanılıp, aşağıdaki gibi yeniden tanımlanır.

            V =  -( N – 1 - ( p + g ) / 2 ) ln {( 1 + l₁ ).( 1 + l₂ ) ..... ( 1 + l_r )}

                =  -( N – 1 - ( p + g ) / 2 )                                                    (1.15)

V, serbestlik derecesi ( pg - p ) olan  c² dağılımına sahiptir.     

            Ardışık diskriminant fonksiyonlarının aralarındaki korelasyon katsayılarının sıfır olması nedeniyle, (1.15 ) ’deki ( 1 + l_i ) ardışık terimler istatistiksel olarak birbirleri ile bağımsızdır. Sonuç olarak, V’ye eklenen herbir bileşen yaklaşık olarak c² dağılımına sahiptir. Bu anlamda, V ’nin i. bileşeni

                                   V_i = { N – 1 - ( p + g ) / 2 }ln( 1 + l_i )

serbestlik derecesi ( p + g – 2i ) olan  c²  dağılımına sahiptir.

            Sonuç olarak, V - V_{1 ;} V - V₁ - V_{2 ;} V - V₁ - V₂ - V₃ ,........; V - V₁ - V₂ -.......- V_r istatistiklerinin herbiri c² dağılımına sahiptirler. Bu istatistiklerde artık diskriminantın istatistiksel olarak anlamlı olup olmadıklarının testi için kullanılır.

            Ardışık istatististikler ve serbestlik dereceleri aşağıdaki tabloda olduğu gibi özetlenebilir.

O halde,birinci diskriminant fonksiyonun anlamlılık testi  V-V₁ istatistiğiyle, ikinci diskriminant fonksiyonunun anlamlılık testi V-V₁-V₂ istatistiğiyle, eğer ikinci diskriminant fonksiyonu anlamlı bulunmuşsa, V-V₁-V₂-V₃ istatistiğiyle, üçüncü diskriminant fonksiyonu da anlamlıysa dördüncü diskriminant fonksiyonunun anlamlılığı V-V₁-V₂-V₃-V₄ istatistiği ile test edilir. Bu işlem anlamsız bulunan bir diskriminant fonksiyonuna ulaşılana kadar devam eder. Eğer ( s ) tane anlamlı diskriminant fonksiyonu elde edilmiş ise geri kalan ( r – s ) tane diskriminant fonksiyonunun grupları ayırıcı özellikleri örnekleme hataları olarak kabul edilir ve bu nedenle de dikkate alınmazlar.

            ÖRNEK:

            Çok değişkenli varyans analizi ( MANOVA ) modelinde yığın ortalama vektörlerinin aynı olduğu anlamını taşıyan Ho hipotezinin reddinden sonra, sınıflandırma ve ayırımı sağlıyan  diskriminant fonksiyonuna gereksinme duyulur. Bu örnekde,aşağıda verilen veri grubunda, MANOVA aracılıgı ile yığın ortalama vektörlerinin farklı olduğu gösterildikten sonra ; yukarıda sözü edilen diskriminant fonksiyonu bulundu.

Aşağıda, her biri  2  değişken  içeren  2 yığına  ilişkin  15’er gözlem değeri verilmiştir.

            ( 1.1 ) ’de tanımlanan diskriminant fonksiyonlarından ilki Y₁ , W^-1 B matrisinin öz değeri  l₁  ve buna karşılık gelen V₁ = ( V₁₁ , V₁₂ ,..., V₁₉ ) öz vektörü aracılığıyla   

            Y₁= V₁₁ X₁ + V₁₂ X₂ + ... + V₁₉ X₉

şeklinde yazılabileceğini daha önce belirtmiştik.

            Bu nedenle, önce W matrisinin tersi ve W^-1 B matrislerini bulup ( 1.10 )’da verilen  | W^-1 B - lI | = 0 deklemini sağlayan  l₁ , l₂   öz değerleri bulunacak.

            W ve B matrisleri MANOVA’da verilen örnekte olduğu gibidir. W^-1 ve W^-1 B matrisleri  aşağıdaki  gibi  elde  edilir.

            | W^-1 B - lI | = 0 eşitliğini sağlayan  l₁  ve  l₂  değerleri ;

            | W^-1 B - lI | = 0   Þ   l²  - 21.3l + 9.74 = 0

                                               l₁ = 20.83

                                               l₂ = 0.47

olarak bulunur.                                   

            l₁ = 20.83 öz değerine karşılık gelen V₁ = ( v₁₁ , v₁₂ ) öz vektörü,

            ( W^-1 B - lI  ) V₁ = 0

eşitliğini sağlayacak şekilde daha önce değinildiği gibi bulunur.

                                        V₁ =

            l₂ = 0.47 öz değerine karşılık gelen V₂ öz vektörüde aşağıdaki gibi bulunur.

            ( W^-1 B - lI ) V₂ = 0

                                        V₂ =

            İki yığın olması nedeniyle tek bir diskriminant fonksiyonu bulunur. Bu fonksiyonda daha önce belirtilen gerekçelerle V₁ öz vektörü aracılığıyla bulunan Y₁ ’dir. O halde diskriminant fonksiyonu

                                   Y₁= 0.96 X₁ + 0.27 X₂

olarak elde edilir.        

            Şimdi de bulunan bu diskriminant fonksiyonu kullanarak sınıflandırma işlemini yapalım.

            1. gruptan tesadüfi olarak seçilen    x₁ =    matrisini ele alalım. Grupların ortalama vektörleri =   ve   =   ise, seçilen gözlem  biriminin  I. grup ortalama vektörüne uzaklığı;

                                   = = ( 10.209 )²   =  104.224                                                                                   

olarak hesaplanır. Benzer şekilde aynı gözlem biriminin II. grup ortalama vektör uzaklığı da ;

                                   =    = ( 16.077 )²   =  258.469

olarak hesaplanır. Şimdi seçilen gözlem birimin hangi gruba dahil edileceğine karar verme aşamasına sıra geldi. Bu aşamada seçilen gözlem biriminin yukarıda hesaplanan grup ortalama vektörlerine uzaklıkları birbirleri ile mükayese edilir. Seçilen gözlem birimi hangi grup ortalama vektörüne daha yakınsa o gruba dahil edilir. O halde ; 104.224 < 258.469 olduğundan ( 200,281 ) birimi birinci gruba aittir.

            Aynı işlemi, 2. gruptan tesadüfi seçtiğimiz bir örnek üzerinde de gösterelim.

                        x₂ =     olsun.

Seçilen bu gözlem biriminin birinci grup ortalama vektörüne uzaklığı;

                                   =   = ( -24.261 )²   =   588.596

olarak hesaplanır. Benzer şekilde, aynı gözlem biriminin ikinci grup ortalama vektörüne uzaklığı;

                                   =   = ( -18.393 )²  =  338.302

olarak hesaplanır. Birinci grupta yaptığımız degerlendirmenin ışıgında seçilen gözlem biriminin hangi gruba dahil edileceğine karar verilir;

            588.596 > 338.302 olduğundan ( 170.260 ) gözlem birimi ikinci gruba aittir.

            Diskriminant fonksiyonu, hangi yığından geldiği bilinmeyen gözlem birimlerinin sınıflandırılması için de kullanılır. Örneğin: X = ( 210, 250 ) gözlem biriminin, örnek grupları incelendiğinde, iki gruba da dahil olmadığı görülür. Bu gözlem biriminin hangi gruba dahil edileceği, diskriminant fonksiyonu aracılığı ile aşağıdaki gibi belirlenir.

            ( 210, 250 ) biriminin, birinci grup ortalama vektörüne uzaklığı;

                                   =   = ( 11.439 )²   =  130.851

olarak hesaplanır. Benzer biçimde aynı gözlem biriminin ikinci grup ortalama vektörüne uzaklığı da;

                                   = = ( 17.307 )²  =  299.532

olarak hesaplanır. Sonuçta, ( 4.34 ) ’deki  eşitsizlik yardımı ile gözlem biriminin hangi gruba dahil edileceğine karar verilir;

            Yani, 130.851 < 299.532 olduğundan, X = ( 210. 250 ) gözlem biriminin birinci gruba dahil edileceği söylenir.

TABLO : 1  DİSKRİMİNANT ANALİZİ  VERİ  VE  SONUÇLARI