PLSR ve PCR tekniklerinin monte carlo simülasyonu ile karşılaştırılması

Abstract

Çoklu doğrusal regresyon, bir bağımlı değişken ile bir ya da daha fazla bağımsız değişken arasındaki ilişkiyi modellemek için yaygın olarak kullanılan istatistiksel bir yöntemdir. Bu yöntemde regresyon katsayılarını tahmin etmek için En Küçük Kareler (Least Squares-LS) tekniği kullanılır. Ancak çoklu doğrusal regresyonda güvenilir sonuçlar elde etmek için LS tekniğinin belli başlı varsayımlarının sağlanması gerekir. Bu varsayımlardan bir tanesi bağımsız değişkenler arasında ilişki bulunmaması gerektiğidir. Bağımsız değişkenler arasındaki ilişki, çoklu bağlantı sorununa sebep olur. Çoklu bağlantı sorunu, parametre tahminleri üzerinde olumsuz sonuçlar doğurur. Bu sorunu ortadan kaldırmak için çeşitli yollara başvurulabilir. Bu yollardan en yaygın olarak kullanılanı yanlı tahmin teknikleridir. Bu tezde veri indirgemesi yaparak çoklu bağlantıyı ortadan kaldıran yanlı tahmin tekniklerinden Kısmi En Küçük Kareler Regresyonu (Partial Least Squares Regression – PLSR) ve Temel Bileşenler Regresyonu (Principal Component Regression – PCR) ele alınmıştır. Bu iki teknik farklı çoklu bağlantı dereceleri, farklı gözlem sayıları, farklı değişken sayıları ve farklı standart sapma değerleri için Çapraz Geçerliliğin Hata Kareler Ortalamasının Karekökü (Root Mean Square Error Cross Validation – RMSECV) kriterine göre ve bileşen sayısına göre Monte Carlo simülasyonu ile karşılaştırılmıştır. Benzer RMSECV değerlerini veren bileşen sayıları açısından simülasyon sonuçları değerlendirildiğinde bazı durumlarda PLSR tekniği PCR’den daha iyi performans gösterirken, bazı durumlarda her iki teknik benzer sonuçlar vermiştir.

Multiple Lineer Regression is a statistical method commonly used to model relationships between the dependent variable and one or more independent variables. In this method, Least Squares (LS) technique is used for prediction of regression coefficients. However, to obtain reliable results in multiple linear regression, some assumptions need to be provided for the LS method. One of the these assumptions is that there is no relationship between independent variables. The relationship between independent variables lead to multicollinearity problem. Multicollinearity problem results in negative consequences on parameter estimations. Various ways can be applied to remove this problem. One of the most widely used ways is biased estimation techniques. In this thesis, biased estimation techniques called Partial Least Squares Regression (PLSR) and Principal Component Regression (PCR) that remove multicollinearty problem by reducing were discussed. These two techniques were compared with Monte Carlo simulation study with respect to RMSECV criterion and number of component in the case of different multicollinearity degrees, different number of observations, different number of variables and different number of standart deviation values. When the simülation results are evaluated in terms of component numbers which give similar RMSECV values although in some cases PLSR technique shows better performance than PCR, in some cases both techniques give similar results.