PENERAPAN REGULARISASI LASSO DAN RIDGE DALAM MENGATASI MASALAH MULTIKOLINEARITAS PADA MATRIKS KOVARIANS

Abstrak

Matriks kovarian merupakan hubungan ukuran seberapa jauh dua atau lebih variabel acak bervariasi bersama. dalam konteks pemodelan dan pemprosesan data yang lebih kompleks matriks kovarians dapat mengalami multikolinearitas yang sangat tinggi dan memiliki nilai determinan yang amat sangat kecil atau bahkan nol sehingga menjadi singular. Penelitian ini betujuan mengatasi permasalahan singularitas pada matriks kovarians yang disebabkan oleh adanya multikolinearitas dengan menerapkan penalti regularisasi L1 (LASSO) yang akan dibandingkan dengan metode regularisasi L2 (Ridge). Regularisasi ridge akan menambahkan penalti yang kemudian diaplikasikan terhadap nilai diagonal matriks kovarians sehingga dapat mengurangi sifat ketergantungan linear (Linear Dependencies) dan akan meningkatkan nilai determinan dari matriks kovarians itu sendiri. Sedangkan dalam LASSO akan menambahkan nilai penalti terhadap nilai absolut dari semua koefisien. Data yang digunakan merupakan matriks kovarians yang di bangkitan dengan dimensi dan struktur yang bervariasi. metode LASSO mampu memberikan determinan yang lebih baik namun tertinggal cukup jauh jika dibandingkan dengan metode regularisasi Ridge berkisar 1e^(+1)-1e^(+5), dan metode LASSO tidak dapat secara langsung memaksimalkan nilai rank matriks sangat berbeda jauh dibandingkan metode ridge yang mampu memaksimalkan nilai rank matriks kovarians yang singular. Dari hasil tersebut dapat dilihat bahwa metode ridge terbukti lebih baik dibandingkan LASSO dalam meningkatkan determinan dan nilai rank matriks dari matriks kovarians yang singular.

The covariance matrix is a relationship measure of how far two or more random variables vary together. In the context of modelling and processing more complex data, the covariance matrix can experience very high multicollinearity and have a determinant value that is very small or even zero so that it becomes singular. This research aims to overcome the problem of singularity in the covariance matrix caused by multicollinearity by applying the L1 (LASSO) regularization penalty which will be compared with the L2 (Ridge) regularization method. Ridge regularization will add a penalty which is then applied to the diagonal value of the covariance matrix so as to reduce the dependency properties and will increase the determinant value of the covariance matrix itself. Meanwhile, LASSO will add a penalty value to the absolute value of all coefficients. The data used is a covariance matrix that is generated with varying dimensions and dependency structures. LASSO method is able to provide a better determinant but lags far enough when compared to the ridge method around 1e^(+1)-1e^(+5) and the LASSO method cannot directly maximize the rank value of the matrix. It is very different from the ridge method which is able to maximize the rank value of the covariance matrix that is singular. From these results it can be seen that the ridge method is proven to be better than LASSO in increasing the determinant and rank matrix values of a singular covariance matrix.