Metode Pemilihan Model Regresi Terbaik - Selamat pagi semua ^_^ . Pada kesempatan kali ini saya akan membahas mengenai metode - metode yang digunakan dalam memilih model regresi terbaik. Metode yang akan dibahas disini ada 4 metode yaitu : all possible regression, forward selection, backward selection dan stepwise regression.
Metode pemilihan model regresi terbaik ini digunakan untuk memilih model yang paling tepat untuk menjelaskan hubungan antara variabel dependent (y) dan variabel independent (x). Jadi di setiap hubungan antara variabel Y dan variabel X terdapat beberapa model yang mampu menggambarkannya dimana jumlahnya sebanyak 2n-1 model dengan n adalah jumlah variabel bebas. Namun terkadang ada beberapa variabel bebas yang kurang tepat untuk menjelaskan hubungannya dengan variabel Y sehingga kita coba memilihnya menggunakan metode ini. Dan langsung saja berikut beberapa metodenya :
Metode pemilihan model regresi terbaik ini digunakan untuk memilih model yang paling tepat untuk menjelaskan hubungan antara variabel dependent (y) dan variabel independent (x). Jadi di setiap hubungan antara variabel Y dan variabel X terdapat beberapa model yang mampu menggambarkannya dimana jumlahnya sebanyak 2n-1 model dengan n adalah jumlah variabel bebas. Namun terkadang ada beberapa variabel bebas yang kurang tepat untuk menjelaskan hubungannya dengan variabel Y sehingga kita coba memilihnya menggunakan metode ini. Dan langsung saja berikut beberapa metodenya :
1. All Possible Regression
Dalam metode ini diterapkan beberapa kriteria untuk memilih model yang terbaik diantaranya :
a) R2adj,p
Kriteria yang pertama adalah koefisien determinasi yang telah disesuaikan dengan p parameter. Dalam hal ini digunakan koefisien determinasi yang telah disesuaikan karena jika kita menggunakan koefisien determinasi yang biasa nilainya akan meningkat setiap penambahan variabel bebas sehingga tidak menggambarkan perbedaan yang berarti. Dari kriteria ini semakin besar nilainya maka semakin cocok model tersebut.
b) MSEp
Kriteria yang selanjutnya adalah nilai mean square error dari setiap model. Semakin kecil nilai MSEnya maka model itu semakin tepat.
c) Cp Mallow
Untuk menghitung nilai Cp Mallow digunakan rumus :
Ket : SSEp = nilai SSE tiap-tiap model
MSEall = nilai MSE dari model yang mengandung seluruh variabel
n = jumlah sampel
p = jumlah parameter
Semakin kecil nilai Cp model tersebut semakin baik.
Contoh :
Dari contoh diatas model yang terbaik adalah model yang mengandung variabel bebas X1,X2, dan X3 karena memenuhi kriteria-kriteria di atas.
2. Forward Selection
Pada tahap ini kita meregresikan variabel dependent dengan variabel bebas dimana kita mencoba satu persatu variabel bebas sehingga diperoleh model dengan semua variabel bebasnya signifikan terhadap variable dependent.
Langkah - langkahnya adalah sebagai berikut :
a. Umpamakan kita mempunyai satu variabel dependent (Y) dan empat variabel bebas (X1, X2, X3, dan X4) . Dari sini pertama kita memilih satu variabel bebas untuk masuk ke dalam model yang membunyai koefisien korelasi terbesar terhadap Y. Misal didapatkan ryx3>ryx2>ryx3>ryx4, maka kita masukkan X2 kedalam model sehingga didapatkan model :
y = β0+β3X3+ε
b. Langkah kedua adalah melakukan uji parsial terhadap β3, jika hasilnya tolak H0 kita tetap pertahankan X3 dalam model dan lanjut ke tahap selanjutnya. Atau sebaliknya.
c. Jika hasilnya tolak H0 maka kita kembali mencari koefisien korelasi parsial Y terhadap nilai X1, X2, X4 dimana sudah terdapat X3 di dalam model. Misal didapatkan ryx1|x3>ryx2|x3>ryx4|x3. Lalu kita masukan X1 dalam model sehingga didapatkan model :
y = β0+β3X3+β1X1+ε
d. Seperti langkah kedua kita melakukan uji parsial terhadap β1, jika tolak H0 maka dilanjutkan untuk mencari koefisien korelasi terbesar antara Y dengan X2 dan X4 dimana terdapat X1 dan X3 dalam model. Namun jika hasilnya gagal tolak H0 maka X1 tidak kita sertakan dalam model , proses selesai dan model yang dipilih(terbaik) adalah :
y = β0+β3X3+ε
3. Backward Elimination
Metode ini adalah kebalikan dari metode sebelumnya dimana pertama-tama kita masukkan semua variabel bebas ke dalam model lalu kita eliminasi satu persatu yang tidak sesuai. Berikut langkah-langkahnya :
a. Pertama kita tentukan variabel yang akan dieliminasi dengan melihat koefisien korelasi antara Y dengan setiap variabel bebas dimana sudah terdapat variabel bebas lain didalamnya. Misal didapatkan hasil ryx1|x2,x3,x4 > ryx2|x1,x3,x4 > ryx3|x1,x2,x4 > ryx4|x1,x2,x3 . Disini kita pilih yang nilainya terkecil yaitu antara Y dengan X4.
b. Langkah berikutnya yaitu dengan melakukan uji parsial terhadap β4. Jika tolak H0 maka proses berhenti dan model yang terbaik adalah model regresi dimana semua variabel terdapat dalam model. Namun jika gagal tolak H0 kita eliminasi X4 dari model dan mencari koefisien korelasi parsial lagi seperti langkah 1 dengan catatan X4 sudah tidak ada lagi.
4. Stepwise Regression
Metode ini adalah gabungan dari metode yang kedua dan ketiga dimana langkahnya sama seperti metode kedua hanya ada sedikit perbedaan dimana pada langkah d di metode kedua kita hanya melakukan uji parsial terhadap β1. Namun pada metode ini kita melakukan uji parsial terhadap semua parameter dalam model dalam contoh tersebut adalah β1 dan β3. Jika uji terhadap β3 tetap tolak H0 maka X3 tetap dipertahankan dalam model namun jika keadaannya sebaliknya kita buang X3 dari model. Hal ini untuk mengantisipasi bahwa nilai yang dimasukkan tersebut akan tetap signifikan jika ditambah variabel lain yang juga signifikan terhadap variabel dependentnya.
Ya, mungkin hanya itu saja yang bisa saya sampaikan untuk kali ini. Jika kalian masih bingung bisa bertanya di komentar atau menghubungi contact person. Untuk perhitungan menggunakan SPSS silahkan klik disini. Semoga semua ini bermanfaat buat kalian semua :)
