Analisis Regresi : Pemilihan Metode Terbaik

REGRESI STEPWISE, BACKWARD, FORWARD

Regresi Stepwise merupakan salah satu metode untuk mengatasi adanya kasus multikolinieritas, yaitu suatu kondisi dimana terjadi korelasi yang kuat diantara variabel-variabel bebas (X). Untuk mendeteksi adanya kasus multikolinieritas dapat dilihat dari besarnya nilai VIF yang lebih dari 10. Metode Stepwise merupakan gabungan dari metode backward elimination dan forward selection, untuk itu akan dibahas metode backward elimination, forward selection, dan stepwise regression.

Metode Backward Elimination

Metode backward bekerja dengan mengeluarkan satu per satu variabel prediktor yang ti-dak signifikan dan dilakukan terus menerus sampai tidak ada variabel prediktor yang ti-dak signifikan, langkah-langkah metode backward adalah sebagai berikut :

1.        Membuat model dengan meregresikan variabel respon Y dengan semua variabel prediktor.

2.        Mengeluarkan satu persatu dengan melakukan pengujian terhadap parameternya de-ngan menggunakan partial F test. Nilai F_parsial terkecil dibandingkan dengan F_tabel :

•         Jika F_parsial < F_tabel, maka X yang bersangkutan dikeluarkan dari model dan di-lanjutkan dengan pembuatan model baru tanpa variabel tersebut.

•         Jika F_parsial > F_tabel, maka proses dihentikan artinya tidak ada variabel yang perlu dikeluarkan dan persamaan terakhir tersebut yang digunakan/dipilih.

Contoh Kasus :

No.	X1	X2	X3	X4	Y		No.	X1	X2	X3	X4	Y
1	7	26	6	60	78,5		8	1	31	22	44	72,5
2	1	29	15	52	74,3		9	2	54	18	22	93,1
3	11	56	8	20	104,3		10	21	47	4	26	115,9
4	11	31	8	47	87,6		11	1	40	23	34	83,8
5	7	52	6	33	95,9		12	11	66	9	12	113,3
6	11	55	9	22	109,2		13	10	68	8	12	109,4
7	3	71	17	6	102,7

Output:

Regression

Variables Entered/Removeda
Model	Variables Entered	Variables Removed	Method
1	x4, x3, x1, x2b	.	Enter
2	.	x3	Backward (criterion: Probability of F-to-remove >= .100).
3	.	x4	Backward (criterion: Probability of F-to-remove >= .100).
a. Dependent Variable: y
b. All requested variables entered.

Model 1 menunjukkan variabel yang dimasukkan yaitu semua variabel prediktor X₁, X₂, X₃, dan X₄. Model 2 menunjukkan variabel yang dikeluarkan dari model yaitu X₃ dengan menggunakan nilai F-to remove sebesar 0,1, dan pada model 3 variabel yang dikeluarkan dari model yaitu X₄.

Coefficientsa
Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.	Collinearity Statistics
		B	Std. Error	Beta			Tolerance	VIF
1	(Constant)	62.405	70.071		.891	.399
	x1	1.551	.745	.607	2.083	.071	.026	38.496
	x2	.510	.724	.528	.705	.501	.004	254.423
	x3	.102	.755	.043	.135	.896	.021	46.868
	x4	-.144	.709	-.160	-.203	.844	.004	282.513
2	(Constant)	71.648	14.142		5.066	.001
	x1	1.452	.117	.568	12.410	.000	.938	1.066
	x2	.416	.186	.430	2.242	.052	.053	18.780
	x4	-.237	.173	-.263	-1.365	.205	.053	18.940
3	(Constant)	52.577	2.286		22.998	.000
	x1	1.468	.121	.574	12.105	.000	.948	1.055
	x2	.662	.046	.685	14.442	.000	.948	1.055
a. Dependent Variable: y

Pada model 1, P-value yang signifikan (< 0,1) hanya terdapat variabel X₁, nilai P-value yang paling besar tidak signifikan akan dikeluatkan dari model yaitu X₃. Model 2 tanpa menggunakan variabel X₃ menunjukkan P-value yang tidak signifikan terdapat pada variabel X₄, sehingga variabel X₄ dikeluarkan dari model. Pada model 3 diperoleh nilai P-value X₁, dan X₂ sudah signifikan, sehingga tidak ada variabel yang perlu dikelu-arkan dari model dan variabel yang dipilih atau digunakan dalam model yaitu variabel X₁, dan X₂.

Metode Forward

Kebalikan dari metode backward, metode forward adalah pemodelan dimulai dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai krite-ria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut :

1.      Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R² tertinggi. Misal model tersebut adalah yang memuat prediktor X_a, yaitu .

2.      Meregresikan variabel respon  Y, dengan prediktor X_a, ditambah dengan setiap pre-diktor selain X_a dan prediktor lain. Kemudian dipilih model yang nilai R² nya ter-tinggi, misal mengandung tambahan prediktor X_b, yaitu model . Prediktor terpilih X_b berarti mempunyai F_sequensial tertinggi. Formula F_sequensial untuk X_b adalah . Nilai F_sequensial untuk X_b juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T pre-diktor X_b.

3.      Proses diulang sampai didapatkan F_sequensial > F_in. Nilai F_in = F(1,v, ), sehingga model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan F_sequensial < F_in.

Contoh menggunakan Data Kasus Pertama

Output :

Regression

Variables Entered/Removeda
Model	Variables Entered	Variables Removed	Method
1	x4	.	Forward (Criterion: Probability-of-F-to-enter <= .050)
2	x1	.	Forward (Criterion: Probability-of-F-to-enter <= .050)
a. Dependent Variable: y

 

Model Summary
Model	R	R Square	Adjusted R Square	Std. Error of the Estimate
1	.821a	.675	.645	8.96390
2	.986b	.972	.967	2.73427
a. Predictors: (Constant), x4
b. Predictors: (Constant), x4, x1

 

Coefficientsa
Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.	Collinearity Statistics
		B	Std. Error	Beta			Tolerance	VIF
1	(Constant)	117.568	5.262		22.342	.000
	x4	-.738	.155	-.821	-4.775	.001	1.000	1.000
2	(Constant)	103.097	2.124		48.540	.000
	x4	-.614	.049	-.683	-12.621	.000	.940	1.064
	x1	1.440	.138	.563	10.403	.000	.940	1.064
a. Dependent Variable: y

 

Dengan menggunakan F-to enter sebesar 0,05, model 1 menunjukkan variabel yang dimasukkan pada model, yaitu variabel prediktor X₄. Besarnya t²  yaitu 22,7529 > F_{(1, 11, 0.05)} yaitu sebesar 4,48, maka diperlukan tahap kedua untuk mamasukkan variabel prediktor lain ke model. Model 2 menunjukkan variabel kedua yang dimasukkan pada model setelah X₄ yaitu X₁. Nilai t² yaitu 108,16 < F_{(1, 10, 0.05)} yaitu sebesar 4,96, maka tidak ada variabel lain yang dimasukkan ke dalam model, sehingga variabel yang dipilih adalah X₁ dan X₄.

METODE STEPWISE REGRESSION

Regresi Stepwise adalah gabungan antara metode forward dan backward, variabel yang pertama kali masuk adalah variabel korelasinya tertinggi dan significant dengan variabel dependent, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertingi dan masih significant, setelah variabel tertentu masuk kedalam model maka variabel lain yang ada didalam model dievaluasi,jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan.

Output :

Regression

Variables Entered/Removeda
Model	Variables Entered	Variables Removed	Method
1	x4	.	Stepwise (Criteria: Probability-of-F-to-enter <= .050, Probability-of-F-to-remove >= .100).
2	x1	.	Stepwise (Criteria: Probability-of-F-to-enter <= .050, Probability-of-F-to-remove >= .100).
a. Dependent Variable: y

Model pertama yang diperoleh yaitu dengan memasukkan variabel X₄, dan mo-del kedua yang diperoleh yaitu dengan memasukkan variabel X₁ dengan tetap memper-tahankan variabel X₄. Dari kedua model diperoleh P-value yang sudah signifikan, se-hingga model yang digunakan dalam menggunakan metode stepwise dengan program SPSS yaitu dengan menggunakan variabel prediktor X₁ dan X₄.

Coefficientsa
Model		Unstandardized Coefficients		Standardized Coefficients	t	Sig.	Collinearity Statistics
		B	Std. Error	Beta			Tolerance	VIF
1	(Constant)	117.568	5.262		22.342	.000
	x4	-.738	.155	-.821	-4.775	.001	1.000	1.000
2	(Constant)	103.097	2.124		48.540	.000
	x4	-.614	.049	-.683	-12.621	.000	.940	1.064
	x1	1.440	.138	.563	10.403	.000	.940	1.064
a. Dependent Variable: y