Home /Beranda

Friday, May 11, 2012

Analisis Regresi : Pemilihan Metode Terbaik


REGRESI STEPWISE, BACKWARD, FORWARD
Regresi Stepwise merupakan salah satu metode untuk mengatasi adanya kasus multikolinieritas, yaitu suatu kondisi dimana terjadi korelasi yang kuat diantara variabel-variabel bebas (X). Untuk mendeteksi adanya kasus multikolinieritas dapat dilihat dari besarnya nilai VIF yang lebih dari 10. Metode Stepwise merupakan gabungan dari metode backward elimination dan forward selection, untuk itu akan dibahas metode backward elimination, forward selection, dan stepwise regression.

Metode Backward Elimination
Metode backward bekerja dengan mengeluarkan satu per satu variabel prediktor yang ti-dak signifikan dan dilakukan terus menerus sampai tidak ada variabel prediktor yang ti-dak signifikan, langkah-langkah metode backward adalah sebagai berikut :
1.        Membuat model dengan meregresikan variabel respon Y dengan semua variabel prediktor.
2.        Mengeluarkan satu persatu dengan melakukan pengujian terhadap parameternya de-ngan menggunakan partial F test. Nilai Fparsial terkecil dibandingkan dengan Ftabel :
         Jika Fparsial < Ftabel, maka X yang bersangkutan dikeluarkan dari model dan di-lanjutkan dengan pembuatan model baru tanpa variabel tersebut.
         Jika Fparsial > Ftabel, maka proses dihentikan artinya tidak ada variabel yang perlu dikeluarkan dan persamaan terakhir tersebut yang digunakan/dipilih.
Contoh Kasus :
No.
X1
X2
X3
X4
Y

No.
X1
X2
X3
X4
Y
1
7
26
6
60
78,5

8
1
31
22
44
72,5
2
1
29
15
52
74,3

9
2
54
18
22
93,1
3
11
56
8
20
104,3

10
21
47
4
26
115,9
4
11
31
8
47
87,6

11
1
40
23
34
83,8
5
7
52
6
33
95,9

12
11
66
9
12
113,3
6
11
55
9
22
109,2

13
10
68
8
12
109,4
7
3
71
17
6
102,7



Output:

Regression

Variables Entered/Removeda
Model
Variables Entered
Variables Removed
Method
1
x4, x3, x1, x2b
.
Enter
2
.
x3
Backward (criterion: Probability of F-to-remove >= .100).
3
.
x4
Backward (criterion: Probability of F-to-remove >= .100).
a. Dependent Variable: y
b. All requested variables entered.
Model 1 menunjukkan variabel yang dimasukkan yaitu semua variabel prediktor X1, X2, X3, dan X4. Model 2 menunjukkan variabel yang dikeluarkan dari model yaitu X3 dengan menggunakan nilai F-to remove sebesar 0,1, dan pada model 3 variabel yang dikeluarkan dari model yaitu X4.
Coefficientsa
Model
Unstandardized Coefficients
Standardized Coefficients
t
Sig.
Collinearity Statistics
B
Std. Error
Beta
Tolerance
VIF
1
(Constant)
62.405
70.071

.891
.399


x1
1.551
.745
.607
2.083
.071
.026
38.496
x2
.510
.724
.528
.705
.501
.004
254.423
x3
.102
.755
.043
.135
.896
.021
46.868
x4
-.144
.709
-.160
-.203
.844
.004
282.513
2
(Constant)
71.648
14.142

5.066
.001


x1
1.452
.117
.568
12.410
.000
.938
1.066
x2
.416
.186
.430
2.242
.052
.053
18.780
x4
-.237
.173
-.263
-1.365
.205
.053
18.940
3
(Constant)
52.577
2.286

22.998
.000


x1
1.468
.121
.574
12.105
.000
.948
1.055
x2
.662
.046
.685
14.442
.000
.948
1.055
a. Dependent Variable: y


Pada model 1, P-value yang signifikan (< 0,1) hanya terdapat variabel X1, nilai P-value yang paling besar tidak signifikan akan dikeluatkan dari model yaitu X3. Model 2 tanpa menggunakan variabel X3 menunjukkan P-value yang tidak signifikan terdapat pada variabel X4, sehingga variabel X4 dikeluarkan dari model. Pada model 3 diperoleh nilai P-value X1, dan X2 sudah signifikan, sehingga tidak ada variabel yang perlu dikelu-arkan dari model dan variabel yang dipilih atau digunakan dalam model yaitu variabel X1, dan X2.

Metode Forward
Kebalikan dari metode backward, metode forward adalah pemodelan dimulai dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai krite-ria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut :
1.      Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu .
2.      Meregresikan variabel respon  Y, dengan prediktor Xa, ditambah dengan setiap pre-diktor selain Xa dan prediktor lain. Kemudian dipilih model yang nilai R2 nya ter-tinggi, misal mengandung tambahan prediktor Xb, yaitu model . Prediktor terpilih Xb berarti mempunyai Fsequensial tertinggi. Formula Fsequensial untuk Xb adalah . Nilai Fsequensial untuk Xb juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T pre-diktor Xb.
3.      Proses diulang sampai didapatkan Fsequensial > Fin. Nilai Fin = F(1,v, ), sehingga model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan Fsequensial < Fin.
Contoh menggunakan Data Kasus Pertama

Output :

Regression
Variables Entered/Removeda
Model
Variables Entered
Variables Removed
Method
1
x4
.
Forward (Criterion: Probability-of-F-to-enter <= .050)
2
x1
.
Forward (Criterion: Probability-of-F-to-enter <= .050)
a. Dependent Variable: y
 
Model Summary
Model
R
R Square
Adjusted R Square
Std. Error of the Estimate
1
.821a
.675
.645
8.96390
2
.986b
.972
.967
2.73427
a. Predictors: (Constant), x4
b. Predictors: (Constant), x4, x1
 
Coefficientsa
Model
Unstandardized Coefficients
Standardized Coefficients
t
Sig.
Collinearity Statistics
B
Std. Error
Beta
Tolerance
VIF
1
(Constant)
117.568
5.262

22.342
.000


x4
-.738
.155
-.821
-4.775
.001
1.000
1.000
2
(Constant)
103.097
2.124

48.540
.000


x4
-.614
.049
-.683
-12.621
.000
.940
1.064
x1
1.440
.138
.563
10.403
.000
.940
1.064
a. Dependent Variable: y
 
Dengan menggunakan F-to enter sebesar 0,05, model 1 menunjukkan variabel yang dimasukkan pada model, yaitu variabel prediktor X4. Besarnya t2  yaitu 22,7529 > F(1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk mamasukkan variabel prediktor lain ke model. Model 2 menunjukkan variabel kedua yang dimasukkan pada model setelah X4 yaitu X1. Nilai t2 yaitu 108,16 < F(1, 10, 0.05) yaitu sebesar 4,96, maka tidak ada variabel lain yang dimasukkan ke dalam model, sehingga variabel yang dipilih adalah X1 dan X4.

METODE STEPWISE REGRESSION
Regresi Stepwise adalah gabungan antara metode forward dan backward, variabel yang pertama kali masuk adalah variabel korelasinya tertinggi dan significant dengan variabel dependent, variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertingi dan masih significant, setelah variabel tertentu masuk kedalam model maka variabel lain yang ada didalam model dievaluasi,jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan.

Output :

Regression


Variables Entered/Removeda
Model
Variables Entered
Variables Removed
Method
1
x4
.
Stepwise (Criteria: Probability-of-F-to-enter <= .050, Probability-of-F-to-remove >= .100).
2
x1
.
Stepwise (Criteria: Probability-of-F-to-enter <= .050, Probability-of-F-to-remove >= .100).
a. Dependent Variable: y

Model pertama yang diperoleh yaitu dengan memasukkan variabel X4, dan mo-del kedua yang diperoleh yaitu dengan memasukkan variabel X1 dengan tetap memper-tahankan variabel X4. Dari kedua model diperoleh P-value yang sudah signifikan, se-hingga model yang digunakan dalam menggunakan metode stepwise dengan program SPSS yaitu dengan menggunakan variabel prediktor X1 dan X4.

Coefficientsa
Model
Unstandardized Coefficients
Standardized Coefficients
t
Sig.
Collinearity Statistics
B
Std. Error
Beta
Tolerance
VIF
1
(Constant)
117.568
5.262

22.342
.000


x4
-.738
.155
-.821
-4.775
.001
1.000
1.000
2
(Constant)
103.097
2.124

48.540
.000


x4
-.614
.049
-.683
-12.621
.000
.940
1.064
x1
1.440
.138
.563
10.403
.000
.940
1.064
a. Dependent Variable: y

6 comments:

  1. makasih banyak materinya, ini sangat membantu,,

    ReplyDelete
  2. This comment has been removed by the author.

    ReplyDelete
  3. mas mau tanya, makna tanda (-) pada kolom B itu apa ya? apa kalo semakin sedikit jumlah sampel maka nilai B makin besar?

    ReplyDelete
  4. Terimakasih Ilmunya Sangat Membantu Semoga tambah sukses

    ReplyDelete