Resume W5: Analisis Regresi Berganda

1. KONSEP REGRESI LINEAR BERGANDA

Regresi Linear Berganda adalah regresi linier yang menggunakan dua atau lebih variabel bebas (eksogen) untuk meramalkan atau memprediksi satu variabel terikat (endogen). Jadi analisis regresi linier berganda akan dilakukan bila jumlah variabel independennya minimal 2. Model Regresi linier berganda untuk dua variabel bebas dan satu variabel terikat adalah sebagai berikut:

Pada prinsipnya persamaan regresi linier berganda adalah sama dengan persamaan pada regresi linier sederhana, yang membedakan adalah pada persamaan Regresi Linier Berganda jumlah variabel X lebih dari satu. berikut adalah beberapa contoh persamaan Regresi Linier Berganda: 

• Persamaan regresi untuk dua prediktor adalah:  Y = a₀ + a₁X₁ + a₂X₂
• Persamaan regresi untuk tiga prediktor adalah: Y = a₀ + a₁X₁ + a₂X₂+ a₃X₃
• Persamaan regresi untuk n prediktor adalah:  Y = a₀ + a₁X₁ + a₂X₂ + .... + a_nX_n

Jadi, Persamaan regresi linier berganda dari Y terhadap X adalah: 

• Model populasi berganda adalah: Y_i = αn + b₁ X_i + b₂ X₂ + ... + b_n X_n + e_i
• Model penduganya (model sampel) regresi linier adalah: Ý = a + b₁X₁ + b₂X₂ + .... + b_nX_n

Persamaan regresi linier dimaksudkan untuk menjadi alat dalam membuat taksiran dan ramalan keadaan berdasarkan data kejadian dan aktivitas di masa yang lalu. Untukl membuat suatu persamaan Regresi Linier berganda terlebih dahulu dilakukan penelitian atau data laporan periode yang lalu. Berikut ini adalah diuraikan membuat persamaan regresi untuk dua variabel bebas X₁ dan X₂ , satu variabel terikat Y. Koefisien α dan β adalah parameter yang nilainya tidak diketahui, sehingga diduga menggunakan staistik sampel. Nilai a, b₁, dan b₂ akan diperoleh dari tiga persamaan normal berikut:

SY           = a_n + b₁ SX₁ + b₂ SX₂

SX₁Y      = a SX₁ + b₁ SX₁² + b₂SX₁X₂

SX₂Y      = a SX₂ + b₁ SX₁X₂ + b2SX₂²

Koefisien a, b₁, dan b₂ dapat dihitung dengan rumus sebagai berikut:

Nilai dari a, b₁, dan b₂ dari tiga persamaan normal di atas dapat juga dihitung dengan metode matriks. Persamaan normal di atas adalah bentuk sistem persamaannlinier (SPL) yang dapat diselesaikan dengan metode determinan, yaitu menggunakan aturan Crammer.

2. ASUMSI-ASUMSI PADA REGRESI LINIER BERGANDA

Sama dengan semua asumsi pada regresi linier sederhana, dengan tambahan bahwa tidak ada hubungan linier sempurna di antara dua atau lebih variabel bebas (eksogen). Dengan terpenuhinya asumsi maka penduga OLS akan bersifat:

• Linier: fungsi linier dari peubah respons (endogen)
• Tidak bias: nilai harapan penduga adalah nilai parameter
• Konsisten: untuk n→∞, penduga menuju nilai parameter yang sebenarnya, dan ragam penduga →0
• Ragam yang paling kecil di antara semua penduga yang mungkin
• BLUE: Best Linear Unbiased Estimators

3. GOODNESS OF FIT DARI GARIS REGRESI BERGANDA

• R₂ pada regresi linier sederhana tidak dapat dipakai untuk membandingkan dua model dengan jumlah peubah eksogen yang berbeda.
• Ketika jumlah peubah X ditambah, maka proporsi keragaman Y yang terjelaskan oleh X akan selalu meningkat. Dan R₂ akan selalu meningkat seiring jumlah X, tanpa melihat penting tidaknya penambahan X dalam model.
• Digunakan adjusted R₂, karena didalam R₂ tidak dapat melihat apakah variabel yang digunakan sesuai atau tidak, maka digunakanlah adjusted R₂. Adjusted akan disesuaikan terhadap jumlah peubah eksogen X yang digunakan

4. ADJUSTED R²

Dengan penyesuaian terhadap jumlah peubah eksogen:

Adjusted R₂ dapat digunakan untuk memilih model mana yang terbaik berdasarkan jumlah peubah eksogen yang dipakai. Adjusted R₂ terbaik: Adjusted R₂ → 1 

5. BEBERAPA UJI HIPOTESIS PADA REGRESI BERGANDA

1. Uji keberartian koefisien secara individu: Uji T (sama dengan uji t pada kasus regresi linier sederhana)
2. Uji keberartian koefisien secara simultan:

• Uji F: digunakan untuk uji ketepatan model, apakah nilai prediksi mampu menggambarkan kondisi sesungguhnya:
• H₀: Diterima jika F_hitung £ F_tabel
• H₁: Diterima jika F_hitung > F_tabel
• Jika F_hitung > F_tabel maka persamaan regresi dinyatakan baik (good of fit)
• Hipotesis nol: restricted model valid
• Menduga restricted model dan unrestricted model
• Memperoleh JK Galat untuk restricted model dan JK Galat untuk unrestricted model, dan menghitung statistik uji F.

 

• Penggunaan Uji F untuk uji keberartian koefisien peubah X secara bersama-sama:
• Uji goodness fit secara keseluruhan digunakan pada dua model:
• Unrestricted: menggunakan semua peubah eksogen
• Restricted: hanya menggunakan  konstanta (super restricted model)
• R² diperoleh dari model unrestricted. Jika R² → 1 maka F akan bernilai besar/nyata secara statistik. Jika F nyata secara statistik (dari p value), maka terdapat cukup bukti untuk mendukung keberartian model (unrestricted)
• Jika statistik uji F ini nyata maka cukup bukti untuk menolak hipotesis tentang hubungan linier yang ada, selainnya maka hubungan linier dapat diterima

3.  Uji linear restriction: Uji hubungan linier antara dua atau lebih koefisien: Uji F atau Uji Wald             (pengembangan uji t). Uji T digunakan untuk mengatahui pengaruh variabel bebas terhadap                  variabel tergantung.

• H₀: Diterima jika t_hitung £ t_tabel
• H₁: Diterima jika t_hitung > t_tabel

4.  Uji untuk penambahan atau pengurangan peubah eksogen: Uji F atau Uji Chi Square dengan               Likelihood Ratio

5.  Semua uji merupakan perbandingan dari unrestricted model (menggunakan semua peubah                   eksogen) dan restricted model

• Jika perbedaan tidak nyata maka restriction tidak berarti secara statistik.
• Model unrestricted lebih baik digunakan.

__________________________________________________________________________

Sumber tambahan:

1. Sukoco, Agus. "Modul 5: Regresi Linear". Surabaya: Fak. Ekonomi Universitas  Narotama. http://suci-rahma.mhs.narotama.ac.id/files/2013/06/Modul-Regresi-Linear-WEB.pdf
2. Pamungkas, Wihandaru Sotya. "Analisis Regresi Linear". Universitas Muhammadiyah Yogyakarta. http://wihandaru.staff.umy.ac.id/files/2013/08/A11-Pendahuluan-Analisis-Regresi.pdf