Küsimus:
Kas on olemas intuitiivne seletus, miks multikollineaarsus on lineaarse regressiooni probleem?
user28
2010-08-03 03:42:33 UTC
view on stackexchange narkive permalink

Vikis käsitletakse probleeme, mis tekivad siis, kui multikollineaarsus on lineaarse regressiooni probleem. Põhiprobleemiks on multikollineaarsuse tulemus ebastabiilsete parameetrite prognoosides, mis muudab sõltumatute muutujate mõju sõltuvatele muutujatele hindamise väga keeruliseks.

Mõistan probleemide tehnilisi põhjuseid (ei pruugi olla võimalik $ X ümber pöörata 'X $, ebaseaduslik $ X' X $ jne), kuid otsin sellele probleemile intuitiivsemat (võib-olla geomeetrilist?) Seletust.

Kas on olemas geomeetriline või võib-olla mõni muu vorm hõlpsalt arusaadav selgitus, miks on multikollineaarsus lineaarse regressiooni kontekstis problemaatiline?

Tõesti suurepärane küsimus. Parim viis millestki aru saada on mitmekülgne selgitus.
Vaadake ka seotud küsimust ja visuaalset selgitust http://stats.stackexchange.com/q/70899/3277
üheksa vastused:
#1
+97
Rob Hyndman
2010-08-03 03:59:09 UTC
view on stackexchange narkive permalink

Vaatleme lihtsamat juhtumit, kus $ Y $ on taandunud $ X $ ja $ Z $ suhtes ning kus $ X $ ja $ Z $ on väga positiivses korrelatsioonis. Siis on $ X $ mõju $ Y $ -le raske eristada $ Z $ mõjust $ Y $ -le, sest iga $ X $ suurenemine kipub olema seotud $ Z $ suurenemisega.

Teine võimalus seda vaadelda on võrrandi kaalumine. Kui kirjutame $ Y = b_0 + b_1X + b_2Z + e $, siis koefitsient $ b_1 $ on $ Y $ suurenemine iga ühiku suurenemise korral $ X $, hoides samal ajal $ Z $ konstantsena. Kuid praktikas on sageli võimatu hoida $ Z $ konstantsena ja positiivne korrelatsioon $ X $ ja $ Z $ vahel tähendab seda, et $ X $ ühiku suurenemisega kaasneb tavaliselt samal ajal ka $ Z $ mõningane tõus.

Sarnane, kuid keerulisem seletus kehtib ka muude multikollineaarsuse vormide kohta.

+1 Äärmiselt patoloogiline juhtum, kus $ X = Z $ rõhutab seda veelgi. $ Y = b_0 + b_1 X + b_2 Z + e $ ja $ Y = b_0 + (b_1 + b_2) X + 0 Z + e $ ei oleks võimalik eristada.
+1 Mulle meeldib see vastus, sest üks levinumaid abiküsimusi on, miks on siis $ b_1> 0 $ ja $ b_2 <0 $. Järeldused peavad arvestama realistlike sisenditega.
#2
+32
Snackrifice
2010-08-10 13:04:22 UTC
view on stackexchange narkive permalink

Ma sõin korra sushit ja arvasin, et see võib illustreerivaid probleeme hästi intuitiivselt näidata. Oletame, et tahtsite kellelegi lennukit näidata, kasutades selleks kahte pulka, mis nende aluseid puudutasid.

Tõenäoliselt hoiaksite pulgad üksteise suhtes risti. Igasuguse teie käte värisemise mõju lennukis põhjustab selle pisut võnkumist selle ümber, mida lootsite inimestele näidata, kuid pärast mõnda aega jälgimist saavad nad aimu, millist lennukit kavatsesite demonstreerida.

Kuid oletame, et lähete pulkade otsad üksteisele lähemale ja jälgite, kuidas käed värisevad. Selle moodustatud lennuk tõuseb palju metsikumalt. Teie publik peab kauem vaatama, et saada hea ettekujutus sellest, millist lennukit proovite näidata.

+1 Ma arvan, et see vastab küsimusele kõige otsesemalt. Sest kuigi multikollineaarsus mõjutab tõlgendamist. Miks see on probleem, on hindamise stabiilsus.
+1 Selle kommentaari (ja ainult selle kommentaari Stackoverflow ajaloos) postitamiseks kasutajanime Snackrifice alla.
Olen seda kommentaari mitu aastat lugenud arvatavasti kümme korda komistades ja pole ikka veel kindel, mida ütlete.Millisest "lennukist" sa räägid?Mida mõtlete "lennukit, mida kavatsesite demonstreerida?"
#3
+21
ars
2010-08-03 04:26:03 UTC
view on stackexchange narkive permalink

Geomeetrilise lähenemisviisi kohaselt tuleb arvestada $ X $ väikseima ruudu projektsiooniga alamruumi, mille laiendab $ X $.

Oletame, et teil on mudel:

$ E [Y | X] = \ beta_ {1} X_ {1} + \ beta_ {2} X_ {2} $

Meie hinnanguruum on vektorite $ X_ {1} $ ja $ X_ {määratud tasapind 2} $ ja probleem on leida $ (\ beta_ {1}, \ beta_ {2}) $ -le vastavad koordinaadid, mis kirjeldavad vektorit $ \ hat {Y} $, $ Y $ vähemalt ruutude projektsioon see lennuk.

Oletame nüüd, et $ X_ {1} = 2 X_ {2} $, st nad on sirgjoonelised. Seejärel on alamruum, mille määravad $ X_ {1} $ ja $ X_ {2} $, lihtsalt rida ja meil on ainult üks vabaduse aste. Nii et me ei saa kaht väärtust $ \ beta_ {1} $ ja $ \ beta_ {2} $ määrata, nagu meilt küsiti.

Hääletasin juba ammu, kuid teie vastuse uuesti lugemine tuletab mulle meelde, et mulle meeldis alati Christenseni * lennukipõhine vastus keerukatele küsimustele * (http://j.mp/atRp9w).
@chl: lahe, kindlasti kontrollin seda siis. :)
ükski vastus, mis algab sõnaga "arvestage kõige väiksemate ruutudega, mis ulatuvad alamruumi, mille laius on", ei ole intuitiivne.
#4
+14
Charlie
2012-08-20 22:23:47 UTC
view on stackexchange narkive permalink

Kaks inimest lükkavad kivirahnu mäest üles. Sa tahad teada, kui palju igaüks neist surub. Oletame, et jälgite, kuidas nad kümme minutit kokku suruvad ja rahn liigub 10 jalga. Kas esimene tüüp tegi kogu töö ära ja teine ​​lihtsalt võltsis? Või vastupidi? Või 50-50? Kuna mõlemad jõud töötavad täpselt samal ajal, ei saa te kummagi tugevust eraldi eraldada. Kõik, mida saate öelda, on see, et nende kombineeritud jõud on 1 jalg minutis.

Kujutage nüüd ette, et esimene tüüp lükkab ise minut, seejärel üheksa minutit teise tüübiga ja viimane minut on lihtsalt teine ​​tüüp lükkab. Nüüd saate kasutada jõudude hinnanguid esimesel ja viimasel minutil, et iga inimese jõud eraldi välja mõelda. Ehkki nad töötavad endiselt suures osas samal ajal, võimaldab asjaolu, et on natuke erinevusi, saada hinnanguid igaühe jõu kohta.

Kui nägite, et iga mees surus kümme minutit iseseisvalt , mis annaks teile jõudude kohta täpsemad hinnangud kui jõudude suure kattuvuse korral.

Jätan lugejale harjutuse laiendada seda juhtumit ühele ülesmäge ja teisele tõukavale mehele allamäge (see töötab endiselt).

Täiuslik multikoleaarsus takistab jõudude hindamist eraldi; multikolineaarsuse lähedal annab teile suuremad standardvead.

#5
+6
Abhijit
2010-08-04 20:37:41 UTC
view on stackexchange narkive permalink

See, kuidas ma sellest mõtlen, on tegelikult informatsioon. Oletame, et $ X_ {1} $ ja $ X_ {2} $ on mõlemal $ Y $ kohta teavet. Mida rohkem on korrelatsioonis $ X_ {1} $ ja $ X_ {2} $ omavahel seotud, seda rohkem on teabe $ X $ kohta teabe sisu alates $ X_ {1} $ ja $ X_ {2} $ sarnased või kattuvad punkt, et ideaalselt korreleeruvate $ X_ {1} $ ja $ X_ {2} $ puhul on see tõesti sama infosisu. Kui nüüd paneme $ X_ {1} $ ja $ X_ {2} $ samasse (regressioon) mudelisse, et selgitada $ Y $, proovib mudel "jagada" teavet, mis ($ X_ {1} $, $ X_ {2} $) sisaldab mõnevõrra meelevaldselt umbes $ Y $ igale $ X_ {1} $ ja $ X_ {2} $. Päris head viisi selle jaotamiseks pole, sest teabe mis tahes jagunemine viib sellegipoolest, et kogu teave jääb mudelisse ($ X_ {1} $, $ X_ {2} $) (ideaalselt korreleeritud $ X $ jaoks) s, see on tõesti mitte-tuvastatavus). See toob kaasa ebastabiilse individuaalse hinnangu individuaalsete koefitsientide $ X_ {1} $ ja $ X_ {2} $ jaoks, kuigi kui vaadata prognoositavaid väärtusi $ b_ {1} X_ {1} + b_ {2} X_ {2 } $ paljude jooksude ja hinnangute $ b_ {1} $ ja $ b_ {2} $ kohta on need üsna stabiilsed.

#6
+4
Tal Galili
2010-08-03 07:28:37 UTC
view on stackexchange narkive permalink

Minu (väga) võhiku sisetunne on see, et OLS-i mudel vajab X muutuja juures teatud tasemel "signaali", et see tuvastada, annab Y-le "hea" prognoosi. Kui levitatakse sama "signaal" paljude X-de üle (kuna need on korrelatsioonis), siis ei saa ükski korreleeritud X-idest anda piisavalt "tõestust" (statistiline olulisus), et see on tõeline ennustaja.

Eelmised (suurepärased) vastused teevad suur töö selgitamaks, miks see nii on.

#7
+3
Young
2012-08-20 20:24:55 UTC
view on stackexchange narkive permalink

Oletame, et kaks inimest tegid koostööd ja tegid teaduslikke avastusi. Nende ainulaadset panust (kes mida tegi) on lihtne öelda, kui kaks on täiesti erinevad isikud (üks on teoreetiline mees ja teine ​​on hea katsetes), samas kui see on keeruline eristada nende ainulaadseid mõjusid (koefitsiendid regressioonis), kui nad on kaksikud, kes tegutsevad sarnaselt.

#8
+2
Mitch Flax
2010-08-03 07:20:32 UTC
view on stackexchange narkive permalink

Kui kaks regressorit on omavahel korrelatsioonis, on nende koefitsiente võimatu arvutada; on kasulik mõelda, miks neid oleks keeruline tõlgendada kui saaksime neid arvutada . Tegelikult seletab see, miks on raske tõlgendada muutujaid, mis pole omavahel korrelatsioonis, kuid mis pole ka tõeliselt sõltumatud.

Oletame, et meie sõltuv muutuja on New Yorgi päevane kalavarud ja meie sõltumatud muutujad lisage üks selle kohta, kas sellel päeval sajab vihma, ja teine ​​sellel päeval ostetud söödakoguse kohta. Mida me oma andmete kogumisel ei mõista, on see, et iga kord, kui sajab vihma, ei osta kalurid söödaks ja iga kord, kui seda ei tee, ostavad nad pidevalt söödaks. Nii et sööt ja vihm on omavahel korrelatsioonis ja kui regressiooni käivitame, ei saa me nende koefitsiente välja arvutada. Tegelikkuses pole Bait ja Rain ilmselt omavahel korrelatsioonis, kuid me ei tahaks neid mõlemaid regressoritena kaasata, ilma et neid kuidagi endogeensusest puhastaks.

#9
+1
Christoph Hanck
2015-12-30 14:48:19 UTC
view on stackexchange narkive permalink

Ma arvan, et näiv muutuja lõks annab veel ühe kasuliku võimaluse illustreerida, miks multikollineaarsus on probleem. Tuletame meelde, et see tekib siis, kui meil on mudelis konstantne ja täielik komplekt mannekeene. Seejärel summeerib mannekeenide summa ühe, konstantse, nii multikollineaarsuse.

Näiteks mannekeen meestele ja üks naistele:

$$ y_i = \ beta_0 + \ beta_1Man_i + \ beta_2Woman_i + u_i $$

$ \ beta_1 $ on $ Y $ eeldatav muutus, mis tuleneb $ Man_i $ muutmisest 0-st 1-ni. Samamoodi on $ \ beta_2 $ eeldatav muutus $ Y $-s, mis tuleneb $ Woman_i $ -i muutmisest 0-st 1-ni.

Aga mida $ \ beta_0 $ siis peaks esindama ...? See on $ E (y_i | Mees_i = 0, Naine_i = 0) $, seega eeldatav tulemus isikutele, kes ei ole mees ega naine ... on ilmselt ohutu öelda, et praktiliselt kõigi andmekogumite puhul, millega kokku puutute, ei ole kasulik küsimus, mida esitada :-).



See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
Loading...