Küsimus:
Kuidas selgitaksite korrelatsiooni ja kovariantsuse erinevust?
pmgjones
2011-11-08 22:52:04 UTC
view on stackexchange narkive permalink

Selle küsimuse järel kuidas saaksite seletada kovariantsust inimesele, kes saab aru ainult õelusest?, mis käsitleb kovariantsuse selgitamist võhikule, tõi minu meelest üles sarnase küsimuse. .

Kuidas seletaks statistilisele neofüütile erinevust kovariantsuse ja korrelatsiooni vahel? Tundub, et mõlemad viitavad muutuja muutumisele, mis on lingitud tagasi teise muutujaga.

Sarnaselt viidatud küsimusele oleks eelistatav valemite puudumine.

Kuus vastused:
Nick Sabbe
2011-11-09 01:20:53 UTC
view on stackexchange narkive permalink

Kovariantside probleem seisneb selles, et neid on raske võrrelda: kui arvutate kõrguste ja raskuste komplekti kovariantsid, väljendatuna (vastavalt) meetrites ja kilogrammides, saate selle erinevalt, kui teete seda muud üksused (mis tekitab juba probleeme inimestele, kes teevad sama asja meetrilise süsteemiga või ilma!), kuid ka seda on raske öelda, kas (nt) pikkus ja kaal on "kovariaalselt rohkem" kui, näiteks öelge oma pikkus varbad ja sõrmed lihtsalt sellepärast, et kovariatsiooni „skaala” on erinev.

Selle lahendus on kovariantsuse „normaliseerimine“: jagate kovariantsuse millegagi, mis esindab mõlemad kovariaadid ja jõuavad väärtuseni, mis on kindlalt vahemikus -1 kuni 1: korrelatsioon. Ükskõik millises üksuses teie algsed muutujad olid, saate alati sama tulemuse ja see tagab ka selle, et saate teatud määral võrrelda, kas kaks muutujat 'korreleeruvad' rohkem kui kahega, lihtsalt võrreldes nende korrelatsiooni.

Märkus: ülaltoodu eeldab, et lugeja mõistab juba kovariantsuse mõistet.

+1 Kas mõtlesite viimasesse lausesse kirjutada "kovariantsuse" asemel "korrelatsioon"?
Kas olete kindel, et ei saa kovariatsioone võrrelda erinevate üksustega? Ühikud läbivad kovariatsiooni korrutatuna - kui teie X on cm ja teie Y on s, siis teie $ cov (X, Y) = z \ cm \ cdot s $. Ja siis saate tulemuse lihtsalt korrutada ühiku teisendusteguriga. Proovige seda R-s: "cov (autod $ kiirus, autod $ dist) == cov (autod $ kiirus / 5, autod $ dist / 7) * (7 * 5)"
@naught101 Ma arvan, et asi on selles, et kui ma ütleksin teile, et $ \ mbox {Cov} (X, Y) = 10 ^ 10 $ ja mitte midagi muud, poleks teil aimugi, kas $ X $ ennustab dollarit $ Y $ tugevalt või mitte, samas kui ma ütleksin, et sa $ \ mbox {Cor} (X, Y) =, 9 $, oleks sul midagi veidi tõlgendatavamat.
@guy: See oleks Kovariandid * ilma * ühikuteta: P Ma arvan, et oluline on see, et kahe erineva dispersiooniga andmekogumi kovariante ei saa lihtsalt võrrelda. Näiteks kui teil on seos B = 2 * A ja kaks andmekogumit {A1, B1} ja {A2, B2}, kus A1 dispersioon on 0,5 ja A2 on 2, siis $ cov ( A2, B2) $ on palju suurem kui $ cov (A1, B1) $, kuigi suhe on täpselt sama.
Nii et lihtsustatult korrelatsioon> kovariantsus
Nii et korrelatsioon on normaliseeritud kovariantsus?
Mis on kovariantsuse kasutamise juhtum?
Andy W
2011-11-09 02:22:26 UTC
view on stackexchange narkive permalink

Seda tüüpi küsimuste nõuded tunduvad mulle pisut veiderdavad. Siin on matemaatiline mõiste / valem, kuid siiski tahan sellest rääkida mõnes kontekstis, kus pole täielikult matemaatilisi sümboleid. Ma arvan ka, et tuleks öelda, et valemite mõistmiseks vajalikku tegelikku algebrat tuleks minu arvates õpetada enamusele üksikisikutest enne kõrgharidust (maatriksalgebra mõistmine pole vajalik, piisab lihtsalt lihtsast algebrast).

Niisiis, selle asemel, et valemit täielikult ignoreerida ja sellest rääkida mingites maagilistes ja heuristilistes analoogiatüüpides, laseb lihtsalt vaadata valemit ja proovida üksikuid komponente väikeste sammudega selgitada. Kovariantsuse ja korrelatsiooni erinevus valemite vaatlemisel peaks selguma. Analoogiate ja heuristikaga rääkides kahtlustan, et see segaks kaht suhteliselt lihtsat mõistet ja nende erinevusi paljudes olukordades.

Alustame siis valemiga kovariantsi näidis (need olen just võtnud ja kasutanud vikipeedias);

$ \ frac {1} {n-1} \ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) (y_i- \ bar {y}) $

Kõigi kiiremaks muutmiseks laske määratlege selgesõnaliselt kõik valemi elemendid ja toimingud.

  • $ x_i $ ja $ y_i $ on mõlemad sama vaatluse kahe eraldi atribuudi mõõtmised
  • $ \ bar { x} $ ja $ \ bar {y} $ on iga atribuudi keskmine (või keskmine).
  • $ \ frac {1} {n-1} $ puhul saab öelda, et see tähendab, et jagame lõpptulemus $ {n-1} $ võrra.
  • $ \ sum_ {i = 1} ^ {n} $ võib olla mõne jaoks võõras sümbol, seega oleks tõenäoliselt kasulik seda toimingut selgitada. See on lihtsalt kõigi $ i $ eraldi vaatluste summa ja $ n $ tähistab vaatluste koguarvu.

Siinkohal tooksin sisse lihtsa näite, et nii-öelda elementidele ja toimingutele nägu panna. Näiteks laseb lihtsalt koostada tabeli, kus iga rida vastab vaatlusele (ja $ x $ ja $ y $ on asjakohaselt märgistatud). Tõenäoliselt muudaks need näited konkreetsemaks (nt öelge, et $ x $ tähistab vanust ja $ y $ tähistab kaalu), kuid meie siinse arutelu jaoks ei tohiks see oluline olla.

  x y --- 2 54 89 35 60 8  

Kui tunnete, et valemi summaarset toimingut ei pruugi veel täielikult mõista, saate selle uuesti märksa lihtsamas kontekstis sisse viia. Öelge lihtsalt, et $ \ sum_ {i = 1} ^ {n} (x_i) $ on sama mis selles näites öeldud;

  x - 2 4 9 5+ 0 - 20  

Nüüd tuleks see segadus klaarida ja saame liikuda valemi teise osa, $ (x_i- \ bar {x}) (y_i- \ bar { y}) $. Eeldades, et inimesed juba teavad, mida see tähendab, $ \ bar {x} $ ja $ \ bar {y} $ tähistavad, ja ma ütleksin, et olles silmakirjalik omaenda postituse varasemate kommentaaride suhtes, võib lihtsalt viidata keskmine lihtsa heuristika mõttes (nt jaotuse keskosa). Seejärel saab selle protsessi lihtsalt ühe toimingu kaupa teha. Lausel $ (x_i- \ bar {x}) $ uuritakse lihtsalt iga vaatluse vahelisi kõrvalekaldeid / kaugust ning kõigi selle konkreetse atribuudi kõigi vaatluste keskmist. Seega, kui vaatlus on keskmisest kaugemal, antakse sellele toimingule suurem väärtus. Seejärel võib viidata toodud tabelile ja lihtsalt näidata toimingut vaatluste vektoril $ x $.

  x x_bar (x - x_bar) 2 4 -24 4 09 4 55 4 10 4 -4  

Operatsioon on vektoriga $ y $ sama, kuid lihtsalt tugevdamiseks võite ka selle toimingu esitada.

  y y_bar (y - y_bar) 5 6 -18 6 23 6 -36 6 08 6 2  

Nüüd ei tohiks terminid $ (x_i- \ bar {x}) $ ja $ (y_i- \ bar {y}) $ olla mitmetähenduslikud ning võime minna järgmise toimingu juurde, korrutades need tulemused kokku $ (x_i- \ bar {x}) \ cdot (y_i- \ bar {y}) $. Nagu gung kommentaarides välja toonud, nimetatakse seda sageli ristproduktiks (võib-olla kasulik näide selle kohta, kui statistikat tutvustada põhimaatriksalgebrat).

Pange tähele, mis juhtub korrutamisel, kui kaks vaatlust on mõlemad keskmisest suure vahemaa kaugusel, on saadud vaatlusel veelgi suurem positiivne väärtus (sama kehtib ka siis, kui mõlemad vaatlused jäävad keskmisest suurele kaugusele, kuna kahe negatiivi korrutamine võrdub positiivsega). Pange tähele ka seda, et kui üks tähelepanek on keskmisest kõrgemal ja teine ​​keskmisest kõvasti madalam, on saadud väärtus suur (absoluutarvudes) ja negatiivne (kui positiivne kord on negatiivne võrdne negatiivse arvuga). Lõpuks pange tähele, et kui väärtus on kummagi vaatluse keskmise lähedal, annab kahe väärtuse korrutamine väikese arvu. Jällegi saame selle toimingu lihtsalt tabelis esitada.

  (x - x_bar) (y - y_bar) (x - x_bar) * (y - y_bar) -2 -1 2 0 2 0 5 -3 -15 1 0 0-4 2 -8  

Kui ruumis on statistikuid, peaksid nad selles hetkes ootusärevusega keema. Näeme, kuidas mängu tulevad kõik eraldiseisvad elemendid, mis on kovariantsus ja kuidas see arvutatakse. Nüüd peame vaid kokku võtma eelmise tabeli lõpptulemuse, jagama $ n-1 $ ja voila ga, kovariantsus ei tohiks enam olla müstiline (kõik koos ainult ühe kreeka sümboli määratlemisega) .

  (x - x_bar) * (y - y_bar) ----------------------- 2 0-15 0 + -8 ----- -21-21 / (5-1) = -5.25  

Siinkohal võiksite tugevdada seda, kust 5 pärineb, kuid see peaks olema nii lihtne, kui viidata tagasi tabelile ja lugeda vaatluste arv (jätab valimi ja populatsiooni vahe taas teisele ajale) .

Nüüd ei ütle kovariantsus iseenesest meile kuigi palju (võib küll, kuid siinkohal on mõttetu käsitleda huvitavaid näiteid, ilma et kasutataks maagiliselt määratlemata viiteid publikule). Hea stsenaariumi korral ei pea te tegelikult müüma, miks me peaksime hoolima sellest, milline on kovariantsus, muudel asjaoludel peate võib-olla lihtsalt lootma, et teie publik on vangistatud ja võtate selle eest sõna. Kuid jätkates kovariantsuse ja korrelatsiooni erinevuse väljatöötamist, võime lihtsalt viidata korrelatsioonivalemile. Kreeka sümbolfoobia vältimiseks öelge lihtsalt korrelatsiooni tähistamiseks tavaline sümbol $ \ rho $.

$ \ rho = \ frac {Cov (x, y)} {\ sqrt {Var (x) Var (y)}} $

Kordamiseks on jällegi, et eelmises valemis olev lugeja on lihtsalt kovariants, nagu me just määratlesime, ja nimetaja on ruutjuur toote variatsioon iga üksiku sarja kohta. Kui peate ise dispersiooni määratlema, võiksite lihtsalt öelda, et dispersioon on sama asi kui seeria kovariantsus iseendaga (st $ Cov (x, x) = Var (x) $). Ja kehtivad kõik samad mõisted, mille kovariantsusega tutvustasite (st kui seerial on palju väärtusi keskmisest kaugel, on sellel suur dispersioon). Võib-olla märkige siin, et seerial ei saa olla ka negatiivset dispersiooni (mis peaks loogiliselt tulenema varem esitatud matemaatikast).

Nii et ainsad uued komponendid, mille oleme kasutusele võtnud, on nimega $ Var (x) Var (y) $. Niisiis jagame äsja arvutatud kovariantsuse iga seeria dispersioonide korrutisega. Võib käsitleda seda, miks jagamine $ \ sqrt {Var (x) Var (y)} $ -ga annab alati väärtuse vahemikus -1 kuni 1, kuid kahtlustan, et Cauchy – Schwarzi ebavõrdsus tuleks jätta selle arutelu päevakord. Nii et jällegi olen silmakirjalik ja kasutan mõnda, võtan sõna , kuid siinkohal võime tutvustada kõiki põhjuseid, miks me korrelatsioonikordajat kasutame. Seejärel võib need matemaatikatunnid seostada heuristikaga, mis on antud teistes väidetes, näiteks Peter Flomi vastus ühele teisele küsimusele. Kuigi seda kritiseeriti mõiste juurutamiseks põhjuslike väidete osas, peaks ka see õppetükk mingil hetkel päevakorda võtma.

Mõistan, et teatud tingimustel ei oleks selline ravitase asjakohane. Senat vajab kokkuvõtet . Sel juhul võite viidata lihtsatele heuristikatele, mida inimesed on teistes näidetes kasutanud, kuid Roomat ei ehitatud ühe päevaga. Ja senatile, kes soovib kokkuvõtet, kui teil on nii vähe aega, peaksite võib-olla lihtsalt minu sõna võtma ja loobuma analoogiate ja kuulipunktide formaalsustest.

Nõustun täielikult arvamusega, et küsimus jääb kuidagi selle foorumi eesmärgist välja. Kovariantsuse määratlus kui $$ \ text {cov} (X, Y) = \ mathbb {E} [(X- \ mathbb {E} [X]) (Y- \ mathbb {E} [Y])] $ $ on kõige selgem selgitus, mida saab pakkuda. See kasutab ainult ootuse mõistet. Valemi vältimine viib tingimata mittetäielike ja potentsiaalselt eksitavate versioonideni. Ja see ei saa pakkuda lugejale meest kovariantsuse / korrelatsiooni arvutamiseks uues olukorras. Pole parim viis loendamatuse vastu võitlemiseks.
+1, see on üsna hea. Ma ei oleks kontseptuaalsete tutvustuste suhtes siiski nii kriitiline. Olen töötanud inimestega, kellel on piisavalt matemaatikaärevust, et valemi näitamine kaotab need tõenäoliselt. Tavaliselt kiirendan neid 1. intuitsiooniga ja seejärel kõnnin matemaatika lihtsalt ja põhjalikult läbi (palju nagu siin) * pärast *. Nii õpivad nad lihtsalt seda, kuidas matemaatika esindab seda, mida nad juba teavad, ja kui nad vaimselt langevad, õppisid nad ikkagi suured ideed. Puutujana töötan ma Exceli matemaatika abil, mis on minu arvates selle jaoks väga hea.
Paar nippi (vabandust): jagate oma ülemises võrrandis $ N $ -ga, kuid arutate seejärel (õigesti) seotud täpppunktis jagamist $ N-1 $ -ga; Võin märkida, et $ (x_i- \ bar {x}) (y_i- \ bar {y}) $ nimetatakse "ristproduktiks"; kuna olete rääkinud * valimi * kovariantsusest, siis kui jõuate korrelatsioonini, siis võin vahele jätta asjad $ \ rho $ ja lihtsalt kasutada $ r $; lõpuks arvutatakse korrelatsioon kovariantsist, skaleerides seda * SD-de *, mitte variatsioonide suhtes, vt [siin] (http://mathworld.wolfram.com/Covariance.html).
Tänud @gung, muutsin esimese valemi trükiviga ja seejärel võtsin korrelatsiooni jaoks korrutatud dispersioonide ruutjuure (selle asemel, et määratleda standardhälvet). Kasutades rho versus teist sümbolit, ei tunne ma end mõlemal juhul liiga tugevalt. Kui ma õpetaksin ja mul oleks õpik, tahaksin tõenäoliselt lihtsalt tekstiga vastavusse viia. Loodetavasti ei põhjusta veel üks kreeka sümbol kaost!
Ma olen nõus, et ma ei peaks nii kriitiline olema (ma arvan, et mul oli alatu tuju, kui seda algselt kirjutasin). Kuigi ma ütleksin, et sellised otseteede taotlused ei võimalda tegelikult muud kui pealiskaudset mõistmist. Kindlasti on selle saavutamine keeruline. Olen nõus ka matemaatika käsitsi (või exceliga) tegemine on õppimiseks kasulik vahend, vähemalt minu jaoks mitte matemaatik.
Ma ei muretseks selle pärast, sa oled väga abiks kellelegi, kes on rõvedas tujus. Ma polnud kindel, kas lugeda seda vastust naerdes või mitte. Minu jaoks oleks ilmselt parem, kui suudaksin meeles pidada, et sellised seletused on paljudele inimestele vajalikud.
Kui ma saaksin teie vastust 100 korda hääletada, siis oleksin.Milline kohutavalt selge seletus!
Miks kasutate kahte erinevat sümbolit $ N $ ja $ n $, mis peaks olema sama asi?
Jah, sul on õigus, Alex, need peaksid olema sama sümbol.
"(x - x_bar) * (y - y_bar)" on punkt-korrutis.
Tegelikult pole sellel vastusel seletust kovariantsusele, kui peaksin valima kovariantsuse korrelatsiooni asemel või muul viisil, mis vahe on kovariantsusel vs korrelatsioonil, kovariantsuse intuitiivsel seletusel ja korrelatsioonil, kust see fomula pärineb.See on lihtsalt näidisvalem ja selgitage, kuidas seda arvutada.
D Dawg
2015-11-15 06:59:04 UTC
view on stackexchange narkive permalink

Korrelatsioon (r) on teie muutujate (x & y) kovariantsus (cov) jagatud (või teisisõnu korrigeeritud) nende kõigi standardhälvetega ($ \ sqrt {Var [x] Var [y] } $).

See tähendab, et korrelatsioon on lihtsalt kovariantsuse esitus, mistõttu tulemus peab jääma vahemikku -1 (täiesti pöördvõrdelises korrelatsioonis) +1 ja +1 (täiesti positiivselt korrelatsioonis), märkides, et nullilähedane väärtus tähendab, et kaks muutujat on korreleerimata.

Kovariantsus on piiramatu ja teiste kovariatsioonidega võrreldes puudub kontekst. Kovariandide korrelatsiooniks normaliseerimine / kohandamine / standardiseerimine võimaldab andmekogumeid lihtsamalt võrrelda.

Nagu võite ette kujutada, on statistikat (näiteks kovariantsust) võimalik normaliseerida / standardiseerida mitmel viisil. Korrelatsiooni ja kovariantsuse vahelise seose matemaatiline valem peegeldab lihtsalt tavastatistikute kasutust (nimelt kohandamist vastavalt nende standardhälvetele):

$$ r = \ frac {cov (x, y)} {\ sqrt {Var [x] Var [y]}} $$

user31180
2013-12-20 05:26:45 UTC
view on stackexchange narkive permalink

Kui olete tsentreerimise ja standardiseerimise ideega tuttav, on x-xbar keskendama x selle keskmesse. Sama kehtib ka y kohta. Nii et kovariantsus lihtsalt koondab andmed. Korrelatsioon aga mitte ainult ei tsentreeri andmeid, vaid ka skaleerib standardhälvet (standardiseeri). Korrutamine ja liitmine on kahe vektori punkt-korrutis ja see näitab, kui paralleelselt need kaks vektorit üksteisega võrdlevad (ühe vektori projektsioon teisele). (N-1) jagamine või eeldatava väärtuse võtmine toimub vaatluste arvu skaalal. Mõtted?

Karl Morrison
2015-07-30 02:49:08 UTC
view on stackexchange narkive permalink

Niipalju kui olen sellest aru saanud. Korrelatsioon on kovariantsuse "normaliseeritud" versioon.

Nagu [paljud postitused kinnitavad] (http://stats.stackexchange.com/search?q=normalize), on "normaliseerimine" palju erinevaid tähendusi.Kumba te kasutate?
Nagaraj
2012-03-26 21:42:06 UTC
view on stackexchange narkive permalink

Korrelatsioon on vahemikus -1 kuni +1, sõltuvalt sellest, kas korrelatsioon on positiivne või negatiivne, ja mõõtmeteta. Kovariantsus on aga kahe sõltumatu muutuja puhul nullist kuni Var (X) -ni juhul, kui need kaks andmekogumit on võrdsed. COV (X, Y) ühikud on X ühikud ja Y ühikud.

Kovariants võib olla negatiivne, nii et see ei ole piiratud punktiga 0. Samuti on minu jaoks ebaselge, mida te mõtlete oma viimase lause all: "COV (X, Y) ühikud on X ühikud ja Y ühikud." , kas soovite täpsustada?
Kas @AndyW ei ole ühikud määratlusest selged? $ \ operaatori nimi {Cov} (X, Y) = \ operaatori nimi {E} {\ suur [(X - \ operaatori nimi {E} [X]) (Y - \ operaatori nimi {E} [Y]) \ suur]} $ . Ootuseoperaator on vaid kaalutud keskmine X / Y väärtustest ja ühikud läbivad selle.
@naught101, Üksused läbivad? Minu esialgne kommentaar Nagarajile pidi tekitama täiendavat selgust, kuna mitmetähenduslikud avaldused, nagu ma tsiteeriksin, minu väitel ei ole kellelegi kasulik. Niisiis, miks ei saa me kovariantsust tõlgendada kui "x ühikuid korrutatuna y ühikutega", sest see pole see, mis see on. Potentsiaalselt õigem väide (valimi kovariantsuse korral) oleks see "* keskmiste kõrvalekallete ** ** korrutiste keskmine". jätk ...
Nüüd ei ole keskmised kõrvalekalded kindlasti samad kui algsed ühikud ja kovariantsist tulenev statistika ei sõltu lihtsalt algsete omaduste keskmisest ja variatsioonist. Kovariantsus iseenesest ei ütle teile midagi, teadmata algsete omaduste erinevust.


See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 3.0-litsentsi eest, mille all seda levitatakse.
Loading...