Küsimus:
Miks pole tugev (ja vastupidav) statistika asendanud klassikalisi tehnikaid?
doug
2010-08-03 12:49:34 UTC
view on stackexchange narkive permalink

Äriprobleemide lahendamisel andmete abil on tavaline, et vähemalt üks peamine eeldus, et klassikalise statistika aluspinnad on valed. Enamasti ei viitsi keegi neid eeldusi kontrollida, nii et te ei tea seda kunagi.

Teine näide veebikogukondadest - isegi tuhandete liikmetega kogukondades - on hästi dokumenteeritud, et ülekaalukalt suurim osa panusest / osalemisest paljudes neist kogukondadest on seotud ülimalt panustajate vähese rühmaga. (Näiteks mõni kuu tagasi, just pärast seda, kui SO API oli beetaversioonis kättesaadavaks tehtud, avaldas StackOverflow liige lühianalüüsi API kaudu kogutud andmete põhjal; tema järeldus - vähem kui üks protsent SO liikmetest moodustab suurema osa SO s toimuvast tegevusest (eeldatavasti küsimuste esitamine ja neile vastamine), ülejäänud 1-2% moodustas ülejäänud osa ja valdav enamus liikmetest ei tee midagi).

Selliseid jaotusi - jällegi sagedamini reeglit kui erandit - modelleeritakse sageli kõige paremini võimsusseaduse tihedusfunktsiooniga. Seda tüüpi jaotuste puhul on isegi keskse piiri teoreemi rakendamine problemaatiline.

Arvestades analüütikute huvipakkuvate populatsioonide rohkust ja arvestades, et klassikalised mudelid toimivad nende andmetega selgelt halvasti, ja arvestades et kindlaid ja vastupidavaid meetodeid on juba mõnda aega (usun vähemalt 20 aastat) - miks neid ei kasutata sagedamini? (Samuti mõtlen, miks ma ei kasuta neid sagedamini, kuid see pole tegelikult küsimus CrossValidated.)

Jah, ma tean seda on õpikute peatükke, mis on täielikult pühendatud usaldusväärsele statistikale ja tean, et on (vähe) R-pakette ( robustbase on see, mida ma tunnen ja kasutan) jne.

Ja arvestades nende tehnikate ilmseid eeliseid, on need sageli töö jaoks paremad tööriistad - miks neid ei kasutata palju sagedamini ? Kas me ei peaks eeldama, et võrreldes klassikaliste analoogidega kasutatakse tugevat (ja vastupidavat) statistikat palju sagedamini (võib-olla isegi eeldatavalt)?

Ainus sisuline (st tehniline) selgitus, mida olen kuulnud, on see, et see on tugev tehnikatel (samuti resistentsete meetodite puhul) puudub klassikaliste tehnikate jõud / tundlikkus. Ma ei tea, kas see on mõnel juhul tõsi, aga ma tean, et see ei ole paljudel juhtudel tõsi.

Viimane eelsõna: jah, ma tean, et sellel küsimusel ei ole ühtegi tõendatavat küsimust õige vastus; väga vähesed küsimused sellel saidil teevad. Pealegi on see küsimus tõeline uurimine; see ei ole ettekääne vaatenurga edendamiseks - mul pole siin vaatepunkti, lihtsalt küsimus, millele loodan saada mõistuspäraseid vastuseid.

Nassim Nicholas Talebi must Swann selgitab, miks finantsmaailmas on kasutatud lihtsaid mudeleid ja millised ohud see on kaasa toonud. Konkreetne viga on väga madalate tõenäosuste võrdustamine nulliga ja normaaljaotuse pimesi rakendamine riskijuhtimisel!
Paljudele eeldustele tuginevad testid on võimsamad, kui need eeldused on täidetud. Hälbe olulisuse testimiseks võime eeldada, et vaatlused on IID Gaussi väärtused, mis annab statistikana keskmise. Vähem piirav eelduste kogum käsib kasutada mediaani. Võime minna kaugemale ja eeldada, et vaatlused on veelgi tugevama tulemuse saavutamiseks korrelatsioonis. Kuid iga samm vähendab meie testi jõudu ja kui me ei tee üldse mingeid eeldusi, on meie test kasutu. Tugevad testid teevad kaudselt oletusi andmete kohta ja on paremad kui klassikalised ainult siis, kui need eeldused sobivad tegelikkusega paremini
Neliteist vastused:
#1
+69
John D. Cook
2010-08-03 17:22:58 UTC
view on stackexchange narkive permalink

Teadlased soovivad väikseid p-väärtusi ja väiksemate p-väärtuste saate, kui kasutate meetodeid, mis teevad tugevamaid jaotamise eeldusi. Teisisõnu, mittetöötavad meetodid võimaldavad teil avaldada rohkem artikleid. Muidugi võib rohkem nendest dokumentidest olla valepositiivne, kuid väljaanne on väljaanne. See on küüniline seletus, kuid mõnikord kehtib see.

"mõnikord" on alahinnatud ... autorite loogika ei ole sageli nii otsene, kuid stiimuli / tasu stsenaarium on selline, et inimesed teevad seda tingimusena
Ma ei ole teadlased nii ebaausad kui käituvad teadmatusest. Nad ei saa aru, mida statistika tähendab või milliseid eeldusi nad vajavad, kuid nagu ütlesite, mõistavad nad stiimulit / tasu selgelt: p> 0,05 => pole avaldatud.
Samuti peate esitama midagi, millest "võimul olijad" (otsustajad, juhendajad, retsensendid) aru saavad. Seetõttu peab see olema tavakeeles, mis areneb üsna aeglaselt, kuna need inimesed kipuvad olema vanemad ja muutustele vastupidavamad, paljuski, kuna see võib nende senise karjääri kehtetuks muuta!
Hea tähelepanek. "Ma saan p-väärtustest aru. Andke mulle lihtsalt p-väärtus." Irooniline, et nad ilmselt ei mõista * väärtusi, kuid see on teine ​​asi.
Ma ei usu, et see on kategooriliselt tõsi. Vähemalt olen kuulnud, et tänapäevased mitteparameetrid ohverdavad sageli väga vähe jõudu, kui üldse. AFAIK, võimsuse kadu on kõige selgem testides, mis hõlmavad auaste teisendusi, mis on raskete meetodite seas peaaegu kõikjal levinud.
#2
+43
conjugateprior
2010-10-28 23:14:53 UTC
view on stackexchange narkive permalink

Nii et klassikalised mudelid (mis iganes need ka pole - eeldan, et mõtlete midagi sellist, nagu lihtsad mudelid, mida õpetatakse õpikutes ja mida ML on hinnanud) ebaõnnestuvad mõnes, võib-olla paljudes reaalse maailma andmekogumites.

Kui mudel ebaõnnestub, on selle parandamiseks kaks põhilist lähenemist:

  1. tehke vähem oletusi (vähem mudelit)
  2. tehke rohkem oletusi (rohkem mudel)

Tugev statistika, kvaasitõenäosus ja GEE lähenemisviisid on esimene lähenemisviis, muutes hindamisstrateegia selliseks, kus mudel ei kehti kõigi andmepunktide jaoks (kindel) või ei pea seda tegema iseloomustada andmete kõiki aspekte (QL ja GEE).

Alternatiiv on proovida ehitada mudel, mis modelleerib sõnaselgelt saastavate andmepunktide allikat või algse mudeli aspekte, mis näivad olevat valed, hoides samal ajal hinnangumeetodit nagu varem.

Mõni eelistab esimest intuitiivselt (see on eriti populaarne majandusteaduses) ja mõni intuitiivselt teist (see on eriti populaarne bayeslaste seas, kes kipuvad keerukamate mudelite üle õnnelikumad olema, eriti kui nad saavad aru, et lähevad kasutada järelduste tegemiseks nagunii simulatsioonivahendeid).

Rasvasabaga jaotuseeldused, nt. kasutades pigem negatiivset binoomi kui poissoni või t kui normaalset, kuuluvad teise strateegiasse. Enamik asju, mis on tähistatud „kindla statistikaga”, kuuluvad esimesse strateegiasse.

Praktiliselt näib realistlikult keeruliste probleemide jaoks esimese strateegia hinnangute tuletamine olevat üsna keeruline. Mitte et see oleks põhjus, miks seda ei tehta, kuid see on ehk selgitus, miks seda väga sageli ei tehta.

+1. Väga hea seletus. Ma arvan ka, et mõned "tugevad" meetodid on pigem ad hoc (kärbitud vahendid) ja et "jõuline" on seotud meetodi konkreetse aspektiga ja ei ole üldine omadus, kuid paljud inimesed tõlgendavad "jõulist" tähendusega "ma ei taha" ei pea minu andmete pärast muretsema, kuna minu meetod on kindel ".
Suurepärane vastus. Mind häirib, et nii paljud vastused keskenduvad usaldusväärse statistika mõistmise raskustele või eelduste rikkumise eiramise stiimulitele. Nad eiravad [inimesi seal] (http://www.tandfonline.com/doi/abs/10.1198/000313006X152207), kes teavad, et on juhtumeid, kus vajatakse põhjalikku statistikat ja millal mitte.
#3
+29
csgillespie
2010-08-03 22:03:59 UTC
view on stackexchange narkive permalink

Ma pakun, et see on õppetöö mahajäämus. Enamik inimesi õpib statistikat kas ülikoolis või ülikoolis. Kui statistika pole teie esimene kraad ja selle asemel on matemaatika või informaatika kraad, hõlmate tõenäoliselt ainult põhistatistika mooduleid:

  1. tõenäosus
  2. hüpoteeside testimine
  3. Regressioon

See tähendab, et probleemiga silmitsi seistes proovite probleemi lahendamiseks kasutada seda, mida teate.

  • Andmed pole normaalsed - võtke logisid.
  • Andmetel on tüütud kõrvalised tunnused - eemaldage need.

Kui te just millegi otsa ei komista. muidu, siis on raske midagi paremat teha. Google'i kasutamine on tõesti raske, et midagi leida, kui te ei tea, kuidas seda nimetatakse!

Ma arvan, et kõigi tehnikate puhul võtab veidi aega, enne kui uuemad tehnikad filtreeritakse. Kui kaua võttis standardhüpoteesitestide võtmine osa standardsest statistika õppekavast?

BTW, statistikakraadiga jääb õpetamine ikkagi hiljaks - vaid lühem!

Kuid see tõstatab vähemalt psühholoogias huvitava pedagoogilise probleemi, sest minu teada ei aruta enamus minu valdkonnas kasutatavaid sissejuhatavaid statistikaraamatuid jõulistest meetmetest, kui kõrvale jätta.
See on väga tõsi ja ka psühholoogias on tüütu segadus mitteparameetriliste ja ebatavaliste vahel, mis näib takistavat mõistmist.
Mõned meist psühholoogidest on kõiges statistilises segaduses! :)
#4
+21
Wesley Burr
2010-08-06 08:06:42 UTC
view on stackexchange narkive permalink

Igaüks, kes on mõistliku taseme statistilise andmeanalüüsi alal õppinud, kasutab tugeva statistika kontseptsioone regulaarselt. Enamik teadlasi teab piisavalt, et otsida tõsiseid kõrvalekaldeid ja andmete salvestamise vigu; kahtlaste andmepunktide eemaldamise poliitika ulatub juba 19. sajandisse Lord Rayleigh, G.G. Stokes ja teised nende vanused. Kui küsimus on järgmine:

Miks ei kasuta teadlased asukoha, skaala, regressiooni jms hinnangute arvutamiseks kaasaegsemaid meetodeid?

siis Vastus on toodud eespool - meetodid on suures osas välja töötatud viimase 25 aasta jooksul, näiteks 1985 - 2010. Uute meetodite õppimise viivitus mõjutab nii inertsit kui ka müüti, et pimedas kasutamises pole midagi halba klassikalised meetodid. John Tukey kommenteerib, et just see, milliseid robustseid / vastupidavaid meetodeid te kasutate, pole oluline - oluline on see, et mõnda kasutate. On täiesti õige kasutada rutiinselt nii klassikalisi kui ka vastupidavaid / vastupidavaid meetodeid ja muretseda ainult siis, kui need on olulised. Kuid kui need erinevad , peaksite mõtlema raske <.>

Kui selle asemel on küsimus:

Miks teadlased ei peatu ja ei esita küsimusi oma andmete kohta, selle asemel, et kasutada pimesi väga ebastabiilseid hinnanguid?

siis taandub vastus tegelikult koolitusele. Liiga palju on teadlasi, keda pole kunagi statistikas korralikult koolitatud, kokku võttes üldine tuginemine p-väärtustele kui statistilise olulisuse kõikidele ja lõpp-punktidele.

@Kwak: Huber hinnangud 1970. aastatest on jõulised, selle sõna klassikalises tähenduses: nad peavad vastu väljapoole jäävatele. Ja vähenevad hinnangud pärinevad tegelikult tükk aega enne 1980. aastaid: Princetoni vastupidavuse uuring (1971. aasta) sisaldas kahepoolset asukoha hinnangut, vähendavat hinnangut.

http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1043351251Vabalt saadaval Peter Huberi kirjutatud dokument John Tukey panuse kohta usaldusväärsesse statistikasse. Mõistlikult hõlpsasti loetav, valemitele kerge.
#5
+20
Carlos Accioly
2010-08-04 01:26:23 UTC
view on stackexchange narkive permalink

Statistika on mittestatistiliselt meelestatud teadlaste tööriist ja neid lihtsalt ei huvita.

Üritasin kunagi aidata meditsiiniartikliga, mille endine naine oli kaasautor. Kirjutasin mitu lehte, kirjeldades andmeid, mida see soovitas, miks teatud tähelepanekud olid uuringust välja jäetud ... ja juhtivteadur, arst, viskas selle kõik minema ja palus kellelgi arvutada p-väärtus, mis on kõik, mida ta (ja peaaegu kõik, kes artiklit loeksid) hoolisid.

#6
+12
robin girard
2010-08-03 14:05:57 UTC
view on stackexchange narkive permalink

Annan vastuse kahes suunas:

  1. tugevatele asjadele ei pea tingimata tugevat silti lisama. Kui usute, et vastupidavus kõige vastu on olemas, olete naiivne.
  2. Statistilised lähenemisviisid, mis jätavad vastupidavuse probleemi, ei ole mõnikord kohandatud reaalsele maailmale, kuid on sageli väärtuslikum (kontseptsioonina) kui kööginurgaga sarnane algoritm.

/developpment

Esiteks arvan, et statistikas on palju häid lähenemisviise (leiate need R-pakettidest, mitte tingimata koos mis on loomulikult vastupidavad ja testitud tegelike andmete põhjal ning see, et kuskil mainitud "robustse" algoritmi ei leia, ei tähenda, et see pole vastupidav. Igatahes, kui arvate, et tugev olemine tähendab universaalsust, ei leia te kunagi ühtegi tugevat protseduuri (tasuta lõunasööki ei toimu). Teil peab olema kohandatud tööriista kasutamiseks või kohandatud mudeli loomiseks teatud teadmised / teadmised analüüsitavate andmete kohta. / p>

Teiselt poolt ei ole mõned statistikas käsitletud lähenemised jõulised, kuna need on pühendatud ühele mudelitüübile. Ma arvan, et on hea millalgi laboris töötada ja proovida asjadest aru saada. Samuti on hea käsitleda probleemi eraldi, et mõista, mis probleem on meie lahendus ... matemaatik töötab nii. Gaussi mudelielokandi näide: seda kritiseeritakse nii palju, sest gaussi eeldus ei täitu kunagi, kuid on toonud 75% tänapäeval praktiliselt statistikas kasutatavatest ideedest. Kas arvate tõesti, et see kõik on kirjutamispaberi avaldamise või hävimise reegli järgimine (mis mulle ei meeldi, olen nõus)?

#7
+11
JoFrhwld
2010-08-04 23:12:24 UTC
view on stackexchange narkive permalink

Nagu keegi, kes on minu enda jaoks uurinud natuke statistikat, arvan, et põhjused on pedagoogilised ja inertsid.

Olen oma valdkonnas täheldanud, et järjekord, milles õpetatavad teemad kajastavad valdkonna ajalugu. Kõigepealt õpetatakse neid ideid, mis esimesena tekkisid jne. Inimeste jaoks, kes sukelduvad statistikasse ainult pealiskaudse juhendamise eesmärgil, tähendab see, et nad õpivad klassikalise statistika kõigepealt ja tõenäoliselt viimasena. Siis, isegi kui nad õpivad rohkem, on klassikaline kraam primaarsete efektide tõttu paremini kinni.

Samuti teavad kõik, mis on kahe prooviga t-test. Vähem kui kõik teavad, mis on Mann-Whitney või Wilcoxon Rank Sum test. See tähendab, et ma pean kulutama vaid natuke energiat, et selgitada, mis on minu tugev test, võrreldes sellega, et ma ei pea klassikalise testiga ühtegi katset tegema. Sellised tingimused toovad ilmselgelt kaasa selle, et vähem inimesi kasutab kindlaid meetodeid kui peaks.

#8
+9
David Rebelo
2011-01-04 05:00:02 UTC
view on stackexchange narkive permalink

Wooldridge "Sissejuhatav ökonomeetria - tänapäevane lähenemisviis" 2E lk 261.

Kui heteroskedastiilsusega seotud standardvead kehtivad sagedamini kui tavalised OLS-i standardvead, siis miks me häirime tavapäraseid standardvigu kas üldse? ... Üks põhjus, miks neid ikka veel ristlõiketöös kasutatakse, on see, et kui homoskedastilisuse eeldus kehtib ja erosioonid on tavaliselt jaotunud, siis tavalisel t-statistikal on täpsed t-jaotused, olenemata valimi suurusest. Tugevad standardvead ja kindel statistika on õigustatud ainult siis, kui valimi suurus muutub suureks. Väikeste valimimahtude korral võib usaldusväärsel t statistikal olla jaotusi, mis ei ole t jaotusele väga lähedased, ja see võib meie järelduse eemale lükata. Suurtes valimites saame juhtumi, kus ristlõikega rakendustes teatatakse alati ainult heteroskedastiilsusega seotud standardvigadest ja seda tava järgitakse rakendustöös üha enam.

Halvad uudised siin: http://pan.oxfordjournals.org/content/23/2/159
#9
+7
Joe
2010-08-30 19:11:06 UTC
view on stackexchange narkive permalink

Kuigi need ei välista üksteist, on minu arvates Bayesi statistika kasvav populaarsus osa sellest. Bayesi statistika aitab saavutada prioriteedi ja mudeli keskmistamise kaudu paljusid samu eesmärke ning kipub olema praktikas veidi jõulisem.

#10
+6
mirror2image
2011-05-12 13:12:00 UTC
view on stackexchange narkive permalink

Ma pole statistik, minu statistikakogemus on üsna piiratud, kasutan arvutinägemuse / 3D-rekonstrueerimise / poosi hindamisel lihtsalt tugevat statistikat. Siin on minu probleem selle kasutaja seisukohast:

Esiteks kasutas tugev statistika inseneri- ja teadustöös palju, nimetamata seda "tugevaks statistikaks". Paljud inimesed kasutavad seda intuitiivselt, jõudes selle juurde konkreetse meetodi kohandamisel reaalsete probleemidega. Näiteks iteratiivsed uuesti kaalutud vähimruudud ja kärbitud keskmised / kärbitud väikseim ruut, mida tavaliselt kasutatakse, et lihtsalt kasutaja ei tea, et kasutas usaldusväärset statistikat - muudavad meetodi reaalsete, mittesünteetiliste andmete jaoks toimivaks.

Teiseks kasutatakse nii intuitiivset kui ka teadlikku tugevat statistikat praktikas alati juhul, kui tulemused on kontrollitavad või kui eksisteerivad selgelt nähtavad veamõõdikud. Kui normaaljaotusega saadud tulemus on ilmselgelt vale või vale, hakkavad inimesed kaaluma, korrastama, proovivõtma, lugema paberit ja lõpuks kasutama robustseid hindajaid, olenemata sellest, kas nad seda terminit teavad. Teisest küljest, kui uuringu lõpptulemuseks on vaid mõned graafikud ja diagrammid ning tulemuste kontrollimiseks pole tundetut või kui tavaline statistika annab piisavalt hea tulemuse - inimesed lihtsalt ei viitsi.

Ja lõpuks, tugeva statistika kui teooria kasulikkusest - kuigi teooria ise on väga huvitav, ei anna see sageli praktilisi eeliseid. Enamik tugevatest hinnangutest on üsna tühised ja intuitiivsed, sageli leiutavad inimesed need ilma statistiliste teadmisteta uuesti. Teooria, nagu jaotuspunktide hindamine, asümptootika, andmete sügavus, heterosklassika jne võimaldavad andmetest sügavamalt aru saada, kuid enamasti pole see lihtsalt vajalik. Üks suur erand on usaldusväärse statistika ja tihendusanduri ristumiskoht, mis annab mõned uued praktilised meetodid, näiteks "rist ja kimp"

#11
+5
Andy W
2011-01-05 01:39:25 UTC
view on stackexchange narkive permalink

Minu teadmised usaldusväärsetest hindajatest on seotud ainult regressiooniparameetrite tugevate standardvigadega, nii et minu kommentaar puudutab ainult neid. Ma soovitaksin inimestel lugeda seda artiklit.

Nn "Huberi võileiva hindajast" ja "Tugevatest standardvigadest" autorid: Freedman, A. David, American Statistician, Vol. 60, nr 4. (november 2006), lk 299–302. doi: 10.1198 / 000313006X152207 ( PDF-versioon)

Nende lähenemisviiside pärast tunnen muret eriti selle pärast, et nad eksivad, vaid lihtsalt on häirides suurematest probleemidest. Seega nõustun täielikult Robin Girardi vastuse ja tema mainimisega "tasuta lõunat ei tohi".

#12
+3
JohnRos
2011-11-07 23:15:35 UTC
view on stackexchange narkive permalink

Tugeva statistika jaoks vajalik arvutus ja tõenäosus on (tavaliselt) raskemad, seega (a) teooriat on vähem ja (b) raskem mõista.

#13
+2
Christoph Hanck
2015-04-13 16:48:44 UTC
view on stackexchange narkive permalink

Mul on üllatunud, kui Gaussi-Markovi teoreemi selles pikemas vastuste loendis ei mainita:

Sfääriliste vigadega lineaarses mudelis (mis moodus sisaldab eeldust, et lõpliku vea dispersiooni kaudu ei ole hälbeid), OLS on efektiivne lineaarsete erapooletute hinnangute klassis - on (piiravaid, et olla kindel) tingimusi, mille korral "te ei saa paremini kui OLS".

Ma ei väida, et see peaks õigustama OLS-i kasutamist peaaegu kogu aeg, kuid see aitab kindlasti kaasa (eriti kuna see on hea ettekääne keskenduda õppetöös nii palju OLS-ile).

Noh, jah, kuid see eeldab, et dispersiooni minimeerimine on asjakohane kriteerium ja raskete sabadega ei pruugi see nii olla!
Muidugi.Tahtsin lihtsalt lisada arusaadavate põhjuste loendisse, mis on minu arvates kõige kuulsam põhjus arvata, et OLS on kasulik tehnika, miks tugevad tehnikad pole seda * asendanud: on juhtumeid, kus te ei peaks seda asendama.
#14
  0
ayorgo
2018-04-19 15:20:00 UTC
view on stackexchange narkive permalink

Ma arvan, et usaldusväärne statistika pole kunagi piisav, st et selle statistika oleks usaldusväärne, jätke osa levitamisteavet vahele.Ja ma kahtlustan, et see pole alati hea asi. Teisisõnu on usaldusväärsuse ja teabe kadumise vahel kompromiss.

Ntmediaan on kindel, kuna (erinevalt keskmisest) kasutab see teavet ainult poolte elementide kohta (diskreetsel juhul): $$ mediaan (\ {1, 2, 3, 4, 5 \}) = 3 = mediaan (\ {0,1, 0,2, 3, 4000, 5000 \}) $$

Vaadake lehte https://stats.stackexchange.com/questions/74113/when-is-the-median-more-affected-by-sampling-error-than-the-mean olukorra jaoks, kus mediaan on väga habras ja keskmineon väga hästi käitunud.


See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
Loading...