Küsimus:
Miks on mitmekordne võrdlus probleem?
AgCl
2010-08-09 23:03:54 UTC
view on stackexchange narkive permalink

Mul on raske mõista, mis tegelikult on probleem mitme võrdlusega . Lihtsa analoogia põhjal öeldakse, et inimene, kes teeb palju otsuseid, teeb palju vigu. Seega rakendatakse väga konservatiivseid ettevaatusabinõusid, nagu Bonferroni parandus, et muuta tõenäosus, et see inimene üldse vea teeb, võimalikult madalaks.

Aga miks me hoolime sellest, kas inimene on kõigi tehtud otsuste hulgas üldse viga teinud, mitte valede otsuste protsent ?

Lubage mul selgitada, mis mind teise analoogiaga segi ajab. Oletame, et kohtunikke on kaks, üks on 60-aastane ja teine ​​20-aastane. Siis ütleb Bonferroni parandus 20-aastasele, et ta oleks hukkamise otsustamisel võimalikult konservatiivne, sest ta töötab veel palju aastaid kohtunikuna, teeb palju rohkem otsuseid, nii et ta peab olema ettevaatlik. Kuid 60-aastane saab tõenäoliselt varsti pensionile, teeb vähem otsuseid, nii et ta võib olla teisega hoolimatu. Kuid tegelikult peaksid mõlemad kohtunikud olema võrdselt ettevaatlikud või konservatiivsed, olenemata nende otsuste koguarvust. Ma arvan, et see analoogia tähendab enam-vähem tegelikke probleeme, kus rakendatakse Bonferroni parandust, mis minu arvates on vastuolulised.

ei ole tegelikult vastus teie küsimusele, kuid kas olete kohanud valesid avastamishindu (FDR)? Narumi "Bonferroni taga": http://www.springerlink.com/content/c5047h0084528056/
Viis vastused:
#1
+40
John
2010-08-09 23:55:56 UTC
view on stackexchange narkive permalink

Olete öelnud midagi, mis on klassikaline Bonferroni paranduste vastuargument. Kas ma ei peaks oma alfakriteeriumit kohandama iga testi põhjal, mille kunagi teen? Selline ad absurdne järeldus on põhjus, miks mõned inimesed ei usu Bonferroni stiiliparandustesse üldse. Mõnikord on sellised andmed, millega inimene oma karjääri jooksul tegeleb, nii et see pole probleem. Kohtunike jaoks, kes teevad iga uue tõendi kohta ühe või väga vähe otsuseid, on see väga õige argument. Aga kuidas on kohtunikuga 20 kohtualusega ja kes lähtub oma otsuses ühest suurest andmehulgast (nt sõjatribunalid)?

Eirate vaidluse poolel lööke. Üldiselt otsivad teadlased midagi - p-väärtus on väiksem kui alfa. Iga katse seda leida on järjekordne purk purki. Lõpuks leiab ühe, kui keegi teeb sellest piisavalt võtteid. Seetõttu tuleks neid selle eest karistada.

Nende kahe argumendi ühtlustamise viis on mõista, et mõlemad on tõesed. Lihtsaim lahendus on kaaluda erinevuste testimist ühes andmekogumis kui sellist tüüpi lööki, kui see võib libiseda.

See on tõeliselt keeruline probleem paljudes valdkondades, eriti FMRI, kus võrreldakse tuhandeid andmepunkte ja kindlasti tuleb mõni neist juhuslikult oluliseks. Arvestades, et see valdkond on olnud ajalooliselt väga uuriv, tuleb midagi ette võtta, et parandada asjaolu, et sajad ajupiirkonnad näevad märkimisväärsed välja täiesti juhuslikult. Seetõttu on selles valdkonnas välja töötatud palju kriteeriumide kohandamise meetodeid.

Teisest küljest võib mõnes valdkonnas vaadata kõige rohkem muutuja 3–5 taset ja testida alati kõiki kombinatsioone kui tekib oluline ANOVA. Sellel on teadaolevalt probleeme (1. tüübi vead), kuid see pole eriti kohutav.

See sõltub teie vaatenurgast. FMRI teadlane tunnistab reaalset vajadust kriteeriumimuutuse järele. Inimene, kes vaatab väikest ANOVA-d, võib tunda, et testis on selgelt midagi. Mitme võrdluse korralik konservatiivne seisukoht on alati nende jaoks midagi ette võtta, kuid ainult ühe andmekogumi põhjal. Kõik uued andmed lähtestavad kriteeriumi ... välja arvatud juhul, kui olete Bayesian ...

Aitäh, sellest on olnud palju abi. Hääletan selle siis, kui mul on piisavalt esindajaid.
FMRI teadlane kasutaks tõenäoliselt ka vale avastamise määra (FDR) kriteeriumi, kuna see tagab pika testimise perioodil alfa * 100% valepositiivsed tulemused.
@John, Kas saaksite sellele küsimusele vastata: https://stats.stackexchange.com/questions/431011/should-i-correct-p-values-when-the-exact-same-dataset-is-not-being-used-for-mult oleksin õnnelik, kui palun saaksite mind aidata.
#2
+26
John D. Cook
2010-08-10 04:39:56 UTC
view on stackexchange narkive permalink

Austatud statistikud on mitmel võrdlusel võtnud väga erinevaid seisukohti. See on peen teema. Kui keegi arvab, et see on lihtne, siis mõtleksin, kui palju ta on sellele mõelnud.

Siin on huvitav Bayesi vaatenurk Andrew Gelmani mitmekordsele testimisele: miks me ei muretse (tavaliselt) mitme võrdluse kohta.

Selle dokumendi juures on minu jaoks huvitav see, et * perspektiiv * on Bayesi, kuid hierarhiline modelleerimispõhimõte, mida pakutakse mitme võrdluse paranduste asendamiseks, ei nõua, et te oleksite Bayesi.
Vaatasin just seda artiklit; Ma arvan, et võib-olla tuleb seda rohkem tsiteerida. Ma vihkan loputamisefekte äravoolus, kuna mitmekülgsed mitmekordse võrdlemise tehnikad pole hästi teada ega neid pole lihtne teha. Seevastu kergem lähenemine on täiesti lihtne. Huvitav, kas sellega on tõsiseid probleeme, mida tuleks kaaluda.
Aga vaata Gelmani 2014. aasta postitust [Ühes elu jubedas iroonias kirjutasin kirjutise „Miks me (tavaliselt) ei pea mitme võrdluse pärast muretsema“, kuid nüüd veedan palju aega mitme võrdluse pärast muretsedes] (http: //andrewgelman.com/2014/10/14/one-lifes-horrible-ironies-wrote-paper-usually-dont-worry-multiple-comparisons-now-spend-lots-time-worrying-multiple-comparisons/).
#3
+13
pmgjones
2010-08-10 03:18:23 UTC
view on stackexchange narkive permalink

Seoses varasema kommentaariga peaks fMRI uurija meeles pidama, et kliiniliselt olulised tulemused on olulised, mitte aju fMRI ühe piksli tiheduse nihe. Kui see ei too kaasa kliinilist paranemist / kahjulikkust, pole see oluline. See on üks võimalus vähendada muret mitme võrdluse pärast.

Vt ka:

  1. Bauer, P. (1991). Mitu katsetamist kliinilistes uuringutes. Stat Med, 10 (6), 871–89; arutelu 889-90.
  2. Proschan, M. A. & Waclawiw, M. A. (2000). Praktilised juhised mitmekordsuse kohandamiseks kliinilistes uuringutes Kontroll-kliinilised uuringud, 21 (6), 527-39.
  3. Rothman, K. J. (1990). Mitme võrdluse jaoks pole kohandusi vaja. Epidemioloogia (Cambridge, Mass.), 1 (1), 43-6.
  4. Perneger, T. V. (1998). Mis viga bonferroni korrigeerimisel. BMJ (Clinical Research Ed.), 316 (7139), 1236-8.
Seda tasub kindlasti ka tsiteerida: http://prefrontal.org/files/posters/Bennett-Salmon-2009.jpg
Olen kindel, et neil oli väga lõbus küsida surnud lõhelt selle emotsioonide kohta !!!
Selles postituses on ka kasulikke viiteid RCT-de kohta: http://j.mp/bAgr1B.
#4
+10
robin girard
2010-08-10 02:18:01 UTC
view on stackexchange narkive permalink

Ideede parandamiseks: võtan juhtumi ette, kui tagute $ n $ sõltumatud juhuslikud muutujad $ (X_i) _ {i = 1, \ dots, n} $ nii, et $ i = 1, \ dots, n $ $ X_i $ pärineb $ \ mathcal {N} (\ theta_i, 1) $ . Eeldan, et soovite teada, millisel neist pole null, tähendab ametlikult testimist:

$ H_ {0i}: \ theta_i = 0 $ span> Vs $ H_ {1i}: \ theta_i \ neq 0 $

Lävendi määratlus: teil on $ n $ otsuseid teha ja teil võib olla erinev eesmärk. Antud testi $ i $ jaoks valite kindlasti lävendi $ \ tau_i $ ja otsustate mitte $ H_ {0i} $ aktsepteerimiseks, kui $ | X_i | > \ tau_i $ .

Erinevad valikud: peate valima künnised $ \ tau_i $ ja selleks on teil kaks valikut :

  1. valige kõigile sama künnis

  2. erineva künnise valimiseks kõigile (kõige sagedamini andmeedastusläve, vt allpool).

Erinevad eesmärgid: neid valikuid saab juhtida erinevate eesmärgid nagu

  • Vale tagasilükkamise tõenäosuse kontrollimine $ H_ {0i} $ ühele või rohkem kui üks $ i $ .

  • Väärt al-i ootuse kontrollimine käe suhe (või vale avastamise määr)

    Mis on teie eesmärk lõpuks, on mõistlik kasutada andmesisest lävendit.

Minu vastus teie küsimusele: teie sisetunne on seotud peamise heuristikaga andmesuunalise läve valimisel. See on järgmine (Holmi protseduuri alguspunktis on võimsam kui Bonferoni):

Kujutage ette, et olete juba otsustanud $ p $ span> madalaim $ | X_ {i} | $ ja otsus on aktsepteerida $ H_ {0i} $ span > nende kõigi jaoks. Siis peate tegema ainult $ np $ võrdlusi ja te ei ole võtnud riski $ H_ {0i} $ tagasilükkamiseks. valesti! Kuna te pole oma eelarvet kasutanud, võite ülejäänud testi jaoks veidi rohkem riskida ja valida suurema künnise.

Teie kohtunike puhul: eeldan ( ja arvatavasti peaksite tegema sama), et mõlemal kohtunikul on oma elu jaoks valesüüdistuste eelarve ühesugune. 60-aastane kohtunik võib olla vähem konservatiivne, kui ta varem kedagi ei süüdistanud! Kuid kui ta on juba palju süüdistusi esitanud, on ta konservatiivsem ja võib-olla isegi rohkem kui kõige tavalisem kohtunik.

Ma arvan, et teie hüpoteesides on kirjaviga - mõlemad näivad olevat ühesugused ...
#5
+4
peuhp
2016-01-05 00:52:28 UTC
view on stackexchange narkive permalink

Illustreeriv (ja naljakas) artikkel ( http://www.jsur.org/ar/jsur_ben102010.pdf) vajadusest korrigeerida mitme testimise jaoks mõnes praktilises uuringus, mis arendab paljusid muutujaid, nt. funktsionaalne MRI (fMRI). See lühike tsitaat sisaldab enamikku sõnumist:

"[...] lõpetasime fMRI skaneerimisseansi, mille teemaks oli surmajärgne Atlandi lõhe. Lõhe näitas sama sotsiaalse perspektiivi võtmise ülesanne, mida hiljem manustati inimgrupi rühmale. "

mis on minu kogemuste põhjal suurepärane argument, et julgustada kasutajaid kasutama mitut testimist parandused.



See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
Loading...