Küsimus:
Praktilised mõtted selgitava vs ennustava modelleerimise kohta
wahalulu
2010-08-04 01:19:57 UTC
view on stackexchange narkive permalink

Veel aprillis käisin UMD matemaatikaosakonna statistika grupiseminaride sarjas "Selgitada või ennustada?". Kõne pidas Prof. Galit Shmueli, kes õpetab UMD Smithi ärikoolis. Tema jutt põhines uurimustel, mille ta tegi artikli pealkirjaga "Predictive vs. Explanatory Modeling in IS Research", ja jätkutööde pealkirjaga "Selgitamiseks või ennustamiseks?".

Dr. Shmueli väide on, et statistilise modelleerimise kontekstis on mõisted ennustav ja selgitav muutunud segi ning statistilises kirjanduses puudub põhjalik arutelu erinevuste üle. Selles artiklis vastandab ta mõlemat ja räägib nende praktilistest tagajärgedest. Soovitan teil lugeda pabereid.

Kasulik oleks, kui räägiksite konkreetsest rakendusest.
  • Kas olete kunagi sattunud ühe kasutamise lõksu, kui mõtlete teise kasutamist? Mul kindlasti on. Kuidas teada saada, millist neist kasutada?
  • See küsimus tehakse ettepanek sulgeda. Vaata: http://meta.stats.stackexchange.com/questions/213/list-of-candidate-questions-to-be-closed Ma näen, et tal on 2 häält. Kas eelhääletajad või OP võiksid kommenteerida, miks nad sooviksid, et küsimus jääks metakeermel avatuks?
    Selle asemel, et öelda: "see peaks olema suletud. Keegi peaks seda kaitsma", võiksite alustada seletamisest, miks soovite seda sulgeda. Liiga ebamäärane? Seejärel küsige selgitust. See tundub minu jaoks mõistlik küsimus. Küsija esitab ettekande ja küsib, mis vahe on ennustaval ja selgitaval statistikal. Ainus muudatus, mille ma küsimusele teeksin, on täpsustada küsimus täpselt, muutes sellega hääletamise lihtsamaks.
    Pakkusin metakeermel juba põhjust. Ma arvan, et küsimuse „meta-arutelud” segaksid selle konkreetse lehe.
    @Srikant @JD Ma tõstan küsimuse üles. Aitäh tagasiside eest. Ma arvan, et see on teema, mis väärib arutelu.
    Teie küsimus oleks kogukonnale kasulik, kui saaksite meile oma elu rääkimise asemel määratleda, mis on (teie sõnul) ennustav ja selgitav mudel. Ma arvan, et toredad arutelud algavad selgete definitsioonidega ...
    Kas saaksite siin küsimuse esitada? Kas on küsimus, kas paber on õige?
    @srikant näib, et te ei mõista küsimuste all olevate kommentaaride olemust. Need on definitsiooni järgi meta. Need pole vastused. Need ei ole küsimused. Nad on meta. Konventsiooni pidamine, kus kommentaarid osutavad metavestlustele mõnes muus kohas, on raiskav ja rumal.
    @JD Võib-olla. Kuid küsimuste sulgemise protsessi kontrollimiseks on sellele küsimusele pühendatud metakülg. Kui ma ei maini asjaolu, et see küsimus tehakse ettepanek sulgeda, ei saa kogukond võimalust kaasa rääkida, kas see peaks jääma avatuks või mitte. Üks teine ​​teema on kaaluda inimest, kes selles küsimuses kaugemas tulevikus komistab. Kogu see arutelu selle üle, kas ja miks peaksime küsimust lahtisena hoidma, on veidi ebaoluline. Leian, et kommentaare tuleks kasutada küsimuse selgitamiseks, mitte selle sisulist arutelu.
    @srikant. See on selgelt öeldud ja selge. See arutelu kuulub tõenäoliselt Meta piirkonda, kuna see pole ülaltoodud küsimusele omane. :) jah, ok, see oli natuke jama kommentaar ... ma ei suutnud sellele vastu panna! Teete hea mõtte. Ma arvan, et võime nõustuda, et @wahalulu vajas oma küsimuse selgitamist. Ma arvan, et ta liigub õiges suunas.
    Väga produktiivne küsimus, arvestades, et me käsitleme seda kui ühte, millel pole õiget vastust.
    @rolando2 Ehkki selle osad pakuvad hulgaliselt vastuseid, palutakse küsimuse tuumal teha vahet "ennustava" ja "selgitava / kirjeldava" harjutuse vahel. Sellel on potentsiaalselt objektiivselt õige vastus. CW ei tundu selle küsimuse jaoks sobiv valik.
    See küsimus on tihedalt seotud olulisuse testide küsimusega pärast üldistus-veapõhist mudeli valimist. Vaadake: http: //stats.stackexchange.com/q/17825/6961
    [Praktiliste mõtete selgitav vs ennustav modelleerimine] võimalik duplikaat
    Mulle tundub, et siin ja allpool kasutatakse seletusi ja kirjeldusi ekslikult sünonüümidena.Lugege allpool minu kommentaare prof Shmueli vastuse kohta.
    Kuusteist vastused:
    #1
    +40
    probabilityislogic
    2011-11-26 15:15:58 UTC
    view on stackexchange narkive permalink

    Ühes lauses

    Ennustav modelleerimine on seotud sellega, mis tõenäoliselt juhtub?, seletav modelleerimine aga selle kohta, mida me saame selle heaks teha?

    Paljudes lausetes

    Ma arvan, et peamine erinevus seisneb selles, mida analüüsiga teha kavatsetakse. Ma soovitaksin, et selgitus oleks sekkumise jaoks palju olulisem kui ennustamine. Kui soovite tulemuse muutmiseks midagi ette võtta, siis oleksite kõige parem otsida, miks see nii on. Selgitav modelleerimine, kui see on hästi tehtud, ütleb teile, kuidas sekkuda (millist sisendit tuleks korrigeerida). Kui soovite aga lihtsalt mõista, milline saab olema tulevik, ilma et oleks mingit kavatsust (või võimet) sekkuda, on prognoosiv modelleerimine tõenäolisem sobiv.

    Uskumatult lõdva näitena võib kasutada vähiandmed ".

    Prognoosiv modelleerimine" vähiandmete "abil oleks asjakohane (või vähemalt kasulik), kui rahastaksite erinevate haiglate vähipalatit. Teil pole tegelikult vaja selgitada, miks inimesed vähki haigestuvad, vaid vajate ainult täpset hinnangut selle kohta, kui palju teenuseid vaja läheb. Seletav modelleerimine ei aitaks siin ilmselt palju. Näiteks teadmine, et suitsetamine toob kaasa suurema vähiriski, ei ütle üksi, kas eraldada rohkem palat A-le või B-osakonnale.

    "Vähiandmete" selgitav modelleerimine oleks asjakohane, kui soovisite vähendada riiklikku vähi määra - ennustav modelleerimine oleks siin üsna vananenud. Võimalus täpselt ennustada vähktõbe ei aita tõenäoliselt otsustada, kuidas seda vähendada. Teadmine, et suitsetamine toob kaasa suurema vähiriski, on väärtuslik teave - sest kui vähendate suitsetamise määra (nt suurendades sigarette), toob see kaasa rohkem inimesi, kellel on väiksem risk, mis (loodetavasti) viib vähi eeldatava vähenemiseni määrad.

    Sel viisil probleemi vaadates arvan, et selgitav modelleerimine keskenduks peamiselt muutujatele, mis on kas otseselt või kaudselt kasutaja kontrolli all. Võib-olla on vaja koguda muid muutujaid, kuid kui te ei saa analüüsis ühtegi muutujat muuta, siis ma kahtlen, kas selgitav modelleerimine on kasulik, välja arvatud võib-olla selleks, et anda teile soov nende muutujate üle kontrolli saada või mõjutada mis on olulised. Ennustav modelleerimine otsib toorelt lihtsalt seoseid muutujate vahel, olenemata sellest, kas kasutaja seda kontrollib või mitte. Ennustamiseks peate teadma ainult sisendeid / funktsioone / sõltumatuid muutujaid / jne., Kuid sekkumiseks ja tulemuse muutmiseks peate olema võimeline muutma või mõjutama sisendeid / funktsioone / sõltumatuid muutujaid / jne. .

    +1, kenasti tehtud! Ma vihkan noppimist, kuid tahan märkida, et ennustamine ei pea olema seotud tulevikuga. Näiteks võib arheoloog soovida kindlaks määrata (st ennustada) sademete taset piirkonnas mingis minevikus, teades allesjäänud jälgi (s.o sademete mõjusid).
    @gung - arvasin, et sõnastasin oma vastuse nii, et seda ei juhtunud. Ilmselgelt jäi mul üks koht puudu :-)
    Tore vastus.Ma arvan, et peame paljudel juhtudel teadma, milline tulevik välja näeb ja miks.Oletame, et kui uurite kliendimahtu, tahate teada, mitu klienti (ja täpselt millist klienti) järgmisel N kuul kaob ja miks nad siis segunevad, et turundus saaks nende hoidmiseks sekkuda.Siis vajame nii ennustavat (tulevase arvu ja klientide tundmaõppimiseks) kui ka selgitavaid selgitusi, et öelda miks, et saaksime kärpeid vähendada.Kas meil on mõlema hübriidmudel või piisab ühest?Varty puudutab seda, öeldes: "Tuntud seos võib ilmneda selgitava / kirjeldava analüüsi või mõne muu tehnika abil"
    -1
    @Alexis, on see kindlasti võimalik, kuid on ka võimalik, et see pole arheoloogi esmane huvi uurimiste vastu, ja et need andmed on juba kogunud teiste teadlaste poolt (paleoklimatoloogid) ja arheoloog soovib lihtsalt neid andmeid kasutada nende esmaste teooriate testimiseksteoreetiline huvi ([Gill, 200] (https://www.worldcat.org/title/great-maya-droughts-water-life-and-death/oclc/43567384)).
    #2
    +31
    varty
    2011-11-26 01:23:50 UTC
    view on stackexchange narkive permalink

    Minu arvates on erinevused järgmised:

    Selgitav / kirjeldav

    Selgitava / kirjeldava vastuse otsimisel pööratakse peamiselt tähelepanu andmed, mis meil on ja püüame avastada andmete vahelised seosed pärast müra arvessevõtmist.

    Näide: kas vastab tõele, et regulaarne treenimine (näiteks 30 minutit päevas) vererõhu langetamiseks? Sellele küsimusele vastamiseks võime koguda patsientidelt andmeid nende treeningrežiimi ja vererõhu väärtuste kohta aja jooksul. Eesmärk on teada saada, kas suudame vererõhu varieerumist treeningrežiimi erinevustega seletada .

    Vererõhku ei mõjuta füüsiline koormus lisaks paljudele muudele teguritele, näiteks kui palju naatriumi inimene sööb jne. Neid muid tegureid käsitletaks ülaltoodud näites mürana, kuna keskendutakse treeningrežiimi ja vererõhu vahelise seose väljakutsumisele.

    Ennustus tugev >

    Ennustusharjutuse tegemisel ekstrapoleerime tundmatusse , kasutades teadaolevaid seoseid olemasolevate andmete vahel. Tuntud seos võib ilmneda seletavast / kirjeldavast analüüsist või mõnest muust tehnikast.

    Näide: kui treenin 1 tund päevas, siis mil määral vererõhk tõenäoliselt langeb? Sellele küsimusele vastamiseks võime ennustamiseks kasutada vererõhu ja treeningrežiimi vahel varem avastamata suhet.

    Eespool toodud kontekstis ei keskenduta seletamisele, kuigi selgitusmudel võib aidata ennustusprotsess. On ka mitteselgitavaid lähenemisviise (nt närvivõrgud), mis võimaldavad ennustada tundmatut, lisamata tingimata meie teadmisi muutujate vahelise seose olemuse kohta.

    +1 See vastus välistab suures osas põhjusliku seose segiajamise, kasutades selgituste, kirjelduse ja seose keelt. See annab sellele soovitava selguse.
    Selgituse alla kirjutasite "põhitähelepanu on meil olevatel andmetel" - arvan, et üritate öelda, et ülesanne on tagasiulatuv (vastupidiselt ennustuse perspektiivsele olemusele). Selgituseks (loe "põhjuslikuks seletuseks") keskendutakse tegelikult suurel määral teooriale ja valdkonnateadmistele ning andmeid kasutatakse nende eelduste / teooriate testimiseks. Seevastu ennustuses on see pigem andmetest juhitud ja suhtumiste suhtes avameelsem, sest te ei otsi põhjuslikkust, vaid pigem korrelatsiooni.
    @GalitShmueli Reg-i teooria / teadmised domeenist - jah, ma nõustun selle punktiga. Püüdsin lihtsalt ennustust visuaalsele selgitusele vastandada, keskendudes sellele, mis mulle tundub põhiline erinevus - muutuja väärtuse ekstrapoleerimine vs muutujate vahelise seose väljaselgitamine. Selle käigus olen muidugi süüdi kahe paradigma vahel peensuste nüansside unarusse jätmises.
    @varty Nõustun teie mõttega: selgituses / kirjelduses olete huvitatud üldisest / keskmisest seosest / mõjust, samas kui ennustuses - üksikute väärtuste ennustamisest (mitte tingimata ekstrapoleerimisest)
    #3
    +19
    Rob Hyndman
    2010-08-04 04:36:09 UTC
    view on stackexchange narkive permalink

    Üks praktiline probleem, mis siin kerkib, on muutuja valik modelleerimisel. Muutuja võib olla oluline selgitav muutuja (nt on statistiliselt oluline), kuid ei pruugi olla kasulik ennustamiseks (s.t selle kaasamine mudelisse viib halvema ennustustäpsuseni). Näen seda viga avaldatud artiklites peaaegu iga päev.

    Teine erinevus seisneb põhikomponentide analüüsi ja faktoranalüüsi eristamises. PCA-d kasutatakse sageli ennustamisel, kuid see pole seletamiseks nii kasulik. FA hõlmab täiendavat pöörlemisetappi, mis tehakse tõlgenduse (ja seega ka selgituse) parandamiseks. Galit Shmueli ajaveebis on selle kohta tore postitus täna.

    Uuendus: ajasarjades tekib kolmas juhtum, kui muutuja võib olla oluline selgitav muutuja, kuid lihtsalt pole t saadaval tulevikus. Näiteks võivad kodulaenud olla tihedalt seotud SKP-ga, kuid sellest pole tulevaste kodulaenude prognoosimisel palju kasu, kui meil pole ka SKP-d hästi ette näha.

    Miks / kuidas vähendaks oluline selgitav muutuja ennustustäpsust?
    @Srikant. See võib juhtuda, kui seletaval muutujal on nõrk, kuid oluline seos vastusemuutujaga. Siis võib koefitsient olla statistiliselt oluline, kuid seda on raske hinnata. Järelikult võib prognooside MSE muutuja kaasamisel suureneda võrreldes selle väljajätmisega. (Kallutatust vähendatakse selle kaasamisega, kuid dispersioon suureneb.)
    Esimene lõik on väga-väga hea punkt. Ikka on mõnikord veelgi hullem; siin PMID: 18052912 on suurepärane näide, et mõnikord saab komplekti müraosale teha parema mudeli kui tõelisele - on ilmne, et juhuslike andmete põhjal saab teha head mudelit, kuid see on natuke šokeeriv .
    andestage minu teadlikkus, kuid kas rotatsioon pole tavaliselt nii PCA kui ka FA osa?
    Statistiliselt sig. kuid nõrk ennustaja on harva efektiivne ennustamiseks või selgitamiseks. Näiteks kui lineaarse regressioonilahuse RSQ on 0,40 ilma prognoosija X1 lisamata ja kui X1 lisamine lisab sellele RSQ-le 0,01, siis pole X1 "oluline" ei prognoosi ega selgituse jaoks.
    Oma esimese lõigu kohta saate seda näidata näiteks - ennustuse keskmine ruutviga koosneb tavaliselt kahest osast - parameetri hindamise määramatus ja seletamatu variatsiooni määramatus. OLS-i regressiooni jaoks on need komponendid antud kui $ s ^ 2x_i ^ T (X ^ TX) ^ {- 1} x_i $ (parameeter) ja $ s ^ 2 $ (seletamatu). Siin on $ s ^ 2 $ jääkide hinnanguline dispersioon ja $ X $ on mudeli sobitamiseks kasutatav kujundusmaatriks ja $ x_i $ on ennustuste regressorite vektor.
    @rolando2 - see võib olla tõsi ennustuse kvaliteedi kohta, kuid uue muutuja lisamine võib prognoose ennast oluliselt mõjutada.
    @probabilityislogic - kas saaksite seda punkti laiendada? tänud.
    Kui ma kirjutasin "" oluline "ei ennustamiseks ega selgitamiseks", jätsin ma tähelepanuta juhtumi, kus oluline põhjuslik muutuja on peaaegu täielikult prognoositav muude vähem põhjuslike muutujate hulga põhjal.
    @rolando2 - minu mõte oli, et X1 kaasamine võib viia erinevate ennustusteni. Nii et teil võib olla $ | \ hat {y} _ {X1} - \ hat {y} _ {mitte X1} | >> 0 $. Nii et kuigi me eeldame, et mõlemad ennustused on sarnased "tõelise väärtusega" (sarnaselt $ R ^ 2 $), ei eelda me, et need oleksid üksteisele lähedal. Lisaks, kui teil on 1000 dollarit $ andmepunkti, tähendab $ R ^ 2 $ suurendamine 0,4 dollarilt 0,41 dollarile väga märkimisväärset ennustajat ("konservatiivne" BIC on suure mudeli korral 10 dollarit ühikut väiksem või Bayesi faktor umbes 20000 dollarit $ suurema mudeli kasuks).
    @probabilityislogic - aitäh lisapunktide eest. Esimene, mis hõlmab erinevaid sisulisi järeldusi ennustatud väärtuste kohta, on mind rohkem mõjutanud kui teine, mis puudutab statistikat. sig. mitte midagi sisulist, kui ma seda õigesti loen.
    #4
    +17
    Galit Shmueli
    2011-11-26 10:50:32 UTC
    view on stackexchange narkive permalink

    Kuigi mõnel inimesel on kõige lihtsam mõelda vahet kasutatava mudeli / algoritmi osas (nt närvivõrgud = ennustav), on see selgitamise / ennustamise eristamisel vaid üks konkreetne aspekt. Siin on slaidipakk, mida kasutan oma andmekaevanduskursusel lineaarse regressiooni õpetamiseks mõlemast vaatenurgast. Isegi ainult lineaarse regressiooni korral ja selle väikese näite korral kerkivad esile erinevad probleemid, mis viivad erinevate selgitavate ja ennustavate eesmärkide mudeliteni (muutujate valik, muutujate valik, tulemuslikkuse näitajad jne).

    Galit

    Kas uudishimust on tahtlik, et arutelus regressiooni ennustamiseks (alustades lk 33) valite ennustajad (1. samm) * enne * jaotamist koolituse ja valideerimise andmekogumitesse (3. samm)? Olen mõelnud, et kõige objektiivsem ja ausam protseduur oleks kohe alguses jaotamine, isegi enne hajuvusdiagrammide vaatamist (2. samm). Kui regressorid valitakse kogu andmekogumi põhjal, kas see ei suurendaks paljude testide näilist olulisuse taset isegi siis, kui neid hiljem valideerimisandmetele rakendatakse?
    Ma arvan, et üldisem küsimus on see, kas teete andmete visualiseerimist enne kinnihoidmise hoidmist. Kui andmekogum on suur, pole see tegelikult oluline. Väikese valimi korral on visualiseerijate kasutamine ennustajate valimiseks tõesti ohtlik. Oma slaidides ei pea ma silmas visualiseerimise kasutamist muutujate valimisel. "Vali ennustajad" on üldisemalt "võimalike olemasolevate ennustajate komplekt, mis on mõistlik". See on pigem domeeniteadmiste lisamine mõistliku komplekti valimiseks.
    Jätkates teemat "Selgitamiseks või ennustamiseks", on mul [siin] seotud küsimus (http://stats.stackexchange.com/questions/177391/paradox-in-model-selection-aic-bic-to-explain-või ennustada).Oleksin tänulik, kui vaataksite pilgu, sest küsimus põhineb peamiselt teie paberil.
    Professor Shmueli, te ütlete oma selleteemalise artikli lk 291, et kaalute ainult „mittestohhastilist ennustust”, nagu määratles Geisser, 1993. Kuhu ma läheksin mittestohhastilise ennustuse täieliku definitsiooni leidmiseks?Tore, et alustan ka uue postitusega, kuid mõtlesin, et küsin enne siit.
    @GalitShmueli, professor, teie artikkel oli minu jaoks väga kasulik.Minu arvates valgustas see mitut ebaselget punkti statistiliste mudelite ja vahendite kohta, ennekõike regressiooni.Aitäh!Kuid siin on punkt, mis pole mulle selge.Teie artikkel on keskendunud selgitavatele mudelitele, mis on mõeldud põhjuslikuks ja ennustavaks.Mainite vaid kolmandat tüüpi mudeleid, kirjeldavaid kirjeldusi: "Ehkki see artikkel pole keskendunud, on kirjeldav modelleerimine kolmas modelleerimise tüüp, mida statistikud kõige sagedamini kasutavad ja arendavad."pag 291.
    Kuid siin jagatud slaidides näib selgitust ja kirjeldust kasutatud sünonüümina.Miks? Veelgi enam, ma lugesin veel üht teie slaidide komplekti, milles need kolm mõistet on selgelt erinevad.Kirjutasin siia vastava küsimuse (https://stats.stackexchange.com/questions/464261/regression-causation-vs-prediction-vs-description) teie kommentaare oleks väga teretulnud.
    @markowitz - aitäh, et teavitasite mind selle lõime kohta uuesti.Siin on hiljutine slaidipakett, mis eristab seletust / ennustust / kirjeldust ja täpsemalt näete regressiooninäidet.https://www.slideshare.net/gshmueli/to-explain-to-predict-or-to-describe
    @GalitShmueli, Täname, et olete neid hiljutisi liumägesid siin jaganud.Kuid ma juba lugesin neid, ka sel põhjusel olin veendunud, et selgitused ja kirjeldused pole sünonüümid.Pealegi on mul veel kahtlusi kirjelduse rolli suhtes regressioonis.Nagu juba eelmises kommentaaris (koos lingiga) öeldud, kirjutasin selle kohta küsimuse.Teie ettepanekuid selle kohta oleks väga teretulnud.
    #5
    +11
    Jeromy Anglim
    2010-08-04 11:16:41 UTC
    view on stackexchange narkive permalink

    Näide: klassikaline näide, mida olen näinud, on inimese jõudluse ennustamise kontekstis. Enesetõhusus (st mil määral inimene arvab, et suudab ülesannet hästi täita) on sageli ülesande täitmise tugev ennustaja. Seega, kui lisate enesetõhususe mitmesse regressiooni koos teiste muutujatega, nagu intelligentsus ja varasem kogemus, leiate sageli, et enesetõhusus on tugev ennustaja.

    See on viinud mõned teadlased soovitavad, et enesetõhusus põhjustab ülesande täitmist. Ja tõhusad sekkumised on need, mis keskenduvad inimese enesetõhususe tunde suurendamisele.

    Kuid alternatiivne teoreetiline mudel näeb enesetõhusust suuresti kui ülesande täitmise tagajärge. St. Kui teil on hea, siis teate seda. Selles raamistikus peaksid sekkumised keskenduma tegeliku kompetentsi ja mitte tajutud kompetentsi suurendamisele.

    Seega võib muutuja nagu enesetõhususe kaasamine prognoosi suurendada, kuid eeldades, et võtate kasutusele enesetõhususe kui tagajärje mudeli, ei tohiks prognoosijana kaasata, kui mudeli eesmärk on selgitada tulemuslikkust mõjutavaid põhjuslikke protsesse.

    See tõstatab muidugi küsimuse põhjusliku teoreetilise mudeli väljatöötamise ja kinnitamise kohta. See tugineb selgelt mitmetele uuringutele, ideaalis mõnele eksperimentaalsele manipuleerimisele ja ühtsele argumendile dünaamiliste protsesside kohta.

    Proksimaalne versus distaalne : olen sarnaseid probleeme näinud, kui teadlased on sellest huvitatud distaalsete ja proksimaalsete põhjuste mõju. Lähimad põhjused kipuvad ennustama paremini kui distaalsed põhjused. Kuid teoreetiline huvi võib olla distaalsete ja proksimaalsete põhjuste toimimisviiside mõistmiseks.

    Muutuva valiku probleem : lõpuks on sotsiaalteaduste uurimise tohutu probleem muutuva valiku probleem . Igas konkreetses uuringus on lõpmatu arv muutujaid, mida oleks saanud mõõta aga ei olnud. Seega tuleb mudelite tõlgendamisel teoreetiliste tõlgenduste tegemisel arvestada selle tagajärgedega.

    Sotsiaalteaduses on ka probleem "nõrk hüpotees" (nt mõju on positiivne vs negatiivne). Ja selles "isetõhususe" näites võiksite seda vaadata kui sisemist jõudluse ennustajat, mille iga inimene on üles ehitanud. Nii et see on tõenäoliselt sarnane "musta kasti" ennustuse kasutamisega selgitava muutujana.
    #6
    +9
    Nikita Zhiltsov
    2011-11-27 03:03:37 UTC
    view on stackexchange narkive permalink

    Statistiline modelleerimine: kaks kultuuri (2001), mille autor on L. Breiman, on võib-olla selle artikli parim artikkel. Tema peamised järeldused (vt ka teiste silmapaistvate statistikute vastuseid dokumendi lõpus) ​​on järgmised:

    • "Kõrgem ennustustäpsus on seotud usaldusväärsema teabega aluseks oleva datamehhanismi kohta. Nõrk ennustav täpsus võib viia vaieldavate järeldusteni. "
    • " Algoritmilised mudelid võivad anda parema prognoositavuse kui andmemudelid ja pakkuda paremat teavet alusmehhanismi kohta. "
    Lihtsalt seose loomiseks ühe varasema seotud küsimusega: [Kaks kultuuri: statistika vs masinõpe?] (Http://stats.stackexchange.com/q/6/930)
    Algoritmiliste mudelite probleem on see, et neid on raske mõista. See raskendab võimalike tekkivate probleemide diagnoosimist ja lahendamist. Struktuurimudelit on palju lihtsam hinnata, sest teate, milline peaks iga komponent välja nägema.
    #7
    +8
    John Myles White
    2010-08-04 01:39:20 UTC
    view on stackexchange narkive permalink

    Ma ei ole lugenud tema teoseid lingitud artikli abstraktsusest kaugemale, kuid minu meelest tuleks erinevus "selgituse" ja "ennustuse" vahel ära visata ja asendada praktiseerija eesmärkide eristamisega, mis on kas "põhjuslikud" või "ennustavad". Üldiselt arvan, et "selgitus" on nii ebamäärane sõna, et see ei tähenda peaaegu midagi. Näiteks, kas Hooke'i seadus on selgitav või ennustav? Kas spektri teises otsas on prognoositavalt täpsed soovitussüsteemid otseste üksuste hinnangute põhjuslikud mudelid? Ma arvan, et me kõik jagame intuitsiooni, et teaduse eesmärk on selgitus, tehnoloogia eesmärk aga ennustamine; ja see intuitsioon läheb kuidagi kaduma, võttes arvesse meie kasutatavaid tööriistu, näiteks juhendatud õppealgoritme, mida saab kasutada nii põhjusliku järelduse kui ka ennustava modelleerimise jaoks, kuid mis on tegelikult puhtalt matemaatilised seadmed, mis pole sisuliselt seotud "ennustuse" või "selgitusega". .

    Seda kõike öeldes on võib-olla ainus sõna, mida ma mudelile rakendaksin, tõlgendatav. Regressioonid on tavaliselt tõlgendatavad; paljude kihtidega närvivõrgud pole sageli nii. Ma arvan, et inimesed eeldavad mõnikord naiivselt, et tõlgendatav mudel pakub põhjuslikku teavet, samas kui tõlgendamatud mudelid pakuvad ainult ennustavat teavet. See suhtumine tundub mulle lihtsalt segane.

    #8
    +7
    user28
    2010-08-04 02:32:41 UTC
    view on stackexchange narkive permalink

    Mul on endiselt natuke ebaselge, milles küsimus on. Seda öeldes on minu arvates põhimõtteline erinevus ennustavate ja selgitavate mudelite vahel erinevus nende fookuses.

    Selgitavad mudelid

    Definitsiooni järgi on seletavatel mudelitel olnud nende põhirõhk on eesmärk seletada midagi reaalses maailmas. Enamikul juhtudel püüame pakkuda lihtsaid ja puhtaid selgitusi. Lihtsa all mõtlen, et me eelistame parsimooniat (selgitage nähtusi võimalikult väheste parameetritega) ja puhta all mõtlen, et tahaksime teha järgmise vormiga avaldusi: "$ x $ ühe ühiku muutmise mõju muudab $ y $ by $ \ beta $ hoides kõike muud konstantsena ". Arvestades neid lihtsate ja selgete selgituste eesmärke, püüavad seletavad mudelid karistada keerukaid mudeleid (kasutades sobivaid kriteeriume, näiteks AIC) ja eelistavad saada ortogonaalseid sõltumatuid muutujaid (kas kontrollitud katsete või sobivate andmete teisenduste kaudu).

    Ennustavad mudelid

    Ennustavate mudelite eesmärk on midagi ennustada. Seega keskenduvad nad vähem parsimooniale või lihtsusele, vaid pigem võimele sõltuvat muutujat ennustada.

    Eeltoodu on siiski mõnevõrra kunstlik eristamine, kuna ennustamiseks võib kasutada selgitavaid mudeleid ja mõnikord võivad ennustavad mudelid midagi seletada.

    +1 keerukuse ** mainimise eest, mida parimad vastused otseselt ei maininud. Väljakutse tekib aga siis, kui sekkumisteks kasutatakse selgitavaid mudeleid. Kuidas tagada, et hinnangulised koefitsiendid ei oleks kallutatud, mis on parsimooniast tulenev tavaline probleem?
    #9
    +5
    Shane
    2010-08-04 02:30:22 UTC
    view on stackexchange narkive permalink

    nagu teised juba ütlesid, on eristamine mõnevõrra mõttetu, välja arvatud uurija eesmärkide osas.

    Brad Efron, artikli The Two Cultures üks kommentaatoritest, tegi järgmise tähelepaneku (nagu arutati minu varasemas küsimuses):

    Ennustamine iseenesest on piisav vaid aeg-ajalt. Postkontor tunneb heameelt kõigi meetodite üle, mis ennustavad käsitsi kirjutatud kriipsude järgi õigeid aadresse. Peter Gregory võttis oma uuringu ette ennustamiseks, aga ka hepatiidi meditsiinilise aluse paremaks mõistmiseks. Enamiku statistiliste uuringute põhieesmärgiks on põhjuslike tegurite kindlakstegemine.

    Teatud valdkonnad (nt meditsiin) panevad mudeli sobitamise seletava protsessina (jaotus jms) raskeks kui vahend andmete mõistmise aluseks oleva protsessi mõistmiseks. Teised valdkonnad on sellega vähem seotud ja tunnevad heameelt "musta kasti" mudeli üle, millel on väga suur ennustav edu. See võib toimida ka mudeli ehitamise protsessis.

    #10
    +5
    gung - Reinstate Monica
    2011-11-26 09:23:21 UTC
    view on stackexchange narkive permalink

    Austusega võiks see küsimus paremini keskenduda. Kas inimesed on kunagi kasutanud üht terminit, kui teine ​​oli sobivam? Jah, muidugi. Mõnikord on see kontekstist piisavalt selge või te ei soovi olla pedantne. Mõnikord on inimesed oma terminoloogias lihtsalt lohakad või laisad. See kehtib paljude inimeste kohta ja ma pole kindlasti parem.

    Mis siin potentsiaalset väärtust omab (arutledes seletuse ja CV ennustamise üle), on selgitada nende kahe lähenemise vahet. Lühidalt, vahet tehes keskendutakse põhjuslikkuse rollile. Kui soovite mõista mõnda maailma dünaamikat ja selgitada, miks midagi juhtub, peate tuvastama asjakohaste muutujate põhjuslikud seosed. Ennustamiseks võite ignoreerida põhjuslikku seost. Näiteks võite ennustada mõju teadmistest selle põhjuse kohta; põhjuse olemasolu saate ennustada teadmise põhjal, et tagajärg tekkis; ja saate ühe efekti ligikaudse taseme ennustada, teades teist mõju, mis on ajendatud samast põhjusest. Miks peaks keegi tahtma seda teha? Suurendada oma teadmisi selle kohta, mis tulevikus juhtuda võib, et nad saaksid vastavalt sellele planeerida. Näiteks võib eelarvekohus soovida osata ennustada tõenäosust, et süüdimõistetu kordub, kui teda vabastatakse. Kuid see ei ole selgitamiseks piisav. Muidugi võib kahe muutuja tõelise põhjusliku seose hindamine olla äärmiselt keeruline. Lisaks on ennustamiseks sageli halvemad tegelikke põhjuslikke seoseid haaravad mudelid (mida arvatakse olevat). Miks siis seda teha? Esiteks, suurem osa sellest tehakse teaduses, kus mõistmise poole püütakse tema enda nimel. Teiseks, kui suudame usaldusväärselt välja selgitada tõelised põhjused ja suudame arendada võimet neid mõjutada, saame mõjusid mõjutada.

    Statistilise modelleerimise strateegia osas pole suurt erinevust. Eelkõige seisneb erinevus selles, kuidas uuringut läbi viia. Kui teie eesmärk on osata ennustada, uurige, milline teave on mudeli kasutajatele kättesaadav, kui nad peavad ennustama. Teave, millele neil puudub juurdepääs, ei ole väärtus. Kui nad tahavad suure tõenäosusega osata ennustada ennustajate teatud tasemel (või kitsas vahemikus), proovige ennustaja valimisse kuuluv vahemik sellele tasemele koondada ja seal üle valida. Näiteks kui tingimisi vabastamise komisjon soovib enamasti teada kahe suurema veendumusega kurjategijate kohta, võite koguda teavet ühe, teise ja kolme süüdimõistva kohtuotsusega kurjategijate kohta. Teisalt nõuab muutuja põhjusliku seisundi hindamine põhimõtteliselt katset. See tähendab, et eksperimentaalsed üksused tuleb juhuslikult määrata selgitavate muutujate etteantud tasemetele. Kui on mures selle pärast, kas põhjusliku mõju olemus sõltub mõnest muust muutujast, tuleb see muutuja katsesse kaasata. Kui tõelist katset ei ole võimalik läbi viia, siis seisate silmitsi palju keerulisema olukorraga, mis on siin käimiseks liiga keeruline.

    Mind huvitab põhjuslikkuse roll. Oletame näiteks, et meil on plokkide komplekti $ (x, y, z, v) $ mõõtmete ja mahtude andmekogum ning modelleerime nende seost, regresseerides $ z $ väärtusele $ (x, y, v ) $ (ja nende koostoimed). Mis mõttes võib öelda, et kaks dimensiooni ja maht "põhjustavad" kolmanda dimensiooni? Seetõttu näib, et selgituse ja ennustuse eristamine põhineb millelgi põhimõtteliselt erineval; nimelt analüüsi * eesmärk *. Teie viimase lõigu kohta on sellel saidil palju kontosid, mis kinnitavad teravaid erinevusi strateegias.
    Teil on õigus, see sõltub uuringu eesmärgist. Ma arvan, et ma ei väljendanud seda selgesõnaliselt (rääkisin ainult sellest, mida soovite * saavutada). Samuti on tõsi, et seletus ei pea olema seotud täpselt põhjuslikkusega - sobib ka põhjuslikkusele analoogne (nt dimensioonid - mahtjuhtum on loogiline / matemaatiline implikatsioon). Kuid enamik selgitavaid modelleerimisi keskendub põhjuslikkusele; Ma arvasin, et võiksin lihtsuse huvides sellise asja vahele jätta. Lõpuks, strateegia erineb uuringu kavandamisel ja andmete kogumisel, kuid y-ga taandumine x-l on üsna sama.
    Tänan vastuse eest. Muudelt selle saidi vahetustelt olen õppinud mõistma universaalseid väiteid, nagu "enamik selgitavaid põhjuslikkuse põhjuslikke modelleerimiskeskusi", et kajastada kirjaniku tausta ja kogemusi, mitte olla sõna otseses mõttes tõene. Füüsika- ja "rasketes" teadustes võib see väide olla õige, kuid sotsiaalsetes ja "pehmetes" teadustes kahtlen, et praktikud esitaksid nii tugeva väite. Sageli arvatakse uuritavatel suhetel tegelikult olevat ühiseid varjatud põhjuseid, kuid need ei kajasta otsest põhjuslikku seost regressorite ja regressi vahel.
    @whuber on kindlasti tõsi, et minu ideid mõjutavad minu taust ja kogemused. Kui see vastus pole kasulik (märkan, et see pole veel ühtegi häält saanud), võin selle kustutada. Paljud teised on andnud vastused, mis hõlmavad ideid, mida ma mõtlesin edasi anda.
    @whuber - hea näide pehmest põhjuslikkusest on "suitsetamine põhjustab vähki", ehkki olen kindel, et leiate ketisuitsetaja, kellel pole vähki. Põhjuslikkuse mõiste on seotud sündmuste ajastusega. Põhjus peab juhtuma enne tagajärge - see selgitab, miks kuubi näitel pole mõtet.
    #11
    +4
    Brett
    2011-11-30 00:22:57 UTC
    view on stackexchange narkive permalink

    Enamik vastuseid on aidanud selgitada, mis on selgituse modelleerimine ja ennustamise modelleerimine ning miks need erinevad. Siiani pole selge, kuidas kuidas need erinevad. Niisiis, mõtlesin, et pakun ühe näite, mis võib olla kasulik.

    Oletame, et oleme kolledži GPA modelleerimisel akadeemilise ettevalmistuse funktsioonina huvitatud. Akadeemilise ettevalmistuse mõõdupuuks on meil:

    1. sobivuskontrolli tulemused;
    2. HS GPA; ja
    3. läbitud AP-testide arv.

    Ennustamisstrateegia

    Kui eesmärk on ennustamine, võiksin kasutada kõiki neid muutujaid lineaarses mudelis üheaegselt ja minu peamine mure oleks ennustatav täpsus. Ükskõik milline muutujatest osutub College GPA ennustamiseks kõige kasulikumaks, lisatakse lõplikku mudelisse.

    Selgitusstrateegia

    Kui eesmärk on selgitus, võiksin olla rohkem mures andmete vähendamise pärast ja mõelda hoolikalt sõltumatute muutujate vahelistele korrelatsioonidele. Minu peamine mure oleks koefitsientide tõlgendamine.

    Näide

    Tüüpilises korrelatsiooniga ennustajatega mitmemõõtmelises probleemis pole haruldane jälgida regressioonikordajaid, mis on "ootamatud". Arvestades sõltumatute muutujate omavahelisi seoseid, ei oleks üllatav näha osade koefitsientide olemasolu nende muutujate puhul, mis ei ole nende nulljärjekorra suhetega samas suunas ja mis võivad tunduda vastuolulised ja raskesti seletatavad.

    Oletame näiteks, et mudel viitab sellele, et (kui arvestada sobivustesti skoori ja edukalt täidetud AP-testide arvu) on kõrgemate keskkoolide GPA-d seotud madalamate kolledži GPA-dega. See pole prognoosimise probleem, kuid see tekitab probleeme seletava mudeli jaoks, kus sellist suhet on raske tõlgendada . See mudel võib pakkuda valimi prognoosidest parimat, kuid aitab meil vähe mõista akadeemilise ettevalmistuse ja kolledži GPA vahelisi seoseid.

    Selle asemel võib selgitusstrateegias otsida muutuja vähendamise vorme, näiteks peamist komponendid, tegurianalüüs või SEM, et:

    1. keskenduda muutujale, mis on parim akadeemilise tulemuslikkuse näitaja, ja modelleerida College GPA-d sellele ühele muutujale; või
    2. kasutage faktorite skoore / varjatud muutujaid, mis on tuletatud akadeemilise ettevalmistuse kolme mõõdiku kombinatsioonist, mitte teoreetilisi muutujaid.

    Sellised strateegiad võivad vähendada mudel, kuid need võivad anda parema ülevaate sellest, kuidas akadeemiline ettevalmistus on seotud kolledži GPA-ga.

    Mis puutub kontr-intuitiivsesse märki, siis ma mõtlen, kas see on sellepärast, et teie intuitsioon tõlgendab valet kahemuutujat - nagu peamist efekti, nagu oleks see pesastatud või vastasmõju.
    #12
    +3
    Lionel Henry
    2012-10-16 14:05:15 UTC
    view on stackexchange narkive permalink

    Tahaksin pakkuda sellele küsimusele mudelikeskset vaadet.

    Enamikus analüüsides juhtub ennustavat modelleerimist. Näiteks seab aresearcher regressioonimudeli koos hulga ennustajatega. Theregression koefitsiendid esindavad siis rühmade vahelisi ennustavaid võrdlusi. Ennustav aspekt tuleneb tõenäosusmudelist: järeldus tehakse superpopulatsiooni mudeli kohta, mis võib olla andnud vaadeldava populatsiooni või valimi. Selle mudeli eesmärk on ennustada sellest superpopulatsioonist tekkivate üksuste uusi tulemusi. Sageli on see asjatu eesmärk, sest asjad muutuvad pidevalt, eriti sotsiaalses maailmas. Või sellepärast, et teie mudel haruldaste üksuste kohta nagu riigid ja te ei saa uudisnäidist koostada. Mudeli kasulikkus on antud juhul jäetud analüütiku hinnangule.

    Kui proovite tulemusi üldistada teistele rühmadele või tulevastele üksustele, on see siiski ennustus, kuid teist tüüpi. Me võime näiteks prognoosida. Põhipunkt on see, et hinnanguliste mudelite ennustusjõud on vaikimisi kirjeldav . Võrdlete tulemust rühmade lõikes ja püstitate tõenäosusemodellide võrdluse, kuid te ei saa järeldada, et need võrdlused moodustavad põhjuslikud mõjud.

    Põhjuseks on see, et need rühmad võivad kannatada valiku eelarvamuste all. St võib loomulikult olla huvipakkuv tulemus kõrgem, olenemata ravist (hüpoteetiline põhjuslik seos). Või võib nende suhtes kehtida teistsugune raviefekt kui teistele rühmadele. Seetõttu on hinnangulised mudelid, eriti vaatlusandmete puhul, üldiselt ennustatavad võrdlused ja mitte selgitused. Selgitus käsitleb põhjusliku mõju tuvastamist ja hindamist ning nõuab hästi kavandatud katseid või instrumentaalsete muutujate läbimõeldud kasutamist. Sel juhul on prognoositavad võrdlused välja lõigatud mis tahes valiku eelarvamustest ja esindavad põhjuslikke mõjusid. Mudelit võib seega pidada järgmiseks seletav.

    Leidsin, et nende mõistete abil mõtlemine on sageli selgitanud, mida ma tegelikult tegin mõne teabe mudeli seadistamisel.

    +1, siin on head teavet. Ma oleksin ettevaatlik väite "Enamikus analüüsides juhtub ennustavat modelleerimist" osas. See, kas prognoosiv modelleerimine on levinum või mitte, varieerub erialade jms järgi. Ma arvan, et enamik akadeemiliste ringkondade modelleerimist on selgitavad ja et palju modelleerimist / andmekaevandamist tehakse erasektoris (nt tuvastatakse potentsiaalsed korduvad kliendid) on ennustav. Ma võin kergesti eksida, kuid seda on raske öelda a priori, mis juhtub enamasti.
    Noh, minu arvates on enamik vaatlusandmete modelleerimist ennustav, isegi kui eesmärk on selgitav. Kui te ei randomiseeri ravi omistamist ja kutsute eksperimentaalses seadistuses tegelikult muutusi esile, on teie regressioonikordajatel ainult kirjeldav väärtus, st need pakuvad ainult vahendeid ennustavateks võrdlusteks. Näiteks võite ennustada kooli edukust demograafiliste tunnuste põhjal, kuid see ei tähenda, et need demograafilised näitajad on selgitavad põhjuslikud tagajärjed. Põhjuseks on see, et võrdlevad ennustused puutuvad kokku valikuhälvega.
    #13
    +1
    Guest with A thought
    2014-09-03 00:22:27 UTC
    view on stackexchange narkive permalink

    Saame õppida palju rohkem, kui arvame Black boxi "ennustavatest" mudelitest. Peamine on erinevat tüüpi tundlikkusanalüüside ja simulatsioonide käivitamine, et tõepoolest mõista, kuidas mudelit OUTPUT mõjutavad muutused INPUT-ruumis. Selles mõttes võib ka puhtalt ennustav mudel anda selgitavaid teadmisi. See on punkt, mille teadlaskond sageli tähelepanuta jätab või valesti mõistab. See, et me ei saa aru, miks algoritm töötab, ei tähenda, et algoritmil puudub selgitusjõud ...

    Üldiselt on tõenäosusloogika lühike vastus peavoolu vaatenurgast täiesti õige ...

    On ebaselge, milliseid "seletavaid teadmisi" saab sel viisil hankida, kui selle fraasiga vihjate põhjuslikkusele.
    #14
    +1
    Aksakal
    2017-09-01 17:22:45 UTC
    view on stackexchange narkive permalink

    Statistikas on vahet, mida ta nimetab selgitavaks ja ennustavaks rakenduseks. Ta ütleb, et peaksime iga kord teadma, millist täpselt kasutatakse. Ta ütleb, et me segame neid sageli, seega segadus .

    Nõustun, et social science rakendustes on eristamine mõistlik, kuid loodusteadustes on need samad ja peaksidki olema. Samuti nimetan neid järeldamiseks vs prognoosimiseks ja nõustun, et sotsiaalteadustes ei tohiks neid segada.

    Alustan loodusteadustest. Füüsikas keskendume selgitamisele, püüame mõista, kuidas maailm töötab, mis põhjustab jne. Seega keskendutakse põhjuslikkusele, järeldusele ja muule. Teiselt poolt on ennustav aspekt ka teadusliku protsessi osa. Tegelikult on teooria tõestamise viis, mis juba tähelepanekuid selgitas hästi (mõelge valimisse), on uute tähelepanekute ennustamine ja seejärel prognoosimise kontrollimine. Kõigil teooriatel, millel puudub ennustusvõime, on füüsikas aktsepteerimise saavutamisega suuri probleeme. Sellepärast on sellised katsed nagu Michelson-Morley nii olulised.

    Sotsiaalteadustes on kahjuks aluseks olevad nähtused ebastabiilsed, kordamatud, taasesitamatud.Kui vaatate tuumade lagunemist, saate iga kord, kui neid jälgite, samad tulemused ja samad tulemused, mille sain mina või sada aastat tagasi kutt.Mitte majanduses ega rahanduses.Samuti on eksperimentide läbiviimise oskus väga piiratud, kõigil praktilistel eesmärkidel peaaegu olematu, me ainult vaatleme ja viime läbi juhuslikke vaatlusi .Ma võin jätkata, kuid idee on see, et nähtused, millega me tegeleme, on väga ebastabiilsed, seega pole meie teooriad sama kvaliteediga kui füüsikas.Seetõttu on üks viis, kuidas me olukorraga tegeleme, keskendumine kas järeldamisele (kui proovite mõista, mis põhjustab või mida mõjutab) või prognoosimisele (lihtsalt öelge, mis teie arvates juhtub selle või selle struktuuriga, eirake struktuuri)./ p>

    #15
      0
    Brijesh
    2017-09-01 17:00:10 UTC
    view on stackexchange narkive permalink

    Struktuurne mudel annaks selgituse ja ennustav mudel annaks ennustuse.Struktuurimudelil oleksid varjatud muutujad.Struktuurimudel on regressiooni ja faktoranalüüsi samaaegne kulminatsioon

    Varjatud muutujad avalduvad mitme kollineaarsuse vormis ennustusmudelites (regressioon).

    #16
    -1
    Poidah
    2020-01-10 09:10:33 UTC
    view on stackexchange narkive permalink

    Seletavat mudelit on kasutatud ka meditsiinis ja tervisealal, millel on väga erinev tähendus.Põhimõtteliselt võib see, mis inimestel on sisemiste veendumuste või tähendustena, olla aktsepteeritud seletustest üsna erinev.Näiteks võib religioossel inimesel olla seletav mudel, mille kohaselt oli haigus tingitud varasema käitumise eest karistamisest või karmast, nõustudes ka bioloogiliste põhjustega.

    https://thehealthcareblog.com/blog/2013/06/11/the-patient-explanatory-model/

    https://pdfs.semanticscholar.org/0b69/ffd5cc4c7bb2f401be6819c946a955344880.pdf

    Kas saaksite anda vähemalt kokkuvõtte nendelt linkidelt?- muidu on see pigem kommentaar kui vastus.
    Ma ei arvanud, et inimesi see huvitab.Kuna see on üsna matemaatiline rühm.Nii et ma hoidsin oma vastust piiratud.


    See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
    Loading...