Teie hirmud on hästi põhjendatud ja läbinägelikud. Yahoo ja tõenäoliselt mitmed teised ettevõtted teevad kasutajatega randomiseeritud katseid ja teevad seda hästi. Vaatlusandmed on aga raskustes. On levinud väärarusaam, et valimi suurenedes probleemid vähenevad. See kehtib dispersiooni kohta, kuid kallutatus jääb konstantseks, kui n suureneb. Kui eelarvamus on suur, võib väga väike tõeliselt juhuslik valim või randomiseeritud uuring olla väärtuslikum kui 100 000 000 vaatlust.

Eksperimentaalses kavandamises ja analüüsis on mitmeid tehnikaid, mis aitavad teil kallutatust vähendada, kuid see taandub alati samale: peab teadma, mida ta teeb. Suurandmete analüüsil on sama probleem kui igal teisel andmete analüüsil; see kannatab hüpoteeside puudumise tõttu.

Selge näide on mitmekordne regressioon astmeliselt muutuva valikuga. Ütlemata väga tore, kuid mõõdetud statistiliste seaduste kohaselt määravad mõõdetud statistilised seadused, et mõned neist näitavad olulist seost, kui neid hinnata, vaadates, kas vastav koefitsient erineb oluliselt nullist. Nii et mida rohkem muutujaid teie andmekogumis on, seda suurem on võimalus leida kaks, mis näitavad mingit (mõttetut) seost. Ja mida suurem on teie andmekogum, seda suurem on võimalus mõttetute mudelite jaoks nt väikese segava efekti tõttu. Kui testite paljusid mudeleid (ja isegi ainult 10 muutujat, mis võivad olla terve hulk mudeleid), leiate suure tõenäosusega vähemalt ühe märkimisväärse. Kas see tähendab midagi? Ei.

Mida peaks siis tegema? Kasutage oma aju:

• sõnastage enne andmete kogumist hüpotees ja kontrollige seda hüpoteesi. See on ainus viis veenduda, et teie statistika tegelikult lugu räägib.
• Enne mõne testi tegemist kasutage oma variatsioonide kihistamiseks kovariaate. Rumal näide: kui teie andmekogus on 1000 meest ja 100 naist, valige juhuslikult 50, kui soovite rääkida keskmisest populatsioonist. See on tegelikult asi, kus suured andmed on kasulikud: teil on proovide tegemiseks rohkem kui piisavalt.
• Kirjeldage testpopulatsiooni põhjalikult, nii et on selge, millise populatsiooni jaoks teie järeldused on formuleeritud.
• Kui kasutate oma suurt andmekogumit uurimise eesmärgil, proovige hüpoteese, mille selle uurimise käigus välja pakkusite, uue ja erineva andmekogumi, mitte ainult alamhulga kogutud andmetest. Ja testige neid uuesti, kasutades kõiki vajalikke ettevaatusabinõusid.

Need asjad on kõik ilmsed ja tuntud. Heck, juba 1984. aastal näitasid Rosenbaum ja Rubin, kuidas kalduvusskoore kasutada vaatlusuuringute kallutatuse vähendamiseks, ja see on enamus suuri andmekogumeid: vaatlusandmed. Feng jt uuemates töödes propageeritakse ka Mahalanobise distantsi kasutamist. Ja tegelikult kirjutas üks minu statistikakangelane Cochran selle probleemi kohta ülevaate juba 1973. aastal! Või mis saab Rubinist, kes tutvustas mitmemõõtmelise sobitatava valimi ja regressiooni korrigeerimist juba 1979. aastal. Vanu väljaandeid alahinnatakse tõsiselt ja ignoreeritakse liiga sageli, kindlasti sellises valdkonnas nagu statistika.

Kõik nendel tehnikatel on plusse ja miinuseid ning tuleb mõista, et kallutatuse vähendamine ei ole sama mis kallutatuse kaotamine. Aga kui olete teadlik:

• mida soovite testida ja
• kuidas te seda teete

suured andmed on mitte ettekääne, et tulla valede tulemustega.

Redigeeritud pärast @ D.W (parandus) märkust. kes juhtis tähelepanu sellele, et ma kasutasin terminit "overfitting" vales kontekstis.