Olgu andmete väärtuseks $ \ mathbf {x} = (x_1, \ ldots, x_n) $. Kirjutage empiirilise jaotuse jaoks $ F (\ mathbf {x}) $. Definitsiooni kohaselt on mis tahes funktsiooni $ f $ jaoks
$$ \ mathbb {E} _ {F (\ mathbf {x})} [f (X)] = \ frac {1} {n} \ sum_ {i = 1} ^ nf (x_i). $ $
Laske mudeli $ M $ tihedus $ e ^ {f (x)} $, kus $ f $ on määratletud mudeli toel. $ F (\ mathbf {x}) $ ja $ M $ rist-entroopia on määratletud järgmiselt:
$$ H (F (\ mathbf {x}), M) = - \ mathbb {E} _ {F (\ mathbf {x})} [\ log (e ^ {f (X)}] = - \ mathbb {E} _ {F (\ mathbf {x})} [f (X)] = - \ frac {1} {n} \ summa_ {i = 1} ^ nf (x_i). \ silt {1 } $$
Eeldades, et $ x $ on lihtne juhuslik valim, on selle negatiivne logi tõenäosus
$$ - \ log (L (\ mathbf {x})) = - \ log \ prod_ {i = 1} ^ ne ^ {f (x_i)} = - \ sum_ {i = 1} ^ nf ( x_i) \ tag {2} $$
logaritmide omaduste tõttu (need muudavad tooted summadeks).
Avaldis $ (2) $ on konstantne $ n $ korda väljend $ (1) $. Kuna kahjumi funktsioone kasutatakse statistikas ainult nende võrdlemisel, pole vahet, kas üks on (positiivne) konstant teisest. Selles mõttes on negatiivne logitõenäosus tsitaadis rist-entroopia.
Tsitaadi teise väite õigustamiseks on vaja natuke rohkem fantaasiat. Seos ruutveaga on selge, sest "Gaussi mudeli" puhul, mis ennustab väärtusi $ p (x) $ punktides $ x $, on $ f $ väärtus sellises punktis
$$ f (x; p, \ sigma) = - \ frac {1} {2} \ left (\ log (2 \ pi \ sigma ^ 2) + \ frac {(xp (x)) ^ 2 } {\ sigma ^ 2} \ paremal), $$
mis on ruuduviga $ (xp (x)) ^ 2 $ , kuid muudeti skaalaga $ 1 / (2 \ sigma ^ 2) $ ja nihutati funktsiooni $ \ sigma $ abil. Üks pakkumise korrektseks muutmiseks on eeldada, et see ei pea dollarit \ sigma $ "mudeli" osaks - $ \ sigma $ tuleb määrata kuidagi andmetest sõltumatult. Sel juhul on keskmise ruuduvea vahelised erinevused proportsionaalsed risti-entroopiate või log-tõenäosuste vaheliste erinevustega , muutes mudeli sobitamise eesmärgil kõik kolm samaväärseks.
(Tavaliselt sobib $ \ sigma = \ sigma (x) $ siiski modelleerimisprotsessi osaks, sel juhul ei oleks tsitaat päris õige.)