Rangelt võttes sobivad närvivõrgud mittelineaarsele funktsioonile.

Neid saab tõlgendada tõenäosustiheduse funktsiooni sobitamisena, kui valitakse sobivad aktiveerimisfunktsioonid ja peetakse kinni teatud tingimustest (väärtused peavad olema positiivsed ja $ \ leq $ 1 jne ...).Kuid see on küsimus selles, kuidas otsustate nende väljundit tõlgendada, mitte selles, mida nad tegelikult teevad.Kapoti all on nad endiselt mittelineaarsed funktsioonihindajad, mille valite rakendamiseks PDF-i hindamise konkreetsele probleemile.

Üldiselt ei kasutata neuronivõrke täielike tõenäosustiheduste modelleerimiseks. Nende eesmärk on lihtsalt jaotuse keskmise modelleerimine (või deterministlikus olukorras lihtsalt mittelineaarne funktsioon). Sellegipoolest on neuronivõrkude kaudu väga tõenäoline tiheduse modelleerimine võimalik.

Üks lihtne viis seda teha on näiteks Gaussi juhtumi korral keskmisest ühest väljundist ja dispersioonist teisest võrgu väljundist eraldamine ning seejärel $ -log N minimeerimine (y | x; \ mu, \ sigma) $ funktsioon treeningprotsessi osana tavalise ruudu vea asemel. See on maksimaalse tõenäosusega protseduur närvivõrgu jaoks.

Kui olete selle võrgu alati välja õpetanud, ühendate sisendina väärtuse $ x $, annab see teile $ \ mu $ ja $ \ sigma $, seejärel võite ühendada kogu kolmiku $ y, \ mu, \ sigma $ tiheduseni $ f (y | x) \ sim N (\ mu, \ sigma) $, et saada tiheduse väärtus iga soovitud $ y $ jaoks. Selles etapis saate domeeni reaalse kadumise funktsiooni põhjal valida, millist $ y $ väärtust kasutada. Üks asi, mida tuleks meeles pidada, on see, et $ \ mu $ jaoks peaks väljundi aktiveerimine olema piiramatu, et saaksite emiteerida $ - \ inf $ kuni $ + \ inf $, samas kui $ \ sigma $ peaks olema ainult positiivne aktiveerimine.

Üldiselt, välja arvatud juhul, kui see on deterministlik funktsioon, mida me järgime, on närvivõrkudes kasutatav tavaline ruudukahjumiga treening üsna sama protseduur, mida ma eespool kirjeldasin. Kapoti all eeldatakse kaudselt $ Gaussi $ jaotust, hoolimata sellest, et $ \ sigma $ peaks hoolima, ja kui uurite hoolikalt $ -log N (y | x; \ mu, \ sigma) $, annab see teile avaldise ruutu kaotuse kohta ( Gaussi maksimaalse tõenäosuse hinnangu kaotajafunktsioon). Selles stsenaariumis olete aga oma meele järgi $ y $ väärtuse asemel alati uue $ x $ väärtuse andmise korral alati $ \ mu $ kiirgamine.

Klassifitseerimiseks on väljundiks $ Bernoulli $ jaotus $ Gaussian $ asemel, millel on üks parameeter.Nagu teises vastuses täpsustatud, on see parameeter vahemikus $ 0 $ kuni $ 1 $, nii et väljundi aktiveerimine peaks olema vastav.See võib olla logistiline funktsioon või midagi muud, mis saavutab sama eesmärgi.

Keerukam lähenemine on piiskopi segutiheduse võrgud.Selle kohta saate lugeda siin sageli viidatud artiklist:

https://publications.aston.ac.uk/373/1/NCRG_94_004.pdf

Minu eriarvamus on see, et enamikus muljetavaldavates praktilistes rakendustes (näiteks nendes, kus neid meedias kõige rohkem kajastatakse) pole see funktsioon ega tõenäosus. Nad viivad ellu stohhastilisi otsuseid.

Pealtnäha näib, et NN lihtsalt sobib funktsiooniga, järjekorda viite universaalne lähendamine . Mõnel juhul, kui kasutatakse teatud aktiveerimisfunktsioone ja konkreetseid eeldusi, näiteks Gaussi tõrkeid, või kui loete referaate Bayesi võrkudes, näib, et NN suudab tekitada tõenäosusjaotusi.

See kõik on aga lihtsalt muide. Mida NN kavatseb teha, on otsuste langetamine. Kui autot juhib tehisintellekt, ei püüa selle NN arvutada tõenäosust, et tal on objekt ees, arvestades, et on tõenäosuse arvutamiseks, et tegemist on inimesega. Samuti ei arvuta see mitmesuguste objektide andurite sisendite kaardistamist. Ei, NN peaks kogu sisendi põhjal tegema otsuse külili juhtimiseks või läbisõidu jätkamiseks. See pole tõenäosuse arvutamine, vaid autole öeldu, mida teha.