Küsimus:
Mis vahe on ettepoole suunatud ja korduvate närvivõrkude vahel?
Shane
2010-08-30 20:33:28 UTC
view on stackexchange narkive permalink

Mis vahe on edasisuunamise ja korduva närvivõrgu vahel?

Miks peaksite kasutama üht teist?

Kas on olemas muid võrgutopoloogiaid?

Tihedalt seotud: https://stats.stackexchange.com/questions/287276/difference-between-convolutional-neural-network-and-recurrent-neural-network
Kolm vastused:
#1
+61
George Dontas
2010-08-30 23:23:24 UTC
view on stackexchange narkive permalink

Edastamine võimaldab signaalidel liikuda ainult ühes suunas: sisendist väljundini. Tagasiside puudub (tsüklid); st ei mõjuta ühegi kihi väljund seda sama kihti. Edasisuunamise ANN-id on enamasti sirgjoonelised võrgud, mis seovad sisendid väljunditega. Neid kasutatakse laialdaselt mustrituvastuses. Seda tüüpi organisatsiooni nimetatakse ka alt üles või ülalt alla.

A feed-forward network

Tagasiside ( või korduvad või interaktiivsed) võrgud võivad signaale liikuda mõlemas suunas, sisestades võrku silmuseid. Tagasiside võrgud on võimsad ja võivad muutuda äärmiselt keerukaks. Varasematest sisenditest tuletatud arvutused suunatakse võrku tagasi, mis annab neile omamoodi mälu. Tagasiside võrgud on dünaamilised; nende 'olek' muutub pidevalt, kuni nad jõuavad tasakaalupunkti. Need jäävad tasakaalupunkti seni, kuni sisend muutub ja tuleb leida uus tasakaal.

feedback architecture

Ettepoole suunatud närvivõrgud sobivad ideaalselt ennustajahulga vaheliste suhete modelleerimiseks. või sisendmuutujad ja üks või mitu vastus- või väljundmuutujat. Teisisõnu, need sobivad mis tahes funktsionaalse kaardistamise probleemi jaoks, kus me tahame teada, kuidas mitmed sisendmuutujad mõjutavad väljundmuutujat. Mitmekihilised ettepoole suunatud närvivõrgud, mida nimetatakse ka mitmekihilisteks perceptroniteks (MLP), on praktikas kõige enam uuritud ja kasutatud närvivõrgu mudel.

Tagasiside võrgu näitena võin meenutada Hopfieldi võrku. Hopfieldi võrgu peamine kasutusala on assotsiatiivne mälu. Assotsiatiivmälu on seade, mis aktsepteerib sisendimustrit ja genereerib väljundi salvestatud mustrina, mis on sisendiga kõige tihedamalt seotud. Seotud mälu ülesanne on vastava salvestatud mustri tagasikutsumine ja seejärel väljundis mustri selge versiooni loomine. Hopfieldi võrke kasutatakse tavaliselt kahendmustrivektoritega seotud probleemide korral ja sisendmuster võib olla ühe salvestatud mustri mürarikas versioon. Hopfieldi võrgus on salvestatud mustrid kodeeritud võrgu kaaludena.

Kohoneni iseorganiseeruvad kaardid (SOM) tähistavad teist närvivõrgu tüüpi, mis erineb oluliselt edasiviivad mitmekihilised võrgud. Erinevalt edasijõudva MLP-s treenimisest nimetatakse SOM-i koolitust või õppimist sageli järelevalveta, kuna SOM-is pole iga sisendmustriga teadaolevat sihtväljundit ja treeningprotsessi käigus töötleb SOM sisendimustreid ja õpib andmeid klastreerima või segmenteerima kaalu reguleerimise kaudu (mis muudab selle oluliseks närvivõrgu mudeliks mõõtmete vähendamisel ja andmete klastrimisel). Kahemõõtmeline kaart luuakse tavaliselt selliselt, et sisendite omavaheliste seoste järjestused säiliksid. Klastrite arvu ja koosseisu saab visuaalselt määrata koolitusprotsessi käigus genereeritud väljundijaotuse põhjal. Kuna koolitusvalimis on ainult sisestatud muutujad, on SOM-i eesmärk õppida või avastada andmete aluseks olevat struktuuri.

(Diagrammid pärinevad Dana Vrajitoru C463 / B551 tehisintellekti veebisaidilt.)

Kas edastusvõrk, mis kasutab väljundeid korduvalt sisenditena, loetakse korduva võrguna?
Jah, see on tõepoolest nii.
Minu eelmine kommentaar oli vale.Osa sellest postitusest näiliselt plagieeris [see isik] (http://www.academia.edu/5886469/AF4102237242) (kui kõrvale jätta paar väiksemat sõnamuutust) ilma krediiti.
Püüan matemaatiliselt mõista, miks RNN-id on paremad voogesituse võrkudest.Kas on näiteid, kus Feed-forward ANN-i abil on seda väga raske ligikaudselt hinnata, kuid RNN-iga lihtne.
#2
+15
bayerj
2011-02-27 22:29:59 UTC
view on stackexchange narkive permalink

See, mida George Dontas kirjutab, on õige, kuid RNN-ide kasutamine on tänapäeval praktikas piiratud lihtsama probleemiklassiga: aegrida / järjestikused ülesanded.

Kuigi eelvõrke kasutatakse selliste andmekogumite õppimiseks nagu $ (i, t) $ kus $ i $ ja $ t $ on vektorid, nt $ i \ in \ mathcal {R} ^ n $ , korduvate võrkude jaoks $ i $ on alati järjestus, nt $ i \ in (\ mathcal {R} ^ n) ^ * $ .

On näidatud, et RNN-id suudavad esindada mis tahes mõõdetavat järjestust järjestuse kaardistamiseks Hammeri abil.

Seega kasutatakse RNN-e tänapäeval igasuguste järjestikuste ülesannete jaoks: aegridade ennustamine, järjestuste sildistamine, järjestuste klassifikatsioon jne. Hea ülevaate leiate Schmidhuberi lehelt RNN-idel.

"Kuigi eelvõrke kasutatakse selliste andmekogumite õppimiseks nagu (i, t), kus i ja t on vektorid (nt i∈Rn, korduvate võrkude puhul olen alati järjestus, nt i∈ (Rn) ∗" tean, et see küsimus oli küsis juba ammu, aga kas te ei viitsiks seletada, mida see võhiklikult tähendab? Pean põhjendama põhjust, miks otsustasin oma projektis kasutada RNN-i kaudu voogesituse võrku, ja arvan, et see võib olla põhjus. Ja / Või kas saaksite mind linkida allikaga, mis võimaldab mul seda põhjendust esitada? Pärast otsimist ei saa ma seda ise leida. Tänan, mis tahes vastus on väga hinnatud!
See vastus on nüüd kuidagi vananenud.Kuigi RNN-id sobivad järjestusandmetele loomulikult, saab neid kasutada ka staatiliste sisendite (näiteks piltide või muu) ennustamiseks.Vt: [korduv konvolutsiooniline närvivõrk objektide tuvastamiseks] (https://ieeexplore.ieee.org/document/7298958) ja [tõendid selle kohta, et korduvad ahelad on tuumobjekti ventraalse voo teostamine tuvastamise käitumine] (https://www.nature.com/articles/s41593-019-0392-5)
#3
+1
ArtificiallyIntelligence
2018-12-03 07:06:22 UTC
view on stackexchange narkive permalink

Mis on selle küsimuse esitamisel tegelikult huvitav?

Selle asemel, et öelda RNN ja FNN on nende nime poolest erinevad. Nii et nad on erinevad. Ma arvan, et huvitavam on dünaamilise süsteemi modelleerimise mõistes, kas RNN erineb palju FNN-st?

Taust

Dünaamilise süsteemi modelleerimise üle on arutletud korduva närvivõrgu ja Feedforwardi närvivõrgu vahel koos lisafunktsioonidega nagu eelmised viivitused (FNN-TD).

Minu teada pärast nende paberite lugemist 90ndatel ~ 2010ndatel. Suurem osa kirjandusest eelistab, et vanilje RNN on parem kui FNN, kuna RNN kasutab dünaamilist mälu, samas kui FNN-TD on staatiline mälu.

Nende kahe võrdlemiseks pole siiski palju arvulisi uuringuid. Varajane üks [1] näitas, et dünaamilise süsteemi modelleerimiseks näitab FNN-TD võrreldavat jõudlust vanilje RNN-iga, kui see on müravaba , samas kui müra korral on see veidi halvem. Dünaamiliste süsteemide modelleerimise kogemuste põhjal näen, et FNN-TD on piisavalt hea.

Mis on peamine erinevus RNN ja FNN-TD mäluefektide ravimisel?

Kahjuks ei näe ma kuskil ja ükski väljaanne näitas teoreetiliselt nende kahe erinevust. See on üsna huvitav. Vaatame lihtsat juhtumit, kasutades $ X_n, X_ {n-1}, \ ldots, X_ {nk} $ , et ennustada $ X_ {n + 1} $ . Nii et see on järjestus-skalaarne ülesanne.

FNN-TD on kõige üldisem ja ulatuslikum viis nn mäluefektide raviks. Kuna see on jõhker, hõlmab see teoreetiliselt mis tahes liiki, igasugust mäluefekti. Ainus negatiivne külg on see, et see võtab praktikas lihtsalt liiga palju parameetreid.

RNN-is olev mälu ei ole muud kui eelmise teabe üldine "konvolutsioon" . Me kõik teame, et konvolutsioon kahe skalaarse järjestuse vahel üldiselt ei ole pöörduv protsess ja dekonvolutsioon on enamasti halvasti paigas.

Minu oletused on "vabaduse aste" sellises pöördeprotsessis määratakse peidetud üksuste arv ga RNN-olekus $ s $ . Ja see on mõne dünaamilise süsteemi jaoks oluline. Pange tähele, et "vabadusastet" saab laiendada oleku viivitamise kinnitusaega viivitades [2], säilitades samas arvu peidetud üksusi.

Seetõttu tihendab RNN eelmist mäluteavet konvolutsiooni tehes kadudega, samal ajal kui FNN-TD lihtsalt paljastab need teatud mõttes, kaotamata mäluinfot. Pange tähele, et konversioonis saate infokadu vähendada, suurendades varjatud üksuste arvu või kasutades rohkem viivitusi kui vanilje RNN. Selles mõttes on RNN paindlikum kui FNN-TD. RNN ei võimalda mälukaotust, kuna FNN-TD ja võib olla triviaalne näidata parameetrite arvu samas järjekorras.

Ma tean, et keegi võiks soovida mainida, et RNN kannab pikka aega efekti, samas kui FNN-TD mitte. Selle jaoks tahan lihtsalt mainida, et pideva autonoomse dünaamilise süsteemi jaoks on Takensi manustamise teooriast üldine omadus, et näiliselt lühikese ajamäluga FNN-TD jaoks on olemas kinnistamine, et saavutada sama jõudlus kui näiliselt pikk aeg mälu RNN-is. See selgitab, miks RNN ja FNN-TD ei erine 90-ndate alguses pideva dünaamilise süsteemi näites palju.

Nüüd mainin RNN-i eeliseid. Autonoomse dünaamilise süsteemi ülesande täitmiseks oleks varasema termini kasutamine rohkem, ehkki see oleks tegelikult sama, mis FNN-TD kasutamine vähemate varasemate terminitega teoreetiliselt, kuid arvuliselt oleks see kasulik, kuna see on müra suhtes vastupidavam. Aasta [1] tulemus on selle arvamusega kooskõlas.

Viide

[1] Gençay, Ramazan ja Tung Liu."Mittelineaarne modelleerimine ja ennustamine edasiviivate ja korduvate võrkudega."Physica D: mittelineaarsed nähtused 108,1-2 (1997): 119-134.

[2] Pan, Shaowu ja Karthik Duraisamy."Andmepõhine sulgemismudelite avastamine."arXiv eelprint arXiv: 1803.09318 (2018).



See küsimus ja vastus tõlgiti automaatselt inglise keelest.Algne sisu on saadaval stackexchange-is, mida täname cc by-sa 2.0-litsentsi eest, mille all seda levitatakse.
Loading...