Katoavat ja räjähtävät kaltevuudet

Blogi

Tässä blogissa selitän, kuinka sigmoidiaktivaatiolla voi olla sekä katoava että räjähtävä kaltevuusongelma. Katoavat ja räjähtävät kaltevuudet ovat yksi suurimmista ongelmista, joita hermoverkko kohtaa. Katoava kaltevuus johtaa hitaaseen lähentymiseen ja räjähtävä kaltevuus johtaa liikaa painojen muutoksiin, ja tämä liiallinen muutos on enimmäkseen ei -toivottu. Katoavan kaltevuuden ja räjähtävän kaltevuuden vuoksi hermoverkot eivät lähentyvät.

Tämä blogi kertoo kadonneista ja räjähtävistä kaltevuuksista sigmoidiaktivaatiossa. Keskustellaan siis ensin, mikä on sigmoidifunktio.

Sigmoid -toiminto

Tämä on matemaattinen funktio, jolla on 'S'- muotoinen käyrä (tai sigmoidikäyrä). Tämä toiminto voidaan määritellä seuraavasti:

Kuva julkaisulle] ( https://miro.medium.com/max/170/1*VdGXvd-cJJGAvntpAVQ36Q.png '>

Kuva 3: Sigmoid -funktion johdannainen

Tämä on tämän toiminnon kauneus, koska sen johdannainen on sen suhteen. Tämä johdannainen on symmetrinen y-akselin suhteen ja johdannaisen maksimiarvo on ** 0,25. ** Sigmoidin johdannainen on siis [0,0.25]. Jotta johdannainen olisi suurin ** _ x = 0. _ ** Katsotaanpa sekä sigmoidin että sen johdannaisen kuvaaja.

Kuva postitusta varten

#mlp #hermoverkot #ai #syväoppiminen #koneoppiminen

levelup.gitconnected.com

Katoavat ja räjähtävät kaltevuudet

Katoavat ja räjähtävät kaltevuudet ovat yksi suurimmista ongelmista, joita hermoverkko kohtaa. Opetellaan siis, kuinka sigmoidiaktivaatiolla voi olla sekä katoava että räjähtävä kaltevuusongelma.