Categorical crossentropy ni chaguo la kukokotoa la hasara ambalo hutumika katika kazi za uainishaji wa aina nyingi. Hizi ni kazi ambapo mfano unaweza tu kuwa wa moja kati ya aina nyingi zinazowezekana, na mfano lazima uamue ni ipi. Rasmi, imeundwa ili kubainisha tofauti kati ya uwezekano wa usambazaji mbili.
Kwa nini utumie cross entropy badala ya MSE?
Kwanza, Cross-entropy (au softmax loss, lakini cross-entropy inafanya kazi vizuri zaidi) ni kipimo bora kuliko MSE cha uainishaji, kwa sababu mpaka wa uamuzi katika kazi ya uainishaji ni mkubwa(kwa kulinganisha na regression). … Kwa matatizo ya urejeshaji, karibu kila mara ungetumia MSE.
Kuna tofauti gani kati ya sehemu ndogo ya msalaba na entropy ya kategoria ya msalaba?
Tofauti pekee kati ya entropy ya kategoria chache na entropy ya kategoria ni umbizo la lebo za kweli. Tunapokuwa na tatizo la lebo moja, la uainishaji wa tabaka nyingi, lebo hutengana kwa kila data, kumaanisha kwamba kila ingizo la data linaweza kuwa la darasa moja pekee.
Je, unatafsiri vipi upotezaji wa sehemu mbalimbali za siri?
Intropy huongezeka kadri uwezekano uliotabiriwa wa sampuli unavyotofautiana na thamani halisi. Kwa hivyo, kutabiri uwezekano wa 0.05 wakati lebo halisi ina thamani ya 1 huongeza cross entropy loss. inaashiria uwezekano uliotabiriwa kati ya 0 na 1 kwa sampuli hiyo.
Kwa nini cross entropy ni nzuri?
Kwa ujumla, kama tunavyoona mtambuka ni njia ya kupima uwezekano wa modeli. Njia-tofauti ni muhimu kwani inaweza kueleza uwezekano wa muundo na utendakazi wa hitilafu wa kila nukta ya data. Inaweza pia kutumiwa kuelezea matokeo yaliyotabiriwa kulinganisha na matokeo ya kweli.
