Claochladáin Físe Féinmhaoirsithe a Iniúchadh Le hAithint Gait san Fhiáin Cuid 2

2.2. Claochladáin Fís

Cé gur moladh ar dtús do thascanna NLP [16,34] le rath an-mhór, tá claochladáin tar éis a bheith in úsáid go forleathan i bhfís ríomhaireachta le blianta beaga anuas [24,25,28,35-37]. Bhain an dá fhearann ​​taitneamh as feidhmíocht nach bhfacthas riamh roimhe trí úsáid a bhaint as éagsúlachtaí éagsúla claochladáin, go páirteach mar gheall ar acmhainn mhéadaithe an mhúnla agus cumas an claochladáin chun tairbhe a bhaint as féin-mhaoirseacht i bhfad níos mó ná samhlacha roimhe seo [17].

Tá dlúthbhaint idir féinmhonatóireacht agus cuimhne. Tagraíonn féinmhonatóireacht do mheastóireacht agus do choigeartú iompraíochta, smaointeoireachta agus mhothúcháin an duine, agus tagraíonn cuimhne don chumas faisnéis a fháil, a phróiseáil agus a stóráil. Is féidir le féinmhonatóireacht cabhrú linn smacht níos fearr a fháil ar ár n-iompraíocht agus ár mothúcháin, rud a chuireann feabhas ar an gcuimhne.

Ar an gcéad dul síos, is féidir le féinmhonatóireacht cabhrú linn níos fearr a chur in aghaidh cathú. Bíonn claonadh ag cathú ár n-aird agus ár bhfuinneamh a dtarraingt agus cur isteach ar ár gcuimhne. Trí fhéinmhonatóireacht, is féidir linn sinn féin a rialú níos fearr agus seachráin iomarcacha a sheachaint, rud a chuireann le cuimhne.

Ar an dara dul síos, is féidir le féinmhonatóireacht cabhrú linn eolas a thuiscint agus a mheabhrú níos fearr. Ceadaíonn féinmhonatóireacht dúinn aird níos mó a thabhairt ar na príomhphointí faisnéise agus aird a thabhairt ar na naisc idir faisnéis, chun faisnéis a thuiscint agus a mheabhrú níos fearr. Nuair a thugaimid aird, táimid feistithe níos fearr chun faisnéis a thuiscint agus a choinneáil.

Ar deireadh, is féidir le féinmhonatóireacht cabhrú linn freisin breathnú níos fearr agus achoimre a dhéanamh ar ár n-iompraíocht agus ár smaointeoireacht. Trí mhachnamh a dhéanamh ar ár ngníomhartha agus ar ár bpróisis smaoinimh féin, is féidir linn easnaimh a aithint agus feabhas a chur orthu. Ní hamháin go bhfeabhsaíonn an feabhas seo ár n-iompraíocht agus ár smaointeoireacht ach cuireann sé lenár gcumas cuimhne freisin.

Go hachomair, tá dlúthbhaint idir féinmhonatóireacht agus cuimhne. Trí fhéinmhonatóireacht, is féidir linn sinn féin a rialú níos fearr, faisnéis a thuiscint agus a mheabhrú níos fearr, agus ár bpróisis iompraíochta agus smaoinimh a fheabhsú níos fearr. Ag an am céanna, cabhróidh sé seo linn freisin ár gcuimhne a fheabhsú, rud a ligeann dúinn staidéar a dhéanamh agus oibriú níos éifeachtaí. Lig dúinn ár spriocanna a shoiléiriú, sinn féin a choigeartú go gníomhach, agus dul chun cinn a leanúint i gcónaí! Is féidir a fheiceáil go gcaithfimid cuimhne a fheabhsú, agus is féidir le Cistanche deserticola feabhas mór a chur ar chuimhne, mar is féidir le Cistanche deserticola cothromaíocht neurotransmitters a rialáil freisin, mar shampla leibhéil acetylcholine agus fachtóirí fáis a mhéadú. Tá na substaintí seo an-tábhachtach don chuimhne agus don fhoghlaim. Ina theannta sin, is féidir le Feola sreabhadh fola a fheabhsú freisin agus seachadadh ocsaigine a chur chun cinn, rud a d'fhéadfadh a chinntiú go bhfaigheann an inchinn go leor cothaithigh agus fuinnimh, rud a fheabhsóidh beogacht agus seasmhacht na hinchinne.

Cliceáil fios forlíontaí chun cuimhne a fheabhsú

Dosovitskiy et al. [24] ba iad na chéad daoine a mhol úsáid ionchódóirí claochladáin le haghaidh aicmiú íomhá, ag tabhairt isteach an Trasfhoirmeoir Fís (ViT). Roinneann an ailtireacht an íomhá ionchuir ina phaistí de mhéid seasta de 16 × 16, leathnaíonn sé, agus réamh-mheastar iad le ciseal líneach go dtí an toise leabaithe. Cuirtear comhartha ranga breise (CLS) isteach sa seicheamh agus cuirtear ionchóduithe suímh le gach veicteoir.

An seicheamh leabaithe mar thoradh air a thugtar mar ionchur d'ionchódóir claochladán, a bhfuil an struchtúr céanna aige leis an gceann in [34] ach a úsáideann an t-oibreoir LayerNorm roimh gach bloc seachas tar éis (réamh-norm). Úsáidtear ceann MLP chun lipéad an ranga a fháil ón bhfaisnéis atá comhiomlánaithe go domhanda ar chomhartha an ranga.

An mheicníocht féin-aird a tugadh isteach ag Vaswani et al. [34] glacann sé seicheamh míreanna mar ionchur agus déanann sé meastachán ar an idirghníomhaíocht eatarthu go léir tríd an bhfaisnéis dhomhanda do gach eilimint sa seicheamh a chomhiomlánú. Chun idirghníomhaíochtaí difriúla idir gnéithe seichimh a ríomh, comhtháthaíonn an modúl féin-aire ilcheann (MSA) torthaí na n-ilbhloic féin-aire agus cuireann sé an t-aschur ar mhaitrís meáchain infhoghlama. Tá an t-ionchódóir claochladáin a tugadh isteach i [34] comhdhéanta de shraitheanna iolracha cruachta ar a bhfuil bloc MSA, bloc aiseolais (FFN), naisc iarmharacha idir gach bloc, agus LayerNorm (LN) tar éis gach bloc.

Tá Touvron et al. [25] dhá athrú ailtireachta a mholadh chun feabhas a chur ar fheidhmíocht claochladáin fhís dhomhain. Éascaíonn a gcéad ranníocaíocht, LayerScale, oiliúint na múnlaí níos doimhne trí mhaitrís trasnánach infhoghlama a chur leis a iolraítear faoi aschur na mbloc iarmharach. Toisc go bhfuil an maitrís tosaithe le luachanna beaga, cuireann sé iallach ar thorthaí na sraitheanna ionchódóra claochladáin ranníocaíocht bheag a bheith acu le haschur an bhloc iarmharaigh ag tús na hoiliúna.

Is é an dara ranníocaíocht atá acu ná an mheicníocht aire ranga. In ionad an comhartha CLS a chur i gceangal ar dtús, mar shampla sa VIT caighdeánach, cuirtear i gceangal leis tar éis roinnt bloic ionchódóra. Tar éis na céime seo, ní dhéantar ach comhartha an ranga a nuashonrú agus coinnítear na comharthaí paiste reoite. Cuidíonn an mheicníocht seo le díchúpláil na n-oibríochtaí féin-aire idir paistí ó chomhiomlánú na faisnéise a úsáidfear le haghaidh aicmithe.

Yuan et al. [28] a mhaíomh go bhfuil teorainn leis an comhartha simplí ar phaistí sa ViT fanaile nach féidir struchtúr áitiúil na híomhá a shamhaltú agus an t-idirghníomhú idir paistí comharsanachta. Dá bhrí sin, tugann siad isteach próiseas forásach comharthaíochta a chomhcheanglaíonn comharthaí comharsanacha isteach i gceann amháin.

Is éard atá sa phróiseas seo an modúl Reshape, a thógann seicheamh na gcomharthaí ón gciseal roimhe sin agus a thógann íomhá uathu bunaithe ar chomh gar agus atá an spásúlacht. Roinneann an modúl Soft Split an íomhá chomhthógtha ina paistí forluiteacha comharthaí agus cothaíonn sé iad chuig an gcéad ionchódóir eile. Cuirtear na comharthaí a ghintear tar éis an phróisis chomharthaíochta isteach i gcnámh droma cúngViT domhain le haghaidh aicmithe.

Mar a thug Wang et al. [35] dearadh an Trasfhoirmeoir Físe caighdeánach go sonrach le haghaidh aicmiú íomhá agus níl sé oiriúnach do thascanna eile amhail deighilt braite réad. Mar gheall air seo, molann siad an Pirimid Fís Trasfhoirmeoir (PVT) a fhaigheann inspioráid ó ailtireachtaí CNN trí léarscáileanna gné idirghabhálaí a tháirgeadh le laghdú toisí spásúlachta agus líon méadaitheach de chainéil.

Cabhraíonn an pirimid struchtúr seo leis an tsamhail gnéithe ilscála a fhoghlaim is féidir a úsáid le haghaidh tascanna éagsúla. Próiseálann an tsamhail comharthaí a fhaightear ó phaistí de thoisí 4 × 4 ar dtús, agus ag gach céim, comhfhreagraíonn na comharthaí do thoisí spáis níos mó paistí.

Is é O(N2· d) an costas ríomhaireachtúil a bhaineann le féinaird chlasaiceach, áit arb é N an líon comharthaí sa seicheamh agus is é d toise an veicteora. Éiríonn fadhb phraiticiúil leis an gcostas cearnach cearnach i dtéarmaí líon na n-chomharthaí le réiteach méadaithe ionchuiríomhá ós rud é go gcomhfhreagraíonn gach comhartha i seicheamh do phaiste san íomhá.

Sa litríocht, tá roinnt teicníochtaí ann chun an costas ríomhaireachtúil a bhaineann le féinaird vanilla a laghdú [26,35,36]. Úsáideann PVT [35] aird laghdaithe spáis, a laghdaíonn méid spásúil na veicteoirí Eochair agus Luach roimh an féin-aire le hoibriú athmhúnlaithe agus teilgean líneach.

Cuireann an claochladán Swin [36] a bhfuil struchtúr pirimid aige freisin in ionad an bhloc féin-aird le modúl a chomhfhogasú. Grúpálann an modúl paistí comharsanacha i bhfuinneoga áitiúla agus ní dhéanann siad ach an oibríocht féin-aire laistigh de na fuinneoga seo.

Chun an fhaisnéis a chur in iúl le fuinneoga eile, aistríonn sé na fuinneoga áitiúla ionas go mbeidh paistí ó fhuinneoga comharsanacha iontu freisin agus ríomhann sé féin-aird arís. Chu et al. [27] ghlac sé an ailtireacht PVT agus mhol modh comhchosúil chun féinaird a chomhfhogasú. Rinne siad aird áitiúil freisin idir paistí i bhfuinneog, cosúil leis an gclaochladán Swin.

Chun faisnéis a chur in iúl le fuinneoga eile, rinne siad féin-aird idir ionadaí ó gach fuinneog agus gach fuinneog eile. Tógann CrossFormer [26] ar an Pvt freisin. Úsáideann sé aird ghearr-achair, atá cosúil leis an aird áitiúil sa chlaochladán Swin, ach le haghaidh faisnéis a sceitheadh ​​​​go fuinneoga eile úsáideann sé aird fad-achair, a ríomhann an t-idirghníomhú idir paistí, a bhfuil achar seasta eatarthu. Comhcheanglaíonn sé paistí ilscála freisin atá dírithe ar an bpicteil chéanna chun na comharthaí a fháil do na bloic trasfhoirmeora, rud a chabhraíonn leis an tsamhail idirghníomhaíochtaí trasscála a fhoghlaim.

Tá Yang et al. [37] moltar an mheicníocht aird fócasaigh chun idirghníomhaíochtaí gearra agus fadraoin a fhoghlaim idir comharthaí a fhágann go mbeidh trasfhoirmeoirí radhairc in ann íomhánna ardtaifigh a phróiseáil. I gcás gach paiste íomhá, déanann an modúl féin-aire fócasach idirghníomhú le paistí dúnta go spásúil agus le fuinneoga achoimre paistí atá níos faide i gcéin. Déantar an t-achoimriú ar fhuinneoga paistí trí chomhthiomsú agus ní ghlactar le heolas nuair a bhíonn na paistí i bhfad ar shiúl.

Úsáideann an RegionViT [38] an PVTarchitecture agus cuireann sé dhá chonair chomharthaíochta le haghaidh gach léarscáil gné. Faigheann an chéad chonair chomharthaíochta comharthaí réigiúnacha arb é atá iontu paistí a chlúdaíonn líon mór picteilín. Faigheann an dara cosán chomharthaíochta comharthaí áitiúla a ghlacann faisnéis ar leibhéal íseal trí roinnt picteilín a bheith ann. Cothaítear an dá chineál comhartha seo mar ionchur don ionchódóir claochladán réigiúnach-go-áitiúil ina ríomhtar féin-aird ar dtús idir réigiúin, ansin idir gach comhartha réigiúnach agus na comharthaí áitiúla comhfhreagracha.

Comhcheanglaíonn ailtireacht LeViT [39] an dá CNN agus an mheicníocht féin-aird. Cuirtear íomhá isteach i ionchódóir CNN ar dtús, rud a laghdaíonn na toisí spáis agus a mhéadaíonn toise an chainéil. Cuirtear na gné-léarscáileanna a thagann chun cinn mar chuid de ViT ordlathach ina bhfuil modúl laghdaithe aird idir a ionchódóirí chun na toisí spásúla a laghdú tuilleadh agus chun toise cainéal na ngnéasléarscáileanna a mhéadú.

Baineadh úsáid freisin as ailtireachtaí atá bunaithe ar aird i dtascanna físbhunaithe inar gá faisnéis ama a chur san áireamh. Úsáideann ailtireachtaí, mar ViViT [40] agus TimeSformer [41], an mheicníocht féin-aire thar na toisí spásúla agus ama. Mar gheall air seo, foghlaimíonn an tsamhail an fhaisnéis spásúil a ghabháil ó gach fráma agus an t-athrú le himeacht ama.

3. Modh

San alt seo, cuirimid cur síos mionsonraithe ar gach ailtireacht agus hyperparaiméadar roghnaithe. Thairis sin, déanaimid cur síos ar an bpróiseáil sonraí agus ar na cinntí deartha atá beartaithe chun trasfhoirmeoirí fís a oiriúnú chun oibriú le seichimh chnámharlaigh. Ar deireadh, déanaimid cur síos ar na modhanna tosaigh, an prótacal meastóireachta, agus na tacair sonraí meastóireachta.

3.1. Ailtireacht Cur Síos

Rinneamar iniúchadh ar chúig leagan éagsúla de na Claochladáin Fís (Fíor 1), a forbraíodh le haghaidh ríomh níos fearr ar íomhánna, i dtéarmaí feidhmíochta íos-srutha agus am tátail. Go háirithe, déanaimid iniúchadh ar na clasaiceach ViT [24], CaiT [25], Token2Token ViT [28], agus Twins-SVT [27].

Go ginearálta, tá blasanna na gclaochladán radhairc ag réiteach le feabhsuithe ar an mbealach "clasaiceach" chun íomhánna a phróiseáil le claochladáin, mar a mholtar in ViT: roinntear na híomhánna i bpaistí comhionanna agus neamh-fhorluiteacha a leathnaítear agus a theilgtear isteach i spás tríthoiseach níos ísle. a láimhseáil ansin mar "chomharthaí", ar bhealach cosúil le hiarratais NLP. I gcás anailíse gait, comhfhreagraíonn paiste cearnach do ghrúpa hailt a athraíonn trasna fuinneog bheag ama.

Glacann an t-ionchódóir claochladán caighdeánach mar ionchur seicheamh míreanna (X ∈ Rn×d wheren - líon na míreanna, d-toise leabú) agus teilgeanann sé iad ar thrí mhaitrís meáchain infhoghlama éagsúla agus na Ceisteanna (Q ∈ Rn×dq) á bhfáil acu, na hEochracha (K ∈ Rn×dk, dk=dq), agus luachanna (V ∈ Rn×dv ), áit a bhfuil dq, dk, agus dv na toisí do na ceisteanna, eochracha agus luachanna, faoi seach. Ríomhtar aird mar:

I gcás fhormhór na n-ailtireacht, shocraigh muid líon na sraitheanna, na gceannairí aird, agus na gnéithe toisí nuair is féidir. Mar sin, roghnaimid 4 shraith le 4 headseach aird, toise 512 don líonra feedforward, agus méid leabaithe deiridh de 128.

ViT Faigheann an Trasfhoirmeoir Fís [24] seicheamh ionchuir comharthaí tríd an íomhá a roinnt ina paistí agus iad a theilgean go líneach go dtí an toise leabaithe. Tugtar an seicheamh iarmhartach chomh maith le comhartha aicme breise (CLS) mar ionchur d'ionchódóir claochladáin. Is féidir aschur ciseal a ríomh mar:

áit a bhfuil λl, i agus λ0l, ia ina paraiméadair infhoghlama. Déanann an tsamhail freisin ríomh na n-idirghníomhaíochtaí idir comharthaí ionchuir a dhíchúpláil ó ríomh leabaithe an ranga a chomhbhailíonn an fhaisnéis dhomhanda ar fad. Déantar é seo le haird an ranga a thugann comhartha CLS isteach sa seicheamh ionchuir tar éis na hidirghníomhaíochtaí a fháil agus na comharthaí eile a reo. Maidir leis an ionchódóir CaiT, d'úsáideamar an chumraíocht chéanna agus a bhí in ViT, ach don ionchódóir CLS, d'úsáideamar doimhneacht 2 shraith.

Token2Token ViT Tá próiseas forásach comharthaíochta san ailtireacht Token2Token [28] a mhúnlaíonn struchtúr áitiúil íomhá trí chomharthaí comharsanachta a chomhcheangal. Tógann an próiseas tokenization íomhá-chosúil ar dtús ó sheicheamh ionchuir de tokens le cabhair ón modúl Reshape. Ansin roinntear an íomhá ina phaistí forluiteacha comharthaí tríd an modúl Soft Split (SS). Ríomhtar an t-aschur mar thoradh ar an modúl tokenization mar:

Le haghaidh Token2Token, d'úsáideamar 2 shraith le méideanna paiste de {2, 8} agus {2, 4} don chéad ciseal, agus {4, 16} don dara sraith.

Cúpla-SVT Tagann an ailtireacht Cúpla-SVT [27] in ionad an bhloc féin-aire clasaiceach le modúl ar a dtugtar féin-aird go spásúil inscartha (SA) a chomhfhogasú an oibríocht. idirghníomhú ach amháin idir comharthaí laistigh den fhuinneog áitiúil céanna agus an aird fhoshampláilte dhomhanda (GSA) a chomhiomlánaíonn faisnéis dhomhanda trí fhéinaird a dhéanamh idir gach ionadaí de gach fuinneog áitiúil arna ríomh trí na comharthaí comharsanacha a chomhthiomsú. Is féidir oibríochtaí ciseal aTwins a scríobh mar:

Maidir leis an ionchódóir CrossFormer, d'úsáideamar toisí {16, 32, 64, 128} do na sraitheanna, méideanna fuinneoga domhanda de {4, 2, 2, 1}, méid fuinneog áitiúil 2, céimeanna tras-leabaithe de 2, aguscross -leabú méideanna eithne de {{2, 4, 8, 16}, {2, 4}, {2, 4}, {2, 4}}.

3.2. Réamhphróiseáil Sonraí

Maidir le tacair sonraí DenseGait agus GREW, bainimid úsáid as an nós imeachta réamhphróiseála céanna. I gcás gach seicheamh cnámharlaigh a bhaintear agus a rianú ina bhfuil 18 n-alt le x, agus y comhordanáidí agus scór muiníne breise, déanaimid normalú ar an seicheamh ar dtús trí dhíriú ar chomhordanáidí thepelvis (pelvis, pelvis) agus trí scálú go cothrománach agus go hingearach, de réir chomhréireanna an choirp dhaonna (.i. an fad idir guaillí: |xR.ghualainn − xL.ghualainn|agus an fad ón muineál go dtí an pelvis: |buneck − ypelvis|). I gcás gach comhordanáidí (comhpháirteach, comhpháirteach) de gach ceann de na 18 n-alt san fhormáid staidiúir COCO, cuirimid an nós imeachta normalaithe seo a leanas i bhfeidhm:

Tríd an bpróiseas normalaithe, cuirtear deireadh le difríochtaí idir réitigh ceamara agus fad an ábhair ón gceamara. Ina theannta sin, cuirimid deireadh le faisnéis láithrithe maidir le airde agus leithead ábhair, nach mbaineann le faisnéis gluaiseachta. Tá an chéim seo cosúil leis an gcéim ailínithe i múnlaí aitheantais aghaidh nua-aimseartha [42]. Thairis sin, bainimid úsáid freisin as ciseal normalú bhaisc [43] ag tús gach múnla chun an íomhá mar thoradh air a normalú tuilleadh.

I bhfianaise na toise ama T (ie, líon na bhfrámaí) agus toise spásúlachta an chnámharlaigh J (.i. líon na n-alt), déantar seichimh chnámharlaigh naive a ionchódú mar íomhánna de chruth (T, J, 3), áit, inár gcás, T {{ 1}} agus J=18.

Glacann formhór na gclaochladáin radhairc, áfach, gur íomhánna cearnacha iad. Dá bhrí sin, molaimid go bhfuil éagsúlachtaí iolracha den toise spásúil a athrú sa chaoi is go n-athraítear an íomhá go (T, T, 3), atá comhionann le líon na n-alt a mhéadú go saorga (féach Fíor 2).

For more information:1950477648nn@gmail.com