Claochladáin Físe Féinmhaoirsithe a Iniúchadh Le hAithint Gait san Fhiáin Cuid 1

Coimriú:

Is bithmhéadrach cumhachtach é an modh siúil (gait) a úsáidtear mar mhodh méarlorgaireachta uathúil, rud a fhágann gur féidir anailísíocht iompraíochta neamhfheiceálach a dhéanamh i bhfad uait gan comhoibriú ábhair.

Tá a fhios againn go léir go gcuidíonn aclaíocht le dea-shláinte. Chomh maith leis seo, cabhraíonn aclaíocht le feabhas a chur ar chuimhne. Is é siúl an cineál aclaíochta is simplí agus is éasca le cleachtadh, agus baineann go leor daoine taitneamh as a bheith ag scíth a ligean agus iad ag siúl nó ag bogshodar. Anois, léiríonn níos mó taighde go ndéanann siúl rudaí cumhachtacha don inchinn.

Gcéad dul síos, spreagann siúl néarchóras na hinchinne, rud a chabhraíonn le feidhm na hinchinne a neartú. Nuair a bhogann an comhlacht, méadaíonn ár ráta croí agus sreabhadh fola, rud a spreagann an inchinn freisin chun níos mó néaróin agus synapses a tháirgeadh. Is féidir leis na naisc idir na néaróin agus na synapses seo líonraí néaracha nua agus próisis smaoinimh níos tapúla a chruthú.

Sa dara háit, is féidir le siúlóid strus agus imní a mhaolú, rud atá an-tábhachtach chun cuimhne a fheabhsú. Nuair a bhíonn an intinn agus an corp i staid teannais, dúlagar, nó imní, scaoileann an inchinn hormón ar a dtugtar cortisol. Déanann cortisol dochar do néaróin agus do shionapses san inchinn, rud a d’fhéadfadh caillteanas cuimhne a bheith mar thoradh air. Maolaíonn siúl strus agus imní, laghdaítear táirgeadh cortisol sa chorp, agus cuidíonn sé le néaróin agus synapses sláintiúil a chothabháil.

Ar deireadh, méaduithe scaipeadh fola chuig an inchinn ag siúl. Léiríonn roinnt staidéir gur féidir le scaipeadh fola maith cabhrú le cuimhne a fheabhsú. De réir mar a théann muid in aois, éiríonn soithigh fola san inchinn clogged de réir a chéile, rud a fhágann nach mbíonn dóthain ocsaigine ar fáil don inchinn. Is féidir le siúl sláinte an chroí a fheabhsú, rud a ligeann don chroí ocsaigin agus cothaithigh a sheachadadh don inchinn níos éifeachtaí, rud a chuireann cuimhne agus feidhm inchinn chun cinn.

Dá bhrí sin, is cineál aclaíochta iontach é siúl d'óg agus d'aosta. Chomh maith le sláinte fhisiciúil a fheabhsú, is féidir le siúl cabhrú le cuimhne a fheabhsú freisin. Lig dúinn siúl achar gach lá chun sinn féin a dhéanamh níos sláintiúla agus níos fearr! Is féidir a fheiceáil go gcaithfimid cuimhne a fheabhsú, agus is féidir le Cistanche deserticola feabhas mór a chur ar chuimhne toisc gur ábhar íocshláinte traidisiúnta Síneach é Cistanche deserticola a bhfuil go leor éifeachtaí uathúla aige, agus is é ceann acu cuimhne a fheabhsú. Tagann éifeachtúlacht na mionfheoil ó na comhábhair ghníomhacha éagsúla atá ann, lena n-áirítear aigéad, polaisiúicrídí, flavonoids, etc. Is féidir leis na comhábhair seo sláinte inchinn a chur chun cinn ar bhealaí éagsúla.

Cliceáil a fhios 10 bealaí chun cuimhne a fheabhsú

Murab ionann agus modhanna fíordheimhnithe bithmhéadracha níos traidisiúnta, ní éilíonn anailís gait comhar sainráite ón duine is ábhar agus is féidir í a dhéanamh i suímh ísealtaifigh, gan a cheangal ar aghaidh an duine is ábhar do bheith gan bhac/le feiceáil. Forbraítear an chuid is mó de na cineálacha cur chuige atá ann faoi láthair i suíomh rialaithe, le sonraí anótáilte atá glan, ar chaighdeán ór, a thug cumhacht d’fhorbairt ailtireachtaí néaracha le haghaidh aitheantais agus aicmiú.

Is le déanaí a rinneadh anailís ar ghluaiseachtaí chun tacair shonraí níos éagsúla, ar scála mór agus níos réadúla a úsáid chun líonraí réamhoilte ar bhealach féin-mhaoirsithe. Cumasaíonn réim oiliúna féin-mhaoirsithe léiriúcháin siúlóide ilghnéitheacha agus láidre a fhoghlaim gan nótaí daonna costasacha. Spreagtha ag úsáid uileláithreach an mhúnla claochladán i ngach réimse den fhoghlaim dhomhain, lena n-áirítear fís ríomhaire, san obair seo, déanaimid iniúchadh ar úsáid ailtireachtaí trasfhoirmeoirí fís éagsúla a chuirtear i bhfeidhm go díreach ar aitheantas gait féin-mhaoirsithe.

Déanaimid oiriúnú agus athoiliúint ar na ViT simplí, CaiT, CrossFormer, Token2Token, agus TwinsSVT ar dhá thacar sonraí gait ar scála mór: GREW agus DenseGait. Soláthraímid torthaí fairsinge maidir le lámhaigh nialasach agus mionchoigeartú ar dhá thacar sonraí aitheantais gait tagarmhairc, CASIA-B agus FVG, agus déanaimid iniúchadh ar an ngaol idir an méid faisnéise spásúlachta agus ama a úsáideann an trasfhoirmeoir amhairc.

Léiríonn ár dtorthaí go n-úsáidtear cur chuige ordlathach (.i. samhlacha CrossFormer) agus múnlaí claochladáin á ndearadh le haghaidh gluaiseachta a phróiseáil ar aontaí gluaiseachta níos míne i gcomparáid le cineálacha cur chuige uile-chnámharlaigh roimhe seo.

Eochairfhocail:

aitheantas gait; fíordheimhniú bithmhéadrach; claochladán fís; meastachán seasamh; foghlaim fhéinmhaoirsithe; foghlama codarsnachta.

1. Réamhrá

Tá leideanna suntasacha fúinn féin sa tslí ina n-aistrímid. Go háirithe, rinneadh dianstaidéar ar ár slí (modh siúil) sa leigheas [1], sa tsíceolaíocht [2], agus san eolaíocht spóirt [3]. Le déanaí, tugadh aird mhéadaithe ar anailís gait [4,5] ón bpobal eolaíocht ríomhaireachta i gcomhthráth le dul chun cinn easpónantúil na foghlama domhain agus infhaighteacht fhorleathan crua-earraí ríomhaireachta.

D'éirigh le córais anailíse gait atá á gcumhachtú ag AI ábhair a aithint go rathúil [6-10], déimeagrafaic ar nós inscne agus aois [11] a mheas, agus tréithe seachtracha cosúil le héadaí a mheas [12], gan úsáid a bhaint as aon leideanna cuma seachtracha. Ní haon ionadh iad na torthaí seo, mar gheall ar an méid mór difríochtaí aonair i gait, atá mar gheall ar dhifríochtaí i struchtúr mhatánchnámharlaigh, fachtóirí géiniteacha agus comhshaoil, chomh maith le staid mhothúchánach agus pearsantacht an siúlóir [13].

Ní dhéantar na córais reatha a oiliúint agus a thástáil ach i dtimpeallachtaí faoi dhíon rialaithe. Baineann an chuid is mó de na modhanna úsáid as tacar sonraí CASIA-B [6] mar thagarmharc caighdeánach do mhúnlaí aitheantais gait, ina bhfuil 124 ábhar ag siúl laistigh ar bhealach rialaithe docht agus iad gafa le ceamaraí iolracha. Ní féidir castacht sa saol fíor a mhúnlú go hiomlán ag cásanna srianta den sórt sin. Go dtí le déanaí díríodh ar shamhaltú gait "sa fiáin", le tacair sonraí mar DenseGait [12], GREW [7], agus Gait3D [14].

Is iarracht iontach é tacar sonraí mórscála a bhailiú atá glan agus lán-anótáilte ó thaobh acmhainní airgeadais agus ama leithdháilte de. Tuairiscíodh gur thóg tacar sonraí GREW [7] 3 mhí d’obair leanúnach le bailiú agus le nótáil. Cé go raibh cur chuige den sórt sin úsáideach chun ailtireachtaí néaracha a fhorbairt le haghaidh gait a phróiseáil [8,9], níl siad éagsúil go leor le go n-úsáidfí i gceart iad i dtimpeallachtaí fíor-shaoil ​​níos suaimhní.

Tá an pobal AI ag bogadh go mall ón gcur chuige seo i réimsí eile, le modhanna foghlama féin-mhaoirsithe don fhís [15] agus don teanga [16] ag fáil tarraingt shuntasach agus go minic ag dul thar modhanna traidisiúnta maoirsithe. Léirigh an dul chun cinn a rinneadh le déanaí san fhoghlaim fhéin-mhaoirsithe go bhfuil samhlacha féin-mhaoirsithe níos láidre agus go bhfuil iompraíochtaí ag teacht chun cinn, nach bhfuil sainithe go sainráite le linn oiliúna.

Mar shampla, d'fhoghlaim DINO [17], trasfhoirmeoir físe atá oilte i réimeas féinmhaoirsithe, gnéithe a bhaineann go sonrach le haicme a chumasaíonn deighilt réad gan mhaoirseacht gan aon lipéid dá leithéid a úsáid le linn na hoiliúna. Mhol Cosmaand Radoi [10] an chéad mhodh codarsnachta d'fhoghlaim féin-mhaoirsithe le haghaidh gaitanailís, trí ST-GCN [18] a oiliúint ar leagan níos lú de DenseGait [12]. Fuair ​​a modh oibre torthaí réasúnta ar thascanna aitheantais gait iartheachtacha agus léirigh siad go bhfuil comhghaol láidir idir méid an tacair sonraí réamhoilte agus feidhmíocht aistrithe nialasaigh.

Cé go bhfuil go leor cineálacha cur chuige maidir le hanailís gait á n-úsáid ag silhouettes a bhaintear as dealú sa chúlra [6,8,9], ciallaíonn baint scáthchruthanna i gcásanna fíorfhaireachais go n-úsáidtear teicníochtaí níos forbartha, mar shampla deighilt [19], rud a bhaineann costas ard ríomhaireachtúil amach. Tá spás stórála suntasach ag seicheamháin scáthchruth agus níl siad sách solúbtha le húsáid i dtascanna eile in aice leo, amhail aithint gníomhaíochta. Ina theannta sin, ionchódaíonn silhouettes leideanna cuma subtle, rud a fhágann nach bhfuil sé soiléir cé chomh mór agus a úsáidtear gluaiseacht sa sainaithint [20].

Ar an láimh eile, tá samhlacha poseestimation 2T ag éirí níos cruinne agus níos éifeachtaí ó thaobh ríomhaireachtúil de [21,22].Tá cnámharlaigh saor le baint amach, agus faoi láthair níos iontaofa ná meshes 3D agus 3D ag baint, go háirithe i bhfad i gcéin. Thairis sin, tá cnámharlaigh 2D i bhfad níos mó ná scáthchruth éadrom i dtéarmaí stórála fadtéarmach.

Úsáideann ailtireachtaí reatha chun seichimh chnámharlaigh a phróiseáil an struchtúr graf spásúlachta nádúrtha atá sa chnámharlach daonna, ag tabhairt isteach laofacht ionduchtach i ndearadh na samhla. Tá torthaí iontacha le feiceáil ag samhlacha mar an ST-GCN [18] agus MS-G3D [23] a bhfuil tóir orthu maidir le haithint gnímh bunaithe ar chnámharlach.

Ag an am céanna, tá méadú tagtha ar úsáid na múnlaí claochladán i mbeagnach gach réimse den domhainfhoghlaim ó cuireadh i bhfeidhm iad ar dtús ar phróiseáil teanga nádúrtha.

Breathnaítear ar chlaochladáin mar ailtireacht níos ginearálta, gan mórán claonta ionduchtach. Ar dtús, bhí deacrachtaí ag claochladáin samhlacha CNN a mheaitseáil le haghaidh aicmiú íomhá [24], ach tá siad ag dul thar mhúnlaí eile faoi láthair agus tá torthaí geallta acu i gcásanna féin-mhaoirsithe, níos mó ná cineálacha eile ailtireachta, léirigh claochladáin cumas foghlama iontach agus iompraíochtaí éiritheacha faoi féin. -maoirseacht [17].

Ba iad Cosma agus Radoi [12] na chéad daoine a mhol GaitFormer, oiriúnú díreach ar mhúnla ionchódóra an chlaochladáin le haghaidh aitheantais gait, ag baint úsáide as "paistí" aschuir cnámharlaigh aonair, go bunúsach ag comhlíonadh aird ama amháin, gan aird a thabhairt ar aird spásúil.

Cuireadh oiliúint ar GaitFormer ar bhealach féin-mhaoirsithe agus sháraigh sé modhanna eile aitheantais gaitrecognition fiú gan aon mhionchoigeartú. Is ábhar misnigh é obair dá leithéid roimhe seo agus réitíonn sí an bealach le haghaidh staidéar níos doimhne ar chur i bhfeidhm féideartha ailtireachtaí claochladán le haghaidh anailíse gait. An féidir samhlacha físchlaochladáin a chur in oiriúint chun féinmhaoirseacht a dhéanamh ar léiriú gait creatlach?

Is í an phríomhcheist ailtireachta i gclaochladáin radhairc ná na caidrimh chearta idir paistí íomhá a shainiú, a shainíonn faisnéis áitiúil agus dhomhanda. Nuair a chuirtear i bhfeidhm ar gait é, comhfhreagraíonn rogha na toisí paiste don mhéid faisnéise ionchódaithe ama agus spásúlachta den seicheamh creatlach.

Sa saothar seo, cuirimid i láthair staidéar fairsing ar chúig chlaochladán radhairc éagsúla, atá oiriúnaithe d'aithint gait. Déanaimid iniúchadh ar mhúnla clasaiceach ViT [24], CaiT [25], CrossFormer [26], TwinsSVT [27], agus ViT token-to-token [28].

Déantar gach ailtireacht a oiliúint ar leithligh i modh féin-mhaoirsithe codarsnachta ar dhá thacar sonraí ar scála mór "san fhiáine" de sheichimh chnámharlaigh 2D gait: DenseGait - tacar sonraí a bhailítear go huathoibríoch ó shruthanna faireachais amh, agus GREW, tacar sonraí níos lú ina bhfuil nótaí glan daonna.

Déanaimid iniúchadh ar chumais aistrithe thar dhá thacar sonraí rialaithe le haghaidh aithint gait, CASIA [6], agus FVG [29]. I gcás gach tacair sonraí, déanaimid anailís ar aistriú díreach (nialais) agus éifeachtúlacht sonraí le linn mionchoigeartaithe trí oiliúint le fo-thacair de na tacair shonraí atá níos mó de réir a chéile. , na cnámha droma caighdeánach don chuid is mó de na claochladáin thevision go dtí seo.

Tá an chuid eile den pháipéar eagraithe mar seo a leanas. Déanaimid forbhreathnú ardleibhéil ar shaothair ghaolmhara maidir le samhlacha aitheantais gait agus trasfhoirmeoirí fís. Tugaimid faoi deara go mbaineann múnlaí ionadaíochta gait an-tairbhe as oiliúint féin-mhaoirsithe chun leabú níos daingne agus ginearálta a bheith acu, agus léirigh samhlacha claochladáin cumas samhaltaithe iontach i réimeanna oiliúna féin-mhaoirsithe.

Ina theannta sin, déanaimid cur síos matamaiticiúil ar na cúig ailtireacht a dhéanaimid tagarmharcáil agus déanaimid cur síos ar na réamhphróiseála sonraí agus na haistrithe cnámharlaigh a theastaíonn le déanamh, ionas go gcaithfidh trasfhoirmeoirí fís oibriú gan uaim ar sheichimh chnámharlaigh. Déanaimid cur síos freisin ar mhéaduithe sonraí, tacair shonraí oiliúna agus tagarmharcála, agus socruithe turgnamhacha.

Taispeánaimid torthaí ar CASIA-B agus FVG do gach ceann de na cúig ailtireacht agus don dá thacar sonraí 'réamhoiliúint san fhiáin'. Ar deireadh, déanaimid staidéar ablation ar an ngaol idir na méideanna paiste spásúla agus ama agus cuirimid plé gairid ar ár dtorthaí. Cuirimid ár gcód foinse ar fáil go poiblí ar GitHub (https://github.com/cosmaadrian/gait-vit, ar tugadh rochtain air an 28 Feabhra 2023) le haghaidh trédhearcachta agus in-atáirgtheachta.

2. Obair Ghaolmhar

San alt seo, déanaimid forbhreathnú gairid ar na modhanna atá ann cheana féin le haghaidh timpeallachtaí neamhrialaithe aitheantais gait agus "san fhiáine". Ina theannta sin, déanaimid cur síos go príomha ar fhorbairtí samhlacha trasfhoirmeoirí agus, go háirithe, ar a gcur i bhfeidhm i réimse na físe.

2.1. Aitheantas Gait

Mar an gcéanna le haithint aghaidhbhunaithe, braitheann aithint gait ar fhoghlaim mhéadrach. Murab ionann agus modhanna fíordheimhnithe bithmhéadracha traidisiúnta, a bhíonn ag brath ar íomhá amháin (m.sh., aitheantas aghaidhe) agus a éilíonn comhar fairsing (eg, fíordheimhniú bithmhéadrach bunaithe ar inteachán), déantar gnéithe gait a phróiseáil mar sheicheamh de ghrianghraif ghluaisne. Teastaíonn castacht níos mó ó dhinimic gothaí den sórt sin chun an fo-sheicheamh is faisnéiseach a chinneadh ach go mbeifear in ann fíordheimhniú neamhfheiceálach a úsáid i bhfad uait.

Sa chomhthéacs seo, is éard atá i gceist leis an tasc ná líonra ionchódóra a oiliúint chun seichimh siúil a mhapáil chuig spás leabaithe ina bhfuil an chosúlacht leabaithe ag freagairt do chosúlacht na gait. Ba chóir go mbeadh leabaithe siúlóidí a bhaineann leis an duine céanna gar don spás leabaithe agus ní mór dóibh siúd a thagann ó fhéiniúlachtaí éagsúla a bheith níos faide i gcéin.Sa spás leabaithe seo, is féidir tátal a dhéanamh trí leabú an gaitseicheamh a fháil agus an comharsa is gaire a úsáid. cur chuige ar bhunachar sonraí de shiúlóidí aitheanta.

Roinntear cineálacha cur chuige reatha in aitheantas gait-bhunaithe i dhá chatagóir: cuma-bhunaithe [8,9] agus múnla-bhunaithe [10,12,30]. Faigheann modhanna bunaithe ar chuma ar dtús scáthchruth na n-ábhar siúil le halgartaim dealaithe cúlra nó deighilte ó gach fráma físeáin.

Ansin cuirtear seicheamh na scáthchruth le hailtireachtaí atá bunaithe ar CNN a bhaintear amach gnéithe spásúla agus ama a chomhiomlánaítear ina leabú deiridh le haghaidh aitheantais. Sliocht cur chuige atá bunaithe ar mhúnla na cnámharlaigh ó fhíseáin RGB le samhlacha poseestimation [21,22]. Is iondúil go bpróiseáiltear seichimh chnámharlaigh trí mhúnlaí a bhraitheann ar chomhraonta graf [10,30] chun leabú na gait a fháil.

GaitSet, obair Chao et al. [8], féachann na húdair go bhfuil an léiriú seo níos solúbtha ná seicheamh scáthchruth toisc go bhfuil sé láidir do shocruithe éagsúla frámaí nó don teaglaim de threoracha agus d'éagsúlachtaí ilshiúlóide. Úsáideann siad sraitheanna convolution do gach scáthchruth chun gnéithe ar leibhéal na híomhá a fháil agus chun iad a chomhcheangal i ngné sraith-leibhéal leSet Pooling. Faigheann siad an t-aschur deiridh tríd an leagan atá acu de Chomhoiriúnú Pirimid Cothrománach a úsáid [31].

Fan et al. [9] thug sé faoi deara gur chóir go mbeadh a léiriú spásúil ama ag codanna sonracha den scáthchruth daonna mar go bhfuil patrún uathúil ag gach ceann acu. Úsáideann a n-ailtireacht, GaitPart, sraitheanna comhraonta fócasacha (FConvs), ar sainchineál comhraonta iad le réimse gabhála níos srianta. Áitíonn na húdair go gcabhraíonn na FConvanna lena n-ailtireacht chun gnéithe níos míne a fhoghlaim do chodanna éagsúla den chorp atá ag gluaiseacht. Tugann siad isteach freisin na modúil um ghabháil micreaghluaiseachta, a úsáidtear chun gnéithe de sheichimh bheaga ama a bhaint as.

Teepe et al. [30] molann GaitGraph, a ghiaráil líonra réitigh graf oiriúnaithe ar a dtugtar ResGCN [32] chun na gnéithe spásúlachta a fhaightear ó sheicheamh na gcnámharlach a ionchódú. Li et al. [33] moltar PTP, ar struchtúr é a chomhiomlánaíonn gnéithe iolracha ó thimthriall siúlóide amháin bunaithe ar a n-anailís ar na céimeanna siúil is tábhachtaí.

Baineann siad úsáid freisin as gréasán conbhlóideach graif le haghaidh eastóscadh gné spásúil, a oibríonn in éineacht le PTP. Tugann na húdair isteach modh méadaithe sonraí núíosach a athraíonn an gait chun go mbeidh luasanna iolracha i dtimthriall níos réadúla.

Mar sin féin, difriúil ó shaothair roimhe seo, tá sé mar aidhm againn iniúchadh a dhéanamh ar fheidhmíocht ailtireachtaí aitheantais gait i gcásanna féin-mhaoirsithe. Arna spreagadh ag dul chun cinn ollmhór san fhearann ​​fís ríomhaireachta, tá sé beartaithe againn ailtireachtaí claochladán radhairc atá ann cheana a oiriúnú chun feidhmiú ar sheichimh chnámharlaigh in ionad íomhánna agus chun a gcumas samhaltaithe a thástáil i gcásanna féin-mhaoirsithe. Díríonn formhór na n-oibreacha eile [8,9,30] a gcuid iarrachtaí ar ailtireachtaí néaracha a fhorbairt a bhaineann torthaí suntasacha amach ar aithint gait ar thacair shonraí rialaithe.

Mar sin féin, tá sé beartaithe againn deireadh a chur leis an ngá atá le nótaí láimhe costasacha do thacair sonraí gait agus iniúchadh a dhéanamh ar bhealaí ina bhfuil an fhoghlaim fhéin-mhaoirsithe feiliúnach d’anailís gait.

Thaispeáin saothair roimhe seo sa réimse seo [10,12] go raibh poitéinseal ann chun léirithe dea-iompair a fhoghlaim ó thacair sonraí a bhfuil anótáil lag orthu. Mhol Cosmaand Radoi [12] GaitFormer, an chéad ailtireacht bunaithe ar chlaochladán le haghaidh seichimh chnámharlaigh próiseála, spreagtha ag an tsamhail ViT [24]. Cosúil le [12], déanaimid iarracht iniúchadh a dhéanamh ar fheidhmíocht samhlacha claochladán fís eile, le dinimic éagsúla spásúlachta agus ama sa mheicníocht próiseála paiste. Moladh tacair shonraí ar mhórscála san am a chuaigh thart [7,12], a cheadaíonn ailtireacht ghinearálta a fhorbairt le haghaidh foghlama ionadaíochta.

For more information:1950477648nn@gmail.com