Aithint Teanga Chomharthaíochta Leanúnach Spásúlachta Úrscéalta agus Líonra Aireach Ilghnéitheach á húsáid(1)

Jun 01, 2023

Teibí: I bhfianaise sruthanna físeáin, tá sé mar aidhm againn comharthaí neamhdheighilte a bhaineann le haitheantas leanúnach teanga comharthaíochta (CSLR) a bhrath i gceart. In ainneoin an mhéadaithe ar mhodhanna foghlama domhain molta sa réimse seo, díríonn an chuid is mó acu go príomha ar úsáid a bhaint as gné RGB amháin, an íomhá fráma iomlán nó sonraí na lámha agus an duine. Cuireann easpa faisnéise an phróisis oiliúna CSLR srian mór ar an gcumas chun gnéithe iolracha a fhoghlaim ag baint úsáide as frámaí ionchuir físeáin. Ina theannta sin, d’fhéadfadh feidhmíocht fho-optamach a bheith mar thoradh ar shaothrú gach fráma i bhfíseán don tasc CSLR ós rud é go bhfuil leibhéal difriúil faisnéise i ngach fráma, lena n-áirítear na príomhghnéithe a bhaineann le tátal an torainn. Mar sin, molaimid aitheantas nua spatiotemporal leanúnach teanga chomharthaíochta ag baint úsáide as an líonra aireach il-gné chun CSLR a fheabhsú trí ghnéithe breise eochairphointí a sholáthar. Ina theannta sin, bainimid leas as an gciseal aird sna modúil spásúla agus ama chun béim a chur ar ghnéithe tábhachtacha iomadúla ag an am céanna. Léiríonn torthaí turgnamhacha ón dá thacar sonraí CSLR go mbaineann an modh molta feidhmíocht níos fearr amach i gcomparáid le modhanna úrscothacha faoi 0.76 agus 20.56 don scór WER ar thacair sonraí CSL agus PHOENIX, faoi seach.

Desert living cistanche

Superman luibheanna cistanche

Eochairfhocail: teanga chomharthaíochta leanúnach; spásúil ; ama; ilghné; príomhphointí; féin-aird

1. Réamhrá

Tugann Teanga Chomharthaíochta tús áite don chumarsáid láimhe trí úsáid a bhaint as gothaí láimhe, teanga choirp, agus gluaiseachtaí liopaí in ionad fuaim chun cumarsáid a dhéanamh [1,2]. De ghnáth, úsáideann daoine bodhra nó lagéisteachta teanga chomharthaíochta, ach is féidir í a úsáid freisin i gcásanna ina bhfuil sé dodhéanta nó deacair fuaimeanna a chloisteáil. Mar sin, tá gá le córas aitheantais teanga chomharthaíochta (SLR) ós rud é go gcabhraíonn sé le daoine a bhfuil deacrachtaí éisteachta acu a nascadh agus iad siúd nach bhfuil.

Le blianta beaga anuas, dhírigh taighdeoirí aird mhór ar SLR mar gheall ar an eolas amhairc shaibhir a sholáthraíonn sé. De ghnáth déantar staidéir SLR le déanaí a ghrúpáil in aitheantas teanga chomharthaíochta iargúlta (ISLR) nó aitheantas teanga comharthaíochta leanúnach (CSLR). Ní thugann roinnt saothar i ngleic ach le ISLR [3,4], agus ní dhéanann cinn eile ach anailís ar thascanna níos éasca, amhail gothaí statacha chun aibítir a aithint [5]. Idir an dá linn, is gnách go mbíonn na modhanna is déanaí níos casta agus iad ag réiteach tascanna CSLR [6-8]. I gcomparáid le ISLR, is fadhb níos dúshlánaí é CSLR mar go mbaineann sé le hathchruthú pianbhreitheanna.

Cistanche tea2

Tae cisteán

Cliceáil anseo chun táirgí tae Cistanche deserticola a fheiceáil

【Iarr tuilleadh】 Ríomhphost:cindy.xue@wecistanche.com / Whats App: 0086 18599088692 / Wechat: 18599088692

Tá éileamh mór fós ar thaighde CSLR mar go bhfuil dlúthbhaint ag a chur i bhfeidhm le coinníollacha laethúla sa saol fíor. Tá sé mar aidhm ag an gcur chuige seo na sraitheanna gluaiseanna a tharlaíonn i sraith físeáin a aithint gan deighilt shoiléir nó fiú gan aon cheann ar bith. Ina theannta sin, ionchorpraíonn sé go leor taighde meaisínfhoghlama agus tuiscint críochnúil ar iompar daonna. Mar shampla, baineann sé le rianú gluaiseachta daonna [9], aithint gothaí [10], agus aithint aghaidhe [11]. Mar sin féin, tá roinnt dúshlán ag baint le tascanna CSLR a chomhlíonadh.

Ar an gcéad dul síos, tá bailiú sonraí agus nótaí costasach do CSLR [12]. B'fhéidir gurb é seo ceann de na dúshláin atá le sárú ina fhorbairt ós rud é go bhfuil baint ag an CSLR le líonra mór agus bíonn tionchar láidir ag méid na sonraí ar an bhfeidhmíocht [13]. Ina theannta sin, tá anótáil lag ar roinnt tacar sonraí atá ar fáil do theanga chomharthaíochta [12,14,15]. Chun an tsaincheist seo a réiteach, bhain go leor staidéir úsáid as cur chuige lag-mhaoirsithe, mar aon le modúl ailínithe agus gné-eastósctha a chur i bhfeidhm ar ailtireacht an líonra [12].

Sa dara háit, i gcomparáid le ISLR, tá CSLR níos casta. Faightear dóthain faisnéise trí roinnt gnéithe a úsáid; tá sé cruthaithe go bhfuil feidhmíocht níos fearr bainte amach aige ná úsáid a bhaint as gné amháin mar a tuairiscíodh i saothair roimhe seo [16–18]. Is éard atá sna gnéithe iolracha seo an phríomhghné atá ina íomhá comhlacht a ghnóthaíonn an cruinneas is airde agus gnéithe breise, mar shampla údar, ceann, lámh chlé, agus lámh dheis, a bhfuil cruinneas níos ísle aige le haghaidh feidhmíochta aonair [17,18]. Tógann sé go leor ama líonra mór a oiliúint ina bhfuil cuid mhór sonraí [13]. Má chuirtear an sruth ionchuir leis méadaítear an t-am oiliúna freisin, agus méadaítear an costas ag baint úsáide as gnéithe íomhá-bhunaithe breise [19]. Mar sin, ní mór dúinn gnéithe tábhachtacha a roghnú ionas gur féidir linn oiliúint éifeachtach a dhéanamh.

Cistanche deserticola slice (1)

cistanche luibh Sínis

Sa tríú háit, tá líon mór íomhánna ag ionchur físeáin san ord. Tá cruth láimhe doiléir ag roinnt íomhánna mar gheall ar an ngluaiseacht tapa, rud a d’fhéadfadh faisnéis mhícheart a bheith mar thoradh air. Mar sin, úsáideann ár múnla molta féin-aird bunaithe ar [20] chun cabhrú le faisnéis thábhachtach a roghnú. Ina theannta sin, tá tionchar ag féinaird arna chruthú ag [21,22] ar fheidhmíocht a fheabhsú.

Dá bhrí sin, molaimid samhail úrscéal ar a dtugtar an t-úrscéal spatiotemporal aireach il-ghné (STAMF) chun déileáil le gach fadhb. Leanamar saothair roimhe seo [17,23], a bhfuil sé cruthaithe go n-oibríonn siad do CSLR le fadhbanna laga nótaí. Tógann siad an tsamhail ag baint úsáide as trí phríomhchuid: is é an chéad cheann an modúl spáis, is é an dara modúl an ama, agus is é an tríú modúl foghlama seicheamh. Molaimid ionchur ilghnéitheach éifeachtach agus éifeachtúil ag baint úsáide as an ngné fráma iomlán mar aon le gnéithe eochairphointí chun tascanna CSLR a dhéanamh. Léiríonn an ghné fráma iomlán íomhá an choirp mar phríomhghné, agus na gnéithe eochairphointe mar an ghné bhreise. Is í an phríomhghné ná staidiúir an choirp, lena n-áirítear sonraí staidiúir na láimhe. Is é an staidiúir comhlacht seo an ghné bhreise is éifeachtaí ós rud é go bhfuil sé cruthaithe i roinnt oibreacha go bhfuil an cruinneas is airde bainte amach tar éis an ghné fráma iomlán [17,18]. Bainimid úsáid freisin as modúl aird a úsáideann féin-aird bunaithe ar [20] chun an ghné thábhachtach a ghabháil agus chun cuidiú leis an seicheamh foghlaim chun feidhmíocht a fheabhsú.

Seo a leanas achoimre ar an méid a chuireann an lámhscríbhinn seo leis: • Cuirimid aird núíosach ama isteach sa mhodúl seichimh chun na pointí ama tábhachtacha a chuireann leis an aschur deiridh a ghabháil; • Tugaimid isteach an ilghné atá comhdhéanta den ghné fráma iomlán ó luach RGB an fhráma mar phríomhghné agus príomhghnéithe lena n-áirítear seasamh an choirp le mionsonraí cruth láimhe mar ghné bhreise chun feidhmíocht aitheantais múnla a fheabhsú; • Bainimid úsáid as méadrach WER chun a thaispeáint go sáraíonn ár samhail STAMF atá beartaithe na samhlacha úrscothacha ar an dá thacar sonraí tagarmharcála CSLR trí na turgnaimh.

cistanche—Improve memory4

Forlíonadh cistanche in aice liom-Feabhsaigh Cuimhne

2. Oibreacha Gaolmhara

Tá roinnt dul chun cinn déanta sa teicneolaíocht, agus tá go leor taighde déanta ar SLR. Rinne staidéir roimhe seo [24–27] iniúchadh ar an bhféidearthacht ISLR a úsáid a bhfuil deighilt ann do gach focal. Le blianta beaga anuas, baineadh úsáid as modhanna atá bunaithe ar fhoghlaim dhomhain chun gnéithe a bhaint as líonraí comhbheartaithe, 2D [28,29] nó 3D [30,31], as a léiriú láidir amhairc. Dhírigh formhór an taighde luath ar aithint teanga chomharthaíochta ar ISLR le tréithe ilmhódacha [30–32], mar shampla RGB, léarscáileanna doimhneachta, agus cnámharlaigh, rud a thugann feidhmíocht níos fearr.

Sa lá atá inniu ann, tá níos mó tóir ag CSLR, cé nach bhfuil sé deighilte go soiléir idir gach focal. Úsáideann saothair luatha eastóscadh gné CNN [6,33] agus HMM [34] chun an sprioc seicheamh a thógáil. Áiríodh i roinnt taighde a rinneadh le déanaí ar chórais CSLR [17,23] trí phríomhchéim chun an tasc maidir le haithint fadhbanna a chomhlíonadh. Ar dtús, rinne siad eastóscadh gné spásúil, ansin deighilt ama, agus ar deireadh sintéis abairtí le múnla teanga [35], nó d'úsáid siad foghlaim seicheamh [17,23]. Bhain an fhoghlaim seichimh seo úsáid as Bi-LSTM agus CTC chun an gaol idir snasta comharthaí sna seichimh físeáin a mhianlú. Cé go n-úsáideann sé anótáil lag ina bhfuil seichimh físe neamhdheighilte chun gluaiseanna na gcomharthaí a shainiú, léirigh na cineálacha cur chuige seo torthaí a bhfuil gealladh fúthu.

Mar sin féin, d'úsáid an staidéar CLSR gaolmhar is déanaí a chuir cur chuige ilghnéitheach i bhfeidhm [17] cúig ghné ag an am céanna. Tá an cur chuige ilghnéitheach níos troime i gcomparáid le níos lú gnéithe a úsáid [19]. Ní féidir leis an gcur chuige seo freisin na frámaí torannacha ón seicheamh físeáin a bhfuil faisnéis neamhshoiléir acu a láimhseáil, cosúil le cruth doiléir láimhe de bharr gluaiseacht tapa. Ina theannta sin, d'fhéadfadh fadhbanna le seichimh fhada a bheith ag brath ar fhoghlaim seicheamh bunaithe ar RNN agus féadfaidh sé an comhthéacs domhanda a chailleadh [20].

cistanche—Improve memory3

Forlíonadh cistanche in aice liom-Feabhsaigh Cuimhne

Tá sé mar aidhm ag an taighde reatha feidhmíocht a fheabhsú trí mheicníocht féin-aird a chur leis [21,22] a fhéadfaidh seichimh níos faide a láimhseáil chun an comhthéacs domhanda a fhoghlaim. Tá féin-aird bunaithe ar thaighde luath [20] a léirigh go bhfuil buntáiste ag féin-aird a bheith in ann spleáchais fhada a láimhseáil. Mar sin féin, tá sé níos éasca an féin-aird seo cosán níos giorra a fhoghlaim i gcomparáid le cosán níos faide le spleáchais fhada. Sna hoibreacha CLSR roimhe seo [21,22] d'fhéadfadh féinaird cabhrú leis an líonra an ghné a fhoghlaim ar bhealach níos éifeachtaí.

Dá bhrí sin, sa pháipéar seo, tugaimid isteach samhail ilghnéitheach aireach spatiotemporal úrscéal. Baineann an tsamhail mholta seo amach go héifeachtach na gnéithe tábhachtacha agus foghlaimíonn sé an t-ord níos fearr trí fhaisnéis thábhachtach a thabhairt ag baint úsáide as meicníocht féin-aird ó ilghnéithe. Déantar na próisis go léir a fhorghníomhú i gcur chuige ceann go ceann.

3. An Modh Beartaithe

Sonraíonn an chuid seo na teicníochtaí lárnacha dár múnla molta don CSLR. Mar sin, cuirimid tús leis an gcuid seo trí fhorbhreathnú ár múnla molta a mhíniú. Ina theannta sin, soláthraímid tuilleadh sonraí faoi gach príomh-chomhpháirt, lena n-áirítear an modúl spásúil, an modúl ama, agus an modúl foghlama seicheamh. Ina theannta sin, mínímid freisin ár modúl aire molta chun cabhrú leis an tsamhail foghlaim níos fearr. Ar deireadh, is féidir linn an creat um oiliúint agus tátal a chomhtháthú lenár múnla molta.

3.1. Forbhreathnú Creata

Nuair a chuirtear ionchur físe san áireamh, tá sé mar aidhm ag ár múnla molta an comhartha comhfhreagrach a thuar in abairt ghlain cheart. Gineann an chéad mhodúl gnéithe spásúla iolracha, mar ghnéithe lánfhráma agus eochairphointí do gach fráma T den fhís. Ansin, cuireann an modúl ama ar ár gcumas comhghaolta ama a bhaint as na gnéithe spáis idir frámaí don dá shruth. Mar chéim dheiridh, tá na líonraí spásúla agus ama nasctha le cuimhne ghearrthéarmach dhéthreorach (Bi-LSTM) agus CTC d’fhoghlaim seichimh agus tátail. Ansin, mínímid ár bpríomhchodanna go mion agus i ndiaidh a chéile. Tá forbhreathnú ar ár n-ailtireacht bheartaithe léirithe i bhFíor 1.

Figure 1


Fíor 1. Tá trí chomhpháirt in ailtireacht fhoriomlán an mhodha atá beartaithe: modúl spáis, modúl ama, agus modúl foghlama seicheamh. Tógann an modúl spáis an t-ord íomhá ar dtús chun gnéithe fráma-ciallmhar a bhaint as agus ansin cuireann sé an modúl ama i bhfeidhm chun na gnéithe ama a bhaint amach. Ansin, seoltar na gnéithe ama chuig an modúl foghlama seichimh chun tuar focal a dhéanamh agus abairt a dhéanamh de

3.2. Modúl Spáis

Baineann an modúl spásúil leas as gné fráma iomlán agus gnéithe eochairphointí, mar a thaispeántar i bhFíor 2. Úsáideann an modúl seo ailtireacht líonra 2D-CNN mar chnámh droma, agus roghnaítear ResNet50 chun na gnéithe ilghnéitheacha a ghabháil. Tá ResNet50 níos éifeachtaí le húsáid i gcomparáid le hailtireacht ResNet le déanaí i dtéarmaí ama agus toradh inchomparáide aige [36,37]. Úsáideann an RGB ResNet50 go díreach, agus faigheann HRNet [38] an eochairphointe ón bhfráma físeáin agus baintear úsáid as ResNet50 chun na gnéithe eochairphointe a fháil.

Figure 2


Fíor 2. Úsáideann an ailtireacht modúl spásúil ionchur il-sruth. Sruth RGB mar ghné lánfhráma agus sruth eochairphointí mar ghné eochairphointí.

3.2.1. Gné Lánfhráma

Chuireamar ár gcéimeanna réamhphróiseála i bhfeidhm ar na sonraí RGB agus chuireamar ár sonraí isteach sa mhúnla ansin. Chuireamar ansin iad mar ionchur lánfhráma isteach inár n-ailtireacht. Taispeánann Figiúr 3 an íomhá den bhuníomhá RGB ar an taobh clé agus an íomhá cropped ar an taobh dheis. Úsáidtear an íomhá bearrtha mar ionchur ag an múnla. Léiríonn sé seo an chéim réamhphróiseála a laghdaíonn na codanna den íomhá nach bhfuil chomh tábhachtach agus a chuireann fócas níos mó ar an sínitheoir. Úsáideann an bearradh seo modh bearrtha randamach ó [12] chun cur leis an tacar sonraí. Baintear an ghné lánfhráma as an íomhá gearrtha do gach fráma sa seicheamh ag baint úsáide as an ResNet50.

Figure 3


Fíor 3. Gné fráma iomlán ag baint úsáide as íomhá RGB, is é an (íomhá ar chlé) an íomhá bunaidh, agus is é an (íomhá ar dheis) an íomhá cropped chun coigeartú leis an múnla atá beartaithe

3.2.2. Príomhghnéithe

Bhaineamar na príomhghnéithe sa mhodúl spáis as na sonraí RGB do gach fráma san ionchur físe. Tá ról tábhachtach ag cáilíocht na bpríomhghnéithe inár múnla molta, mar sin ní mór dúinn cur chuige láidir a úsáid, mar HRNet [38]. D'fhostaigheamar HRNet réamhoilte [38] chun gach ceann de na 133 príomhphointí comhlachta a mheas, agus d'úsáideamar 27 as na 133 príomhphointí óna thoradh. Mar a thaispeántar i bhFíor 4, is é an taobh clé príomhphointe bunaidh an chomhlachta uachtair, agus is é an taobh dheis na 27 príomhphointí comhlacht uachtair roghnaithe. Áirítear ar na 27 príomhphointí seo chaol na láimhe, uillinn, guaillí, muineál, lámha agus méara.

Figure 4


Fíor 4. Príomhghnéithe an tacar sonraí PHOENIX-RWTH [33,39], (íomhá ar chlé) eastóscadh ó íomhá RGB, agus is é an (íomhá ar dheis) an eochairphointe roghnaithe a úsáideann an tsamhail atá beartaithe.

3.3. Modúl Sealadach

Tá sé mar aidhm ag an modúl ama eolas spásúil a fhoghlaim ón modúl spáis. Déantar modúil ama a thógáil trí Chomhthiomsú Sealadach Cruachta do gach sruth. Mar a léirítear i bhFíor 5, is éard atá sa mhodúl comhthiomsaithe ama ná ciseal comhthiomsaithe ama agus ciseal comhthiomsaithe chun gnéithe a bhaint as ionchuir seicheamhacha.

Figure 5.


Fíor 5. Tá ailtireacht modúl ama comhdhéanta de 1D-CNN cruachta agus ciseal comhthiomsaithe leabaithe le modúl aird. Oibrigh go comhthreomhar le haghaidh an dá ghné-sruth comhfhálaithe ag deireadh na sraitheanna cruachta, agus déan gné ama amháin le fad seicheamh ceithre huaire níos lú.

Is éard atá san ionchur ná liosta ilghnéithe spásúlachta ón gcéim roimhe seo. Faightear an ghné ama trí úsáid a bhaint as an gciseal conbhlóide ama ar ciseal comhbhrón aonair 1D é leis na faid ionchuir agus aschuir chéanna, agus ciseal comhthiomsaithe amháin ina dhiaidh sin a laghdaíonn an méid go leath. Ag baint úsáide as an dá shraith chomhthiomsaithe ama cruachta seo is é an chumraíocht is fearr, de réir na n-oibreacha roimhe seo [12]. Tar éis gach comhthiomsaithe ama, leabaímid modúl aird a mhíneofar go mion i Roinn 3.4. Sa deireadh, comhcheangail muid an t-aschur comhthiomsaithe ama ón dá shruth.

3.4. Modúl Aird

Tá frámaí iolracha ag an bhfíseán ina mbíonn codanna áirithe den íomhá doiléir uaireanta. Tá níos mó frámaí lochtacha ag tacar sonraí RTWH-PHOENIX [33,39] ná an tacar sonraí CSL [8,40,41]. Tarlaíonn sé seo nuair a bhíonn an ghluaiseacht ró-tapa, ag cruthú íomhá doiléir agus mar thoradh ar an suíomh eochairphointe mícheart. Meastar go bhfuil an fráma seo lochtach agus d’fhéadfadh míthuiscint a bheith mar thoradh air ar na gnéithe RGB agus eochairphointí araon. Léiríonn Fíor 6 léaráid de fhrámaí lochtacha i tacar sonraí RTWH-PHOENIX [33]. D'fhonn déileáil leis an bhfadhb seo, chuireamar ciseal aird leis.

Figure 6


Fíor 6. Léiriú ar fhrámaí lochtanna ar thacar sonraí RWTH-PHOENIX [33,39]. Tá cuid de na príomhphointí sa limistéar láimhe sa suíomh mícheart mar gheall ar íomhánna doiléir.

Trí úsáid a bhaint as an algartam CTC, déantar ailíniú na conaire mar aon lena lipéadú trí lipéad bán a úsáid agus na lipéid athchraolta a bhaint. Is fearr le CTC lipéid bhána a thuar seachas teorainneacha cruinne nuair nach féidir leis an teorainn snasta a idirdhealú, ach nach bhfuil aon cheann de na torthaí diongbháilte. Fágann sin go n-úsáideann an líonra CTC chun spikes a tháirgeadh i dtorthaí agus anailís, foghlaim agus tuar [42,43]. Go ginearálta, féachann an caillteanas CTC na frámaí eochair, agus is é an toradh deiridh a thuar eochairfhráma ar leith a bhfuil dóchúlacht ard a bheith ina lipéad bán nó lipéad neamhbhán. Má dhéanann an snasta an lipéad céanna nó an lipéad bán a thuar i ndiaidh a chéile, beidh an t-aschur céanna mar thoradh air. Mar sin féin, má tá lipéad ionsáite idir an lipéad céanna, fiú mura bhfuil ann ach botún amháin, bíonn caillteanas i bhfad níos mó mar thoradh air. Cuidíonn ciseal aird anseo leis an seicheamh ama tábhachtach a roghnú sula n-úsáidtear é don fhoghlaim seicheamhach.

Úsáideann an modúl aird meicníocht féin-aird il-cheann [20]. Úsáidtear an modúl il-cheann chun roinnt meicníochtaí aird comhthreomhar a reáchtáil ag an am céanna. Ritheann aird ilcheann go neamhspleách chun díriú ar na spleáchais ghearrthéarmacha nó na spleáchais fhadtéarmacha i gceann ar leith. Ansin déantar gach aschur a chomhchaintí go líneach agus a chlaochlú go dtí an cruth atá ag teastáil.

Ag an am céanna, tugann an mheicníocht féin-aird il-cheann aire d'fhaisnéis ó fhospásanna ionadaíochta iolracha, ag brath ar stair na breathnuithe. Ar mhaithe le simplíocht, sainímid na seichimh ionchuir mar X. Go matamaiticiúil, don tsamhail aird aon-cheann, tugtar ionchur X t − T móide 1:t=[X t − T móide 1, · · ·, X t ] ∈ RT × N × P, faightear trí fhospás, eadhon, an fospás ceiste Q ∈ RN ×dq, fospás eochrach K ∈ RN × dk, agus an luach fospás V ∈ RN × dv. Is féidir an próiseas foghlama fospáis folaigh a fhoirmiú mar [20]:

Q=XWQ, K=XWK , V=XWV ,

Ansin, úsáidtear an aird scálaithe ponc-táirge chun an t-aschur aird a ríomh mar [20]:

Aird(Q, K, V)=mar sin f tmaxQKT/ p dkV,

Ina theannta sin, má tá ceannairí iolracha againn a leanann illéirithe an ionchuir i gcomhthráth, is féidir linn torthaí níos ábhartha a fháil ag an am céanna. Is í an chéim dheireanach na cinn go léir a chomhcheangail agus iad a theilgean arís chun an scór deiridh a ríomh [20]:

MultiHead(Q,K,V)=Concat(ceann1,..., cinn )WO,

ceann=Aird(Qi,Ki,Vi),

áit a bhfuil Qi=XWQ i , Ki=XWVi , agus WO ∈ R hd × dmodel. Ar deireadh, is féidir leis an chuid thábhachtach a roghnú as seicheamh na ngnéithe toisc nach bhfuil an fhaisnéis go léir sa seicheamh tábhachtach.

Mar a léirítear i bhFíor 7, úsáidimid an modúl aird i roinnt cumraíochtaí. Cuirtear an chéad mhodúl aird ag deireadh an mhodúil spáis, agus cuirtear an dara agus an tríú modúl aird sa mhodúl ama. Cuirtear an dara modúl aird ar a dtugtar an modúl luath-ama, tar éis an chéad bhloc de chomhthiomsú ama mar ionchur, ach cuirtear an tríú modúl aire ama, ar a dtugtar an modúl aird ama déanach, tar éis an dara bloc de chomhthiomsú ama.

Figure 7

Fíor 7. Tá modúil aird leabaithe i modúil spásúla agus ama i bhfoirmíochtaí éagsúla.

B’fhéidir gur mhaith leat freisin