Tá péinteáil íomhá ar cheann de na fadhbanna clasaiceacha i bhfís ríomhaire, agus tá sé mar aidhm aige réigiúin chumhdaigh a athchóiriú in íomhá le hábhar sochreidte agus nádúrtha. Is minic go mbíonn gnéithe cúnta innealtóireacht láimhe de dhíth ar obair atá ann cheana féin a úsáideann teicnící traidisiúnta péinteála íomhá amhail Líonraí Gineadacha Sáraimh nó GANS, agus Ionchódóirí Athrógacha Uathoibríocha nó VAEanna ach ní thugann siad torthaí sásúla ag an am céanna. Le blianta beaga anuas, tá an-tóir ar mhodhanna atá bunaithe ar idirleathadh i measc an phobail fís ríomhaire mar gheall ar a gcumas iontach ardcháilíochta giniúna íomhá, éagsúlacht aschuir, agus rialú mínghlantach. D'athraigh iarrachtaí tosaigh ar mhúnlaí idirleata a úsáid le haghaidh péinteáil íomhá treoraithe le téacs an straitéis shéanta caighdeánach trí na réigiúin chumhdaigh a shampláil ó mhúnla idirleata réamh-oilte, agus na limistéir nár clúdaíodh ón íomhá tugtha. Cé go raibh feidhmíocht shásúil mar thoradh ar na modhanna seo thar thascanna simplí péinteála íomhá, bhí siad ag streachailt le cruthanna casta maisc, leideanna téacs, agus ábhar íomhá a raibh easpa comhleanúnachais foriomlán mar thoradh orthu. D’fhéadfadh an easpa comhleanúnachais a breathnaíodh ar na modhanna seo a bheith mar gheall go príomha ar a n-eolas aireachtála teoranta ar theorainneacha maisc, agus ar chomhthéacs an réigiúin íomhá nach bhfuil clúdaithe. 

In ainneoin dul chun cinn, taighde agus forbairt na múnlaí seo le blianta beaga anuas, tá péinteáil íomhánna fós ina chonstaic mhór d’fhorbróirí fís ríomhaire. Is éard atá i gceist le hoiriúnuithe reatha ar shamhlacha idirleata do thascanna péinteála íomhánna ná an straitéis samplála a mhodhnú, nó is minic go mbíonn cáilíocht íomhá laghdaithe agus séimeantaic neamhréireach ag fulaingt le forbairt samhlacha idirleata a bhaineann go sonrach le péinteáil. Chun dul i ngleic leis na dúshláin seo, agus an bealach chun cinn a réiteach do mhúnlaí péinteála íomhá, san Airteagal seo, beimid ag caint faoi BrushNet, creatlach innealtóireacht dé-bhrainse nua breiseán agus súgartha a neadaíonn gnéithe íomhá maisc ag leibhéal picteilín in aon idirleathadh réamh-oilte. samhail, rud a chinntíonn comhleanúnachas, agus toradh feabhsaithe ar thascanna péinteála íomhá. Tugann creat BrushNet isteach paraidím úrnua faoina roinneann an creat gnéithe na híomhá agus an fhuaim folaigh ina bhrainsí ar leith. Laghdaítear go mór an t-ualach foghlama don mhúnla de bharr roinnt gnéithe íomhá agus folaigh fhuaimiúla, agus éascaíonn sé ionchorprú mioneolais ar íomhá riachtanach faoi chumhdach ar bhealach ordlathach. Chomh maith le creat BrushNet, beimid ag caint faoi BrushBench, agus BrushData a éascaíonn measúnú feidhmíochta bunaithe ar dheighilt agus oiliúint i bpéinteáil íomhá faoi seach. 

Tá sé mar aidhm ag an alt seo creat BrushNet a chlúdach go domhain, agus déanaimid iniúchadh ar an meicníocht, ar an modheolaíocht, ar ailtireacht an chreata mar aon lena chomparáid leis na creataí úrscothacha. Mar sin a ligean ar tús a chur leis. 

BrushNet: Péinteáil Íomhá le Idirleathadh Dé-Chraoibhe

Is fadhb le fada an lá i réimse radhairc an ríomhaire é inpainting íomhá, modh a dhéanann iarracht réigiúin misean íomhá a athbhunú agus ag an am céanna comhleanúnachas iomlán a chothabháil, agus chuir sé trioblóid ar fhorbróirí agus ar thaighdeoirí le cúpla bliain anois. Aimsíonn péinteáil íomhánna a fheidhmchláir thar raon leathan de thascanna fís ríomhaire lena n-áirítear eagarthóireacht íomhá, agus trialacha fíorúla. Le déanaí, is maith le samhlacha idirleathadh Idirleathadh Cobhsaí, agus Idirleathadh Cobhsaí 1.5 tar éis cumas iontach a léiriú chun íomhánna ardcháilíochta a ghiniúint, agus soláthraíonn siad solúbthacht d'úsáideoirí chun na rialuithe shéimeantacha agus struchtúracha a rialú. Is é an poitéinseal iontach atá ag samhlacha idirleata a spreag taighdeoirí chun leas a bhaint as samhlacha idirleata le haghaidh tascanna ardcháilíochta péinteála íomhá a ailíníonn le leideanna an téacs ionchuir. 

Is féidir na modhanna a úsáideann creataí péinteála téacs-treoraithe traidisiúnta bunaithe ar idirleathadh a roinnt ina dhá chatagóir, i.e. Modhnú Straitéise Samplála agus Múnlaí Tiomnaithe Péinteála. Déanann modh modhnaithe na straitéise samplála modhnú ar an ngnáthphróiseas denoisithe trí na réigiúin chumhdaigh a shampláil ó mhúnla idirleata réamhoilte, agus déanann cóip-ghreamú na réigiúin neamhscálaithe ón íomhá tugtha i ngach céim shéanta. Cé gur féidir cur chuige modhnaithe straitéise samplála a chur i bhfeidhm i múnlaí idirleata treallach, is minic a bhíonn torthaí neamhchomhleanúnacha sa phéinteáil mar thoradh orthu toisc go bhfuil eolas aireachtála teoranta acu ar theorainneacha na masc, agus ar chomhthéacs an réigiúin íomhá gan chumhdach. Ar an láimh eile, déanann samhlacha inpainting tiomnaithe múnla inpainting íomhá a mhionchoigeartú atá deartha go sonrach trí thoisí cainéal ionchuir an mhúnla idirleata bonn a leathnú chun íomhá truaillithe agus maisc a ionchorprú. Cé go gcuireann samhlacha tiomnaithe péintéireachta ar chumas na samhla idirleata torthaí níos sásúla a ghiniúint le múnlaí speisialaithe atá feasach ar chruth agus ar ábhar, d’fhéadfadh sé a bheith nó nach é an dearadh ailtireachta is fearr le haghaidh samhlacha péinteála íomhá. 

Mar a léirítear san íomhá seo a leanas, comhcheanglaíonn samhlacha tiomnaithe péintéireachta íomhá folaigh, folaigh nois, téacs agus masc ag céim luath. Bíonn tionchar go héasca ag dearadh ailtireachta na samhlacha inpainting tiomnaithe sin ar na gnéithe íomhá chumhdaithe, agus cuireann sé cosc ​​ar na sraitheanna ina dhiaidh sin in ailtireacht UNet ó ghnéithe íomhá íonghlanta a fháil mar gheall ar thionchar an téacs. Ina theannta sin, cuireann láimhseáil na giniúna agus an bhail i mbrainse amháin ualach breise ar ailtireacht UNet, agus ós rud é go dteastaíonn mionchoigeartú ar éagsúlachtaí éagsúla de chnámh droma an idirleata de bharr na cineálacha cur chuige seo a mhionchoigeartú, is minic a bhíonn na cineálacha cur chuige sin uileghabhálach ó thaobh ama agus inaistritheacht teoranta acu. 

D’fhéadfadh go mbeadh an chuma air go bhféadfadh sé gur réiteach imleor ar na fadhbanna a luaitear thuas é brainse breise a chur leis atá tiomnaithe do ghnéithe íomhánna folaithe a bhaint, ach is minic a eascraíonn as creataí atá ann cheana féin go n-aistrítear agus go gcuirtear isteach faisnéis neamhleor nuair a chuirtear i bhfeidhm go díreach ar phéinteáil é. Mar thoradh air sin, tugann creataí reatha cosúil le ControlNet torthaí míshásúla nuair a chuirtear i gcomparáid iad le samhlacha tiomnaithe péintéireachta. Chun dul i ngleic leis an tsaincheist seo ar an mbealach is éifeachtaí is féidir, tugann creat BrushNet brainse breise isteach sa bhunghréasán idirleata, agus mar sin cruthaítear ailtireacht níos oiriúnaí le haghaidh tascanna péinteála íomhá. Is féidir dearadh agus ailtireacht chreat BrushNet a achoimriú i dtrí phointe. 

1. In ionad sraitheanna convolution a thúsú go randamach, cuireann creat BrushNet ionchódóir VAE i bhfeidhm chun an íomhá chumhdaithe a phróiseáil. Mar thoradh air sin, tá creat BrushNet in ann na gnéithe íomhá a bhaint as le haghaidh oiriúnú do dháileadh UNet ar bhealach níos éifeachtaí. 
2. De réir a chéile ionchorpraíonn creat BrishNet an ciseal gné UNet iomlán de réir ciseal isteach san ailtireacht réamh-oilte UNet, cur chuige ordlathach a chumasaíonn rialú dlúth in aghaidh an picteilín. 
3. Baineann creat BrushNet amach crosaireachas téacs ó chomhpháirt UNet chun a chinntiú go ndéantar faisnéis íomhá íon a mheas sa bhrainse breise. Ina theannta sin, tá sé beartaithe ag samhail BrushNet freisin straitéis chumasc doiléir a chur i bhfeidhm chun comhsheasmhacht níos fearr a bhaint amach mar aon le raon inrialaitheachta níos airde i réigiúin den íomhá nach bhfuil clúdaithe. 

BrushNet : Modh agus Ailtireacht

Tugann an figiúr seo a leanas forbhreathnú gairid dúinn ar chreat BrushNet. 

Mar is féidir a thabhairt faoi deara, úsáideann an creat straitéis dé-bhrainse chun treoir íomhá chumhdaigh a chur isteach, agus úsáidtear oibríochtaí cumasc le masc doiléir chun caomhnú níos fearr a chinntiú ar na réigiúin nach bhfuil clúdaithe. Is fiú a thabhairt faoi deara go bhfuil creat BrushNet in ann an scála breise a choigeartú chun rialú solúbtha a bhaint amach. Maidir le hionchur íomhá folaithe tugtha, agus an masc, aschuireann samhail BrushNet íomhá péinteáilte. Déanann an tsamhail an masc a íosshampláil ar dtús chun freastal ar mhéid an fholaigh, agus cothaítear an íomhá chumhdaigh mar ionchur don ionchódóir VAE chun dáileadh an spáis folaigh a ailíniú. Comhcheanglaíonn an tsamhail ansin an íomhá folaigh folaigh, an folach noisy, agus an masc íosshampláilte, agus úsáidtear é mar ionchur. Cuirtear na gnéithe a bhaineann na sleachta múnla leis an gciseal UNet réamh-oilte ansin tar éis bloc convolution nialasach. Tar éis é a shéanadh, meascann an tsamhail an íomhá chumhdaithe agus an íomhá ginte le masc doiléir. 

Treoir Íomhá Masc

Cuireann creat BrushNet an ghné íomhá chumhdaithe isteach sa líonra idirleathadh réamh-oilte ag baint úsáide as brainse breise, a scarann ​​eastóscadh gné na n-íomhánna maisc ón bpróiseas giniúna íomhá go sainráite. Cruthaítear an t-ionchur tríd an íomhá chumhdaigh atá folaithe, folaigh nois, agus an masc íosshampláilte a chomhchatú. Chun a bheith níos sainiúla, cuireann an folach noisy faisnéis ar fáil maidir le giniúint íomhá le linn an phróisis giniúna reatha, agus cabhraíonn sé leis an gcreat comhleanúnachas shéimeantach na gné íomhá chumhdaigh a fheabhsú. Ansin baintear an íomhá chumhdaigh atá folaithe as an íomhá chumhdaigh le creat BrushNet trí úsáid a bhaint as Ionchódóir Athraitheach. Ina theannta sin, úsáidtear idirshuíomh ciúbach leis an gcreat chun an masc a íosshampláil d’fhonn a chinntiú go bhfuil méid an mhais ag ailíniú leis an íomhá folaigh agus leis an bhfolaigh fhuaimneach. Chun na gnéithe íomhá maisc a phróiseáil, cuireann creat BrushNet clón den mhúnla idirleata réamh-oilte i bhfeidhm, agus eisiann sé na sraitheanna tras-aire den mhúnla idirleata. Is é an chúis atá leis ná go bhfeidhmíonn meáchain réamh-oilte an mhúnla idirleata mar réamhobair láidir chun gnéithe an íomhá chumhdaigh a bhaint, agus gan na sraitheanna tras-aire a áireamh a chinntiú nach ndéanann an tsamhail ach faisnéis íomhá íon laistigh den bhrainse bhreise a mheas. Cuireann creat BrushNet na gnéithe isteach sa chiseal múnla idirleata reoite de réir ciseal, rud a chuireann ar chumas rialú ordlathach dlúth in aghaidh an picteilín, agus fostaíonn sé sraitheanna convolution nialasach chun nasc a bhunú idir an tsamhail BrushNet trainable, agus an múnla faoi ghlas, ag cinntiú go bhfuil an torann díobhálach. aon tionchar ar na stáit i bhfolach sa chóip trainable le linn na céimeanna oiliúna tosaigh. 

Oibríocht Cumaisc

Mar a luadh níos luaithe, agus an oibríocht chumasc á dhéanamh i spás folaigh athraítear na maisc a mbíonn roinnt míchruinneas mar thoradh orthu go minic, agus tagann fadhb chomhchosúil le creat BrushNet nuair a athraítear méid an mhaisithe chun méid an spáis fholaigh a mheaitseáil. Ina theannta sin, is fiú a thabhairt faoi deara go bhfuil oibríochtaí teoranta ó dhúchas ag oibríochtaí ionchódaithe agus díchódaithe in Uath-ionchódóirí Éagsúla, agus b’fhéidir nach n-áiritheofar atógáil iomlán na híomhá. Chun a chinntiú go n-athchruthaíonn an creat íomhá atá go hiomlán comhsheasmhach den réigiún gan mharcáil, tá teicnící éagsúla curtha i bhfeidhm ag oibreacha atá ann cheana, mar shampla na réigiúin neamhscálaithe a chóipeáil ón íomhá bhunaidh. Cé go n-oibríonn an cur chuige, is minic go mbíonn easpa comhleanúnachais shéimeantach ann i nginiúint na dtorthaí deiridh. Ar an láimh eile, tá deacrachtaí ag baint le modhanna eile amhail oibríochtaí cumasc folaigh a ghlacadh chun an fhaisnéis atá ag teastáil a chaomhnú sna réigiúin nach bhfuil clúdaithe. 

Rialú Solúbtha

Déanann dearadh ailtireachta chreat BrushNet rogha oiriúnach é le haghaidh comhtháthú breiseán agus súgartha go bunúsach le samhlacha idirleata réamh-oilte éagsúla, agus cuireann sé ar chumas scála caomhnaithe solúbtha. Ós rud é nach n-athraíonn creat BrishNet meáchain an tsamhail idirleata réamhoilte, tá an tsolúbthacht ag forbróirí chun é a chomhtháthú mar chomhpháirt breiseán agus súgartha le múnla idirleata mionchoigeartaithe, rud a cheadaíonn glacadh agus turgnamh éasca le samhlacha réamhoilte. Ina theannta sin, tá an rogha ag forbróirí scála caomhnaithe na réigiún gan chumhdach a rialú trí ghnéithe mhúnla BrushNet a ionchorprú sa mhúnla idirleata reoite leis an meáchan tugtha w a chinneann tionchar chreat BrushNet ar an scála caomhnaithe, ag tairiscint d’fhorbróirí an cumas na leibhéil caomhnaithe atá ag teastáil a choigeartú. Mar fhocal scoir, ceadaíonn creat BrushNet d'úsáideoirí an scála doiléir a choigeartú, agus cinneadh a dhéanamh ar cheart an oibríocht doiléir a chur i bhfeidhm nó nach bhfuil, agus mar sin saincheapadh go héasca scála caomhnaithe na réigiún neamhscálaithe, rud a fhágann go bhfuil spás ann le haghaidh coigeartuithe solúbtha agus rialú mínghlan ar an bpróiseas péinteála íomhá. . 

BrushNet : Cur i bhFeidhm agus Torthaí

Chun anailís a dhéanamh ar a thorthaí, molann creat BrushNet BrushBench, a deighilt-bhunaithe tacar sonraí péinteála íomhá le breis is 600 íomhá, agus masc daonna-nótáilte ag gabháil le gach íomhá, agus nóta fotheideal. Déantar na híomhánna sa tacar sonraí tagarmhairc a dháileadh go cothrom idir íomhánna nádúrtha agus saorga, agus cinntíonn sé freisin dáileadh cothrom i measc catagóirí éagsúla, rud a chumasaíonn meastóireacht chothrom thar chatagóirí éagsúla. Chun an anailís ar na tascanna péintéireachta a fheabhsú níos mó fós, déanann creat BrushNet an tacar sonraí a chatagóiriú ina dhá chuid ar leith ar bhonn na modhanna a úsáidtear: deighilte-bhunaithe, agus maisc scuab. 

Comparáid Chainníochtúil

Déanann an tábla seo a leanas comparáid idir creat BrushNet agus samhlacha péinteála íomhá bunaithe ar idirleathadh atá ann cheana féin ar thacar sonraí BrushBench leis an Idirleathadh Cobhsaí mar bhunmhúnla. 

Mar is féidir a thabhairt faoi deara, léiríonn creat BrushNet éifeachtúlacht shuntasach ar fud chaomhnú réigiúin chumhdaigh, ailíniú téacs, agus cáilíocht íomhá. Ina theannta sin, samhlacha cosúil le Péinteáil Idirleata Cobhsaí, HD-Péintéir, PowerPaint, agus léiríonn daoine eile feidhmíocht láidir ar thascanna íomhá taobh istigh-phéinteáil, cé go dteipeann orthu a gcuid feidhmíochta a mhacasamhlú ar thascanna péintéireachta lasmuigh go háirithe i dtéarmaí ailíniú téacs agus cáilíocht íomhá. Tríd is tríd, soláthraíonn creat BrushNet na torthaí is láidre. 

Ina theannta sin, déanann an tábla seo a leanas comparáid idir creat BrushNet agus na samhlacha atá ann cheana féin chun íomhá a phéinteáil bunaithe ar idirleathadh ar thacar sonraí EditBench, agus tá an fheidhmíocht inchomparáide leis an gceann a breathnaíodh ar thacar sonraí BrushBench. Léiríonn na torthaí go seachadann creat BrushNet feidhmíocht láidir thar raon leathan tascanna péinteála íomhá le cineálacha éagsúla masc. 

Comparáid Cháilíochtúil

Déanann an figiúr seo a leanas comparáid cháilíochtúil ar chreat BrushNet i gcoinne modhanna péinteála íomhá atá ann cheana féin, le torthaí ag clúdach hintleachta saorga agus íomhánna nádúrtha thar thascanna éagsúla péinteála lena n-áirítear péinteáil masc randamach, masc deighilte taobh istigh den phéinteáil, agus péinteáil masc deighilte lasmuigh. 

Mar is féidir a thabhairt faoi deara, seachadann creat BrushNet torthaí iontacha maidir le comhleanúnachas an réigiúin gan mharcáil, agus na réigiún comhleanúnach, agus tuigeann sé go rathúil an fheasacht ar an eolas cúlra mar gheall ar chur i bhfeidhm an chur chuige díchúplála dé-bhrainse. Ina theannta sin, cuireann an brainse neamhluaite den tsamhail idirleata réamhoilte an buntáiste ar fáil freisin go gclúdaítear réimsí sonraí éagsúla ar nós anime agus péintéireacht ar bhealach níos fearr, rud a fhágann go bhfuil feidhmíocht níos fearr ann thar chásanna éagsúla. 

Smaointe Deiridh

San Airteagal seo labhair muid faoi BrushNet, creat innealtóireachta dé-bhrainse nua breiseán agus súgartha a neadaíonn gnéithe íomhá chumhdaigh picteilín in aon mhúnla idirleata réamhoilte, rud a chinntíonn comhleanúnachas, agus toradh feabhsaithe ar thascanna péinteála íomhá. Tugann creat BrushNet isteach paraidím úrnua faoina roinneann an creat gnéithe na híomhá agus an fhuaim folaigh ina bhrainsí ar leith. Laghdaítear go mór an t-ualach foghlama don mhúnla de bharr roinnt gnéithe íomhá agus folaigh fhuaimiúla, agus éascaíonn sé ionchorprú mioneolais ar íomhá riachtanach faoi chumhdach ar bhealach ordlathach. Chomh maith le creat BrushNet, beimid ag caint faoi BrushBench, agus BrushData a éascaíonn measúnú feidhmíochta bunaithe ar dheighilt agus oiliúint i bpéinteáil íomhá faoi seach.