Paano gumagana ang AI upscaling

Paano gumagana ang AI Upscaling?

Maikling sagot: Gumagana ang AI upscaling sa pamamagitan ng pagsasanay sa isang modelo sa mga ipinares na low- at high-resolution na imahe, pagkatapos ay ginagamit ito upang mahulaan ang mga kapani-paniwalang dagdag na pixel habang nag-u-upscaling. Kung ang modelo ay nakakita ng magkakatulad na texture o mukha sa pagsasanay, maaari itong magdagdag ng nakakakumbinsing detalye; kung hindi, maaari itong "mag-hallucinate" ng mga artifact tulad ng mga halo, waxy skin, o flicker sa video.

Mga pangunahing punto:

Prediksyon : Ang modelo ay bumubuo ng kapani-paniwalang detalye, hindi isang garantisadong muling pagbubuo ng realidad.

Pagpili ng modelo : Ang mga CNN ay may posibilidad na maging mas matatag; ang mga GAN ay maaaring magmukhang mas matalas ngunit may panganib na makaimbento ng mga tampok.

Mga pagsusuri ng artifact : Mag-ingat sa mga halo ng araw, paulit-ulit na tekstura, "halos mga letra", at mala-plastikong mga mukha.

Estabilidad ng video : Gumamit ng mga pamamaraang temporal o makakakita ka ng kinang at pag-anod mula frame hanggang frame.

Paggamit na may malaking panganib : Kung mahalaga ang katumpakan, ibunyag ang pagproseso at ituring ang mga resulta bilang paglalarawan.

Paano gumagana ang AI upscaling? Infographic.

Malamang nakita mo na ito: ang isang maliit at malutong na imahe ay nagiging isang bagay na sapat na malutong para i-print, i-stream, o ilagay sa isang presentasyon nang hindi napapangiti. Parang nandadaya. At - sa pinakamagandang paraan - parang ganoon nga 😅

Kaya, ang Paano Gumagana ang AI Upscaling ay mas espesipiko kaysa sa "pinahuhusay ng computer ang mga detalye" (kamay-alon) at mas malapit sa "hinuhulaan ng isang modelo ang posibleng istrukturang may mataas na resolution batay sa mga pattern na natutunan nito mula sa maraming halimbawa" ( Deep Learning para sa Image Super-resolution: Isang Survey ). Ang hakbang na iyon sa prediksyon ang siyang buong proseso - at ito ang dahilan kung bakit ang AI upscaling ay maaaring magmukhang nakamamanghang... o medyo plastik... o parang mga bonus na bigote na tinubuan ng iyong pusa.

Mga artikulong maaaring gusto mong basahin pagkatapos nito:

🔗 Paano gumagana ang AI
Alamin ang mga pangunahing kaalaman sa mga modelo, datos, at hinuha sa AI.

🔗 Paano natututo ang AI
Tingnan kung paano pinapabuti ng data ng pagsasanay at feedback ang performance ng modelo sa paglipas ng panahon.

🔗 Paano natutuklasan ng AI ang mga anomalya
Unawain ang mga baseline ng pattern at kung paano mabilis na minamarkahan ng AI ang hindi pangkaraniwang pag-uugali.

🔗 Paano hinuhulaan ng AI ang mga uso
Galugarin ang mga pamamaraan ng pagtataya na nakakakita ng mga senyales at nahuhulaan ang demand sa hinaharap.

Paano gumagana ang AI Upscaling: ang pangunahing ideya, sa pang-araw-araw na salita 🧩

Ang upscaling ay nangangahulugang pagtaas ng resolution: mas maraming pixel, mas malaking imahe. Ang tradisyonal na upscaling (tulad ng bicubic) ay karaniwang nagpapahaba ng mga pixel at nagpapakinis ng mga transition ( Bicubic interpolation ). Ayos lang ito, ngunit hindi ito makakaimbento ng bagong detalye - nag-i-interpolate lang ito.

ng AI upscaling ang isang bagay na mas matapang (kilala rin bilang "super-resolution" sa mundo ng pananaliksik) ( Deep Learning for Image Super-resolution: A Survey ):

  • Tinitingnan nito ang low-res input

  • Nakikilala ang mga padron (mga gilid, tekstura, katangian ng mukha, mga hagod ng teksto, paghabi ng tela...)

  • ang dapat na hitsura ng isang mas mataas na resolusyon na bersyon

  • Bumubuo ng karagdagang data ng pixel na akma sa mga pattern na iyon

Hindi "perpektong ibalik ang realidad," mas parang "gumawa ng isang lubos na kapani-paniwalang hula" ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ). Kung medyo kahina-hinala ang dating niyan, hindi ka nagkakamali - pero iyon din ang dahilan kung bakit ito gumagana nang maayos 😄

At oo, nangangahulugan ito na ang AI upscaling ay karaniwang kontroladong halusinasyon... ngunit sa isang produktibo at may paggalang sa pixel na paraan.

Ano ang bumubuo sa isang mahusay na bersyon ng AI upscaling? ✅🛠️

Kung humuhusga ka ng isang AI upscaler (o isang setting preset), narito ang pinakamahalaga:

  • Pagbawi ng detalye nang hindi naluluto nang sobra.
    Ang mahusay na upscaling ay nagdaragdag ng presko at istruktura, hindi malutong na ingay o pekeng mga pores.

  • Disiplina sa gilid
    Ang malilinis na linya ay nananatiling malinis. Ang hindi maayos na mga modelo ay nagpapagalaw sa mga gilid o nagpapasibol ng mga halo.

  • Realismo sa tekstura
    Ang buhok ay hindi dapat maging hagod ng paintbrush. Ang ladrilyo ay hindi dapat maging paulit-ulit na selyo ng disenyo.

  • Paghawak ng ingay at compression
    Maraming pang-araw-araw na imahe ang pinapabilis ang pag-edit ng JPEG. Hindi pinapalala ng isang mahusay na upscaler ang pinsalang iyon ( Real-ESRGAN ).

  • Kamalayan sa mukha at teksto
    Ang mga mukha at teksto ang pinakamadaling lugar para matukoy ang mga pagkakamali. Maingat ang mga modelo sa pagtrato sa mga ito (o may mga espesyal na paraan).

  • Pagkakapare-pareho sa iba't ibang frame (para sa video)
    Kung ang detalye ay kumukurap-kurap sa bawat frame, titigil ang iyong mga mata. Ang pag-upscaling ng video ay nabubuhay o namamatay dahil sa temporal stability ( BasicVSR (CVPR 2021) ).

  • Mga kontrol na may katuturan
    Gusto mo ng mga slider na tumutugma sa mga totoong resulta: denoise, deblur, pag-alis ng artifact, pagpapanatili ng butil, paghahasa... at mga praktikal na bagay.

Isang tahimik na tuntunin na nananatiling epektibo: ang "pinakamahusay" na upscaling ay kadalasang iyong halos hindi mo napapansin. Mukhang mas maganda pa ang kamera mo noong una 📷✨

Talahanayan ng Paghahambing: mga sikat na opsyon sa AI upscaling (at kung ano ang mga kapaki-pakinabang sa mga ito) 📊🙂

Nasa ibaba ang isang praktikal na paghahambing. Sinasadya na malabo ang mga presyo dahil ang mga tool ay nag-iiba ayon sa lisensya, mga bundle, mga gastos sa compute, at lahat ng masasayang bagay na iyon.

Kasangkapan / Pamamaraan Pinakamahusay para sa Presyo ng vibe Bakit ito gumagana (humigit-kumulang)
Mga desktop upscaler na istilong Topaz ( Larawan ng Topaz , Video ng Topaz ) Mga larawan, video, madaling daloy ng trabaho Parang bayad Malakas na pangkalahatang modelo + maraming pag-tune, may posibilidad na "gumana lang"... kadalasan
Mga tampok na uri ng Adobe na "Super Resolution" ( Adobe Enhance > Super Resolution ) Mga photographer na nasa ecosystem na iyon Subscription-y Matibay na muling pagbubuo ng detalye, kadalasang konserbatibo (hindi gaanong madrama)
Mga variant ng Real-ESRGAN / ESRGAN ( Real-ESRGAN , ESRGAN ) Mga trabahong DIY, developer, at batch Libre (ngunit magastos sa oras) Mahusay sa detalye ng tekstura, maaaring maging maanghang sa mukha kung hindi ka mag-iingat
Mga mode ng upscaling batay sa diffusion ( SR3 ) Malikhaing gawain, mga naka-istilong resulta Halo-halo Makakalikha ng napakagandang detalye - maaari ring mag-imbento ng kalokohan, kaya... oo
Mga game upscaler (istilong DLSS/FSR) ( NVIDIA DLSS , AMD FSR 2 ) Paglalaro at pag-render nang real-time Naka-bundle Gumagamit ng datos ng paggalaw at mga natutunang prioridad - panalo sa maayos na pagganap 🕹️
Mga serbisyo sa pag-upscaling ng cloud Kaginhawaan, mabilis na panalo Bayad-kada-gamit Mabilis + nasusukat, ngunit may kontrol ka sa pangangalakal at kung minsan ay may kahusayan
Mga AI upscaler na nakatuon sa video ( BasicVSR , Topaz Video ) Lumang kuha, anime, mga archive Parang bayad Mga pansamantalang trick para mabawasan ang pagkislap + mga espesyal na modelo ng video
Pagpapahusay ng "Smart" na telepono/gallery Kaswal na paggamit Kasama Mga magaan na modelo na ginawa para sa kaaya-ayang output, hindi para sa perpekto (madaling gamitin)

Pag-amin sa kakaibang pag-format: Malaki ang ginagawang trabaho ng "Paid-ish" sa table na 'yan. Pero naiintindihan mo naman 😅

Ang malaking sikreto: natututo ang mga modelo ng pagmamapa mula low-res hanggang high-res 🧠➡️🖼️

Sa puso ng karamihan sa AI upscaling ay ang isang supervised learning setup ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ):

  1. Magsimula sa mga imaheng may mataas na resolusyon (ang "katotohanan")

  2. I-downsample ang mga ito sa mga bersyong mababa ang resolution (ang "input")

  3. Sanayin ang isang modelo upang muling buuin ang orihinal na high-res mula sa low-res

Sa paglipas ng panahon, natututo ang modelo ng mga ugnayan tulad ng:

  • "Ang ganitong uri ng paglabo sa paligid ng mata ay karaniwang nabibilang sa mga pilikmata"

  • "Ang kumpol ng pixel na ito ay kadalasang nagpapahiwatig ng serif na teksto"

  • "Ang gradient ng gilid na ito ay parang linya ng bubong, hindi basta-basta na lang ingay"

Hindi ito pagsasaulo ng mga partikular na imahe (sa simpleng kahulugan), ito ay pag-aaral ng istrukturang istatistikal ( Deep Learning for Image Super-resolution: A Survey ). Isipin ito na parang pag-aaral ng gramatika ng mga tekstura at gilid. Hindi gramatika ng tula, mas katulad ng… IKEA manual grammar 🪑📦 (mahirap i-metapora, ngunit halos pareho).

Ang mga pangunahing kaalaman: ano ang nangyayari habang nag-iinference (kapag nag-u-upscale ka) ⚙️✨

Kapag nag-feed ka ng image sa isang AI upscaler, karaniwang may ganitong pipeline:

  • Paunang pagproseso

    • I-convert ang espasyo ng kulay (minsan)

    • I-normalize ang mga halaga ng pixel

    • I-tile ang imahe sa mga piraso kung ito ay malaki (VRAM reality check 😭) ( Real-ESRGAN repo (mga opsyon sa tile) )

  • Pagkuha ng tampok

    • Natutukoy ng mga unang patong ang mga gilid, sulok, at gradient

    • Natutukoy ng mas malalalim na patong ang mga pattern: mga tekstura, hugis, mga bahagi ng mukha

  • Rekonstruksyon

    • Ang modelo ay bumubuo ng isang mapa ng tampok na mas mataas ang resolusyon

    • Pagkatapos ay kino-convert iyon sa aktwal na output ng pixel

  • Pagproseso pagkatapos

    • Opsyonal na paghahasa

    • Opsyonal na denoise

    • Opsyonal na pagsugpo sa artifact (pag-ring, halos, pagkabara)

Isang banayad na detalye: maraming kagamitan ang nag-aayos ng mga tile, tapos pinagsasama ang mga tahi. Mahusay na kagamitan ang nagtatago ng mga hangganan ng tile. Ang mga kagamitang hindi gaanong mahalaga ay nag-iiwan ng mga mahihinang marka ng grid kung pipikit ka. At oo, pipikit ka rin, dahil gustung-gusto ng mga tao na suriin ang maliliit na imperpeksyon sa 300% zoom na parang maliliit na gremlin 🧌

Ang mga pangunahing pamilya ng modelo na ginagamit para sa AI upscaling (at kung bakit naiiba ang mga ito) 🤖📚

1) Super-resolution na nakabatay sa CNN (ang klasikong workhorse)

Mahusay ang mga convolutional neural network sa mga lokal na pattern: mga gilid, tekstura, maliliit na istruktura ( Image Super-Resolution Using Deep Convolutional Networks (SRCNN) ).

  • Mga Kalamangan: mabilis, matatag, mas kaunting sorpresa

  • Mga Kahinaan: maaaring magmukhang medyo "naproseso" kung ipipilit nang husto

2) Upscaling batay sa GAN (istilong ESRGAN) 🎭

Sinasanay ng mga GAN (Generative Adversarial Networks) ang isang generator upang makagawa ng mga high-res na imahe na hindi kayang paghiwalayin ng isang discriminator mula sa mga totoong imahe ( Generative Adversarial Networks ).

  • Mga Kalamangan: matingkad na detalye, kahanga-hangang tekstura

  • Mga Kahinaan: maaaring mag-imbento ng detalyeng wala naman talaga - minsan mali, minsan kakaiba ( SRGAN , ESRGAN )

Ang GAN ay makapagbibigay sa iyo ng kahanga-hangang talas. Maaari rin nitong bigyan ang iyong portrait subject ng karagdagang kilay. Kaya... piliin ang iyong mga laban 😬

3) Pag-upscaling batay sa diffusion (ang malikhaing wildcard) 🌫️➡️🖼️

Ang mga modelo ng diffusion ay unti-unting nag-aalis ng ingay at maaaring gabayan upang makagawa ng mga detalyeng may mataas na resolusyon ( SR3 ).

  • Mga Kalamangan: maaaring maging napakagaling sa mga kapani-paniwalang detalye, lalo na para sa malikhaing gawain

  • Mga Kahinaan: maaaring lumayo sa orihinal na pagkakakilanlan/istruktura kung ang mga setting ay agresibo ( SR3 )

Dito nagsisimula ang paghahalo ng "upscaling" sa "reimagining." Minsan, iyon mismo ang gusto mo. Minsan naman, hindi.

4) Pag-upscaling ng video nang may temporal consistency 🎞️

Ang video upscaling ay kadalasang nagdaragdag ng lohikang may kamalayan sa paggalaw:

  • Gumagamit ng mga kalapit na frame upang patatagin ang detalye ( BasicVSR (CVPR 2021) )

  • Sinusubukang iwasan ang mga kisap-mata at gumagapang na artifact

  • Kadalasang pinagsasama ang super-resolution sa denoise at deinterlacing ( Topaz Video )

Kung ang image upscaling ay parang pagpapanumbalik ng isang painting, ang video upscaling naman ay parang pagpapanumbalik ng isang flipbook nang hindi binabago ang hugis ng ilong ng karakter sa bawat pahina. Na mas mahirap pa kaysa sa inaakala.

Bakit minsan mukhang peke ang AI upscaling (at paano ito makikilala) 👀🚩

Nabibigo ang AI upscaling sa mga paraang madaling maintindihan. Kapag natutunan mo na ang mga pattern, makikita mo ang mga ito kahit saan, parang pagbili ng bagong kotse at biglang mapansin ang modelong iyon sa bawat kalye 😵💫

Karaniwang nagsasabi:

  • Pag-wax ng balat sa mga mukha (sobrang denoise + pagpapakinis)

  • Mga sobrang talas na halo sa paligid ng mga gilid (klasikong teritoryong "overshoot") ( Bicubic interpolation )

  • Mga paulit-ulit na tekstura (mga pader na ladrilyo ay nagiging mga disenyong kinopya at idikit)

  • Malutong na micro-contrast na sumisigaw ng "algorithm"

  • Pagbabago ng teksto kung saan ang mga letra ay nagiging halos mga letra (ang pinakamasamang uri)

  • Pag-agos ng detalye kung saan ang maliliit na tampok ay bahagyang nagbabago, lalo na sa mga daloy ng trabaho ng pagsasabog ( SR3 )

Ang mahirap na bahagi: minsan ang mga artifact na ito ay "mas maganda" tingnan sa isang sulyap. Gusto ng utak mo ng talas. Pero pagkaraan ng ilang sandali, parang... hindi na maganda.

Isang disenteng taktika ang mag-zoom out at tingnan kung natural ang itsura nito sa normal na distansya ng pagtingin. Kung maganda lang ang itsura nito sa 400% zoom, hindi iyon panalo, libangan lang iyon 😅

Paano gumagana ang AI Upscaling: ang bahagi ng pagsasanay, nang walang sakit sa ulo sa matematika 📉🙂

Ang pagsasanay sa mga super-resolution model ay karaniwang kinabibilangan ng:

Karaniwang mga uri ng pagkalugi:

  • Pagkawala ng pixel (L1/L2)
    Naghihikayat ng katumpakan. Maaaring magdulot ng bahagyang mahinang resulta.

  • Pagkawala ng persepsyon.
    Pinaghahambing nito ang mas malalalim na katangian (tulad ng "magkamukha ba ito " ) sa halip na eksaktong mga pixel ( Perceptual Losses (Johnson et al., 2016) ).

  • Ang Adversarial loss (GAN)
    ay naghihikayat ng realismo, minsan sa kapalit ng literal na katumpakan ( SRGAN , Generative Adversarial Networks ).

Mayroong patuloy na pagtatalo:

  • Gawin itong tapat sa orihinal
    vs.

  • Gawin itong kaaya-aya sa paningin

Iba't ibang kagamitan ang napupunta sa iba't ibang lugar sa spectrum na iyon. At maaaring mas gusto mo ang isa depende kung nagre-restore ka ng mga larawan ng pamilya o naghahanda ng poster kung saan mas mahalaga ang "kagandahan" kaysa sa forensic accuracy.

Mga praktikal na daloy ng trabaho: mga larawan, mga lumang scan, anime, at video 📸🧾🎥

Mga Larawan (mga retrato, tanawin, mga kuha ng produkto)

Ang pinakamahusay na kasanayan ay karaniwang:

  • Bahagyang denoise muna (kung kinakailangan)

  • Mataas na kalidad na may mga konserbatibong setting

  • Idagdag muli ang butil kung ang mga bagay ay parang masyadong makinis (oo, talaga)

Ang butil ay parang asin. Ang sobrang dami ay nakakasira ng hapunan, pero wala ni isa ang nakakapagpa-flat ng lasa 🍟

Mga lumang scan at mga imaheng lubos na na-compress

Mas mahirap ang mga ito dahil maaaring ituring ng modelo ang mga bloke ng compression bilang "texture."
Subukan:

  • Pag-alis o pag-deblock ng artifact

  • Pagkatapos ay mamahaling tao

  • Tapos bahagyang pagpapatalas (hindi naman sobra... Alam ko, sinasabi ng lahat iyan, pero ganun pa rin)

Anime at line art

Mga benepisyo ng line art mula sa:

  • Mga modelong nagpapanatili ng malinis na mga gilid

  • Nabawasan ang tekstura ng halusinasyon.
    Ang pag-upscaling ng anime ay kadalasang maganda ang hitsura dahil ang mga hugis ay mas simple at pare-pareho. (Maswerte.)

Bidyo

Nagdaragdag ang video ng mga karagdagang hakbang:

  • Denoise

  • Pag-alis ng interlace (para sa ilang partikular na mapagkukunan)

  • Mataas na kalidad

  • Temporal na pagpapakinis o pagpapatatag ( BasicVSR (CVPR 2021) )

  • Opsyonal na muling pagpapakilala ng butil para sa pagkakaisa

Kung hindi mo papansinin ang temporal consistency, maglalaho ang kumikinang na detalye. Kapag napansin mo na, hindi mo na ito maaalis sa paningin. Parang isang silya na lumalagutok sa isang tahimik na silid 😖

Pagpili ng mga setting nang walang paligoy-ligoy na panghuhula (isang maliit na cheat sheet) 🎛️😵💫

Narito ang isang disenteng panimulang kaisipan:

  • Kung mukhang plastik ang mga mukha,
    bawasan ang denoise, bawasan ang pagpapatalas ng mukha, subukan ang isang modelo o mode na nagpapanatili ng mukha.

  • Kung ang mga tekstura ay mukhang masyadong matingkad,
    ibaba ang mga slider na "pagpapahusay ng detalye" o "pagbawi ng detalye", magdagdag ng banayad na butil pagkatapos.

  • Kung kumikinang ang mga gilid,
    bawasan ang pagpahasa, tingnan ang mga opsyon sa pagpigil sa halo.

  • Kung ang imahe ay mukhang masyadong "AI",
    maging mas konserbatibo. Minsan ang pinakamahusay na hakbang ay simpleng... bawasan.

Gayundin: huwag mong i-upscale ang 8x dahil lang kaya mo. Kadalasan, ang malinis na 2x o 4x ang pinakamagandang opsyon. Higit pa riyan, hinihiling mo pa sa modelo na magsulat ng fanfiction tungkol sa iyong mga pixel 📖😂

Etika, pagiging tunay, at ang mahirap na tanong ng "katotohanan" 🧭😬

Pinalalabo ng AI upscaling ang isang linya:

  • Ang pagpapanumbalik ay nangangahulugan ng pagbawi sa kung ano ang naroon

  • Ang pagpapahusay ay nangangahulugan ng pagdaragdag ng hindi

Sa mga personal na litrato, kadalasan ay ayos lang (at maganda). Sa pamamahayag, legal na ebidensya, medical imaging, o anumang bagay kung saan mahalaga ang katapatan… kailangan mong maging maingat ( OSAC/NIST: Standard Guide for Forensic Digital Image Management , SWGDE Guidelines for Forensic Image Analysis ).

Isang simpleng tuntunin:

  • Kung malaki ang nakataya, ituring ang AI upscaling bilang isang paglalarawan lamang , hindi bilang tiyak.

Gayundin, mahalaga ang pagsisiwalat sa mga propesyonal na konteksto. Hindi dahil masama ang AI, kundi dahil nararapat malaman ng mga manonood kung ang mga detalye ay muling binuo o nakuha. Iyon ay... magalang.

Mga pangwakas na tala at isang mabilis na buod 🧡✅

Kaya, gumagana ang AI Upscaling nauugnay ang detalyeng may mataas na resolution sa mga pattern na may mababang resolution, pagkatapos ay hinuhulaan ang mga kapani-paniwalang dagdag na pixel habang nag-u-upscaling ( Deep Learning for Image Super-resolution: A Survey ). Depende sa pamilya ng modelo (CNN, GAN, diffusion, video-temporal), ang prediksyon na iyon ay maaaring maging konserbatibo at tapat... o matapang at kung minsan ay walang saysay 😅

Mabilisang pagbabalik-tanaw

Kung gusto mo, sabihin mo sa akin kung ano ang iyong ina-upscaling (mga mukha, lumang larawan, video, anime, text scan), at magmumungkahi ako ng isang diskarte sa setting na may posibilidad na maiwasan ang mga karaniwang problema sa "AI look" 🎯🙂

Mga Madalas Itanong

Pag-upscaling ng AI at kung paano ito gumagana

Ang AI upscaling (madalas tinatawag na "super-resolution") ay nagpapataas ng resolution ng isang imahe sa pamamagitan ng paghula ng nawawalang detalyeng may mataas na resolution mula sa mga pattern na natutunan habang nagsasanay. Sa halip na basta iunat ang mga pixel tulad ng bicubic interpolation, pinag-aaralan ng isang modelo ang mga gilid, texture, mukha, at mga stroke na parang teksto, pagkatapos ay bumubuo ng mga bagong data ng pixel na tumutugma sa mga natutunang pattern na iyon. Hindi ito gaanong "pagpapanumbalik ng realidad" at mas "paggawa ng isang kapani-paniwalang hula" na natural ang pagkakalarawan.

Pag-upscaling ng AI kumpara sa bicubic o tradisyonal na pagbabago ng laki

Ang mga tradisyunal na pamamaraan ng upscaling (tulad ng bicubic) ay pangunahing nagsasama-sama sa pagitan ng mga umiiral na pixel, na nagpapakinis ng mga transisyon nang hindi lumilikha ng tunay na bagong detalye. Nilalayon ng AI upscaling na muling buuin ang kapani-paniwalang istruktura sa pamamagitan ng pagkilala sa mga visual cue at paghula kung ano ang magiging hitsura ng mga high-res na bersyon ng mga cue na iyon. Kaya naman ang mga resulta ng AI ay maaaring maging mas matalas, at kaya rin nilang magpakilala ng mga artifact o "mag-imbento" ng mga detalye na wala sa pinagmulan.

Bakit maaaring magmukhang mala-wax o masyadong makinis ang mga mukha

Ang mga waxy na mukha ay karaniwang nagmumula sa agresibong denoise at smoothing na sinamahan ng sharpening na nagtatanggal ng natural na texture ng balat. Maraming tool ang gumagamit ng parehong noise at pinong texture, kaya ang "paglilinis" ng isang imahe ay maaaring magbura ng mga pores at banayad na detalye. Ang isang karaniwang paraan ay ang pagbabawas ng denoise at sharpening, gumamit ng face-preserving mode kung mayroon, pagkatapos ay muling maglagay ng kaunting grain para ang resulta ay hindi gaanong plastik at mas mala-photographic.

Mga karaniwang artifact sa pag-upscaling ng AI na dapat bantayan

Kabilang sa mga karaniwang palatandaan ang mga halo sa paligid ng mga gilid, paulit-ulit na mga pattern ng texture (tulad ng mga copy-paste brick), malutong na micro-contrast, at tekstong nagiging "halos mga letra." Sa mga diffusion-based workflow, makikita mo rin ang detail drift kung saan ang maliliit na feature ay bahagyang nagbabago. Para sa video, ang flicker at crawling detail sa mga frame ay malalaking babala. Kung maganda lang ang itsura nito sa extreme zoom, malamang na masyadong agresibo ang mga setting.

Paano nagkakaiba ang mga resulta ng GAN, CNN, at mga diffusion upscaler

Ang mga super-resolution na nakabatay sa CNN ay may posibilidad na maging mas matatag at mas mahuhulaan, ngunit maaari itong magmukhang "naproseso" kung ipipilit nang husto. Ang mga opsyon na nakabatay sa GAN (estilo ng ESRGAN) ay kadalasang lumilikha ng mas mapusok na tekstura at nakikitang katulisan, ngunit maaari nilang maghalusinasyon ng maling detalye, lalo na sa mga mukha. Ang diffusion-based upscaling ay maaaring makabuo ng maganda at kapani-paniwalang detalye, ngunit maaari itong lumihis mula sa orihinal na istraktura kung ang mga setting ng gabay o lakas ay masyadong malakas.

Isang praktikal na estratehiya sa mga setting para maiwasan ang hitsurang "masyadong AI"

Magsimula sa konserbatibo: upscale 2× o 4× bago gamitin ang mga sukdulang salik. Kung mukhang plastic ang mga mukha, bawasan ang denoise at sharpening at subukan ang face-aware mode. Kung masyadong matindi ang mga texture, bawasan ang pagpapahusay ng detalye at isaalang-alang ang pagdaragdag ng banayad na grain pagkatapos. Kung kumikinang ang mga gilid, bawasan ang sharpening at suriin ang halo o artifact suppression. Sa maraming pipeline, ang "less" ay panalo dahil pinapanatili nito ang kapani-paniwalang realismo.

Paghawak sa mga lumang scan o mga imaheng sobrang naka-compress na JPEG bago ang upscaling

Mahirap ang mga naka-compress na imahe dahil maaaring ituring ng mga modelo ang mga block artifact bilang totoong texture at palakasin ang mga ito. Ang isang karaniwang daloy ng trabaho ay ang pag-alis o pag-deblock muna ng artifact, pagkatapos ay ang pag-upscaling, pagkatapos ay ang bahagyang pagpapatalas lamang kung kinakailangan. Para sa mga scan, ang banayad na paglilinis ay makakatulong sa modelo na tumuon sa aktwal na istraktura sa halip na pinsala. Ang layunin ay bawasan ang "mga pekeng pahiwatig ng texture" upang ang upscaler ay hindi mapilitang gumawa ng mga kumpiyansang hula mula sa mga maingay na input.

Bakit mas mahirap ang pag-upscaling ng video kaysa sa pag-upscaling ng larawan

Ang video upscaling ay kailangang maging pare-pareho sa iba't ibang frame, hindi lamang maganda sa iisang larawan. Kung ang mga detalye ay kumukurap-kurap sa bawat frame, mabilis na nagiging nakakagambala ang resulta. Ang mga pamamaraang nakatuon sa video ay gumagamit ng impormasyong temporal mula sa mga kalapit na frame upang patatagin ang rekonstruksyon at maiwasan ang kumikinang na mga artifact. Kasama rin sa maraming workflow ang denoise, deinterlacing para sa ilang partikular na pinagmulan, at opsyonal na muling pagpapakilala ng grain upang ang buong sequence ay magmukhang magkakaugnay sa halip na artipisyal na matalas.

Kapag ang AI upscaling ay hindi angkop o mapanganib na umasa

Ang AI upscaling ay pinakamahusay na ituring bilang pagpapahusay, hindi bilang patunay. Sa mga kontekstong may mataas na antas ng peligro tulad ng pamamahayag, legal na ebidensya, medical imaging, o gawaing forensic, ang pagbuo ng mga "kapani-paniwalang" pixel ay maaaring makalinlang dahil maaari itong magdagdag ng mga detalyeng hindi nakuha. Ang isang mas ligtas na framing ay ang paggamit nito sa ilustrasyon at pagsisiwalat na ang isang proseso ng AI ay muling nagtayo ng detalye. Kung mahalaga ang katapatan, pangalagaan ang mga orihinal at idokumento ang bawat hakbang at setting ng pagproseso.

Mga Sanggunian

  1. arXiv - Deep Learning para sa Super-resolution ng Imahe: Isang Survey - arxiv.org

  2. arXiv - Super-Resolution ng Imahe Gamit ang Deep Convolutional Networks (SRCNN) - arxiv.org

  3. arXiv - Real-ESRGAN - arxiv.org

  4. arXiv - ESRGAN - arxiv.org

  5. arXiv - SR3 - arxiv.org

  6. NVIDIA Developer - NVIDIA DLSS - developer.nvidia.com

  7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

  8. Ang Computer Vision Foundation (CVF) Open Access - BasicVSR: Ang Paghahanap para sa mga Mahahalagang Bahagi sa Video Super-Resolution (CVPR 2021) - openaccess.thecvf.com

  9. arXiv - Mga Network ng Mapag-aaway na Henerative - arxiv.org

  10. arXiv - SRGAN - arxiv.org

  11. arXiv - Mga Pagkawala ng Pandama (Johnson et al., 2016) - arxiv.org

  12. GitHub - Real-ESRGAN repo (mga opsyon sa tile) - github.com

  13. Wikipedia - Interpolasyon ng Bikubiko - wikipedia.org

  14. Topaz Labs - Larawan ng Topaz - topazlabs.com

  15. Topaz Labs - Topaz Video - topazlabs.com

  16. Sentro ng Tulong ng Adobe - Adobe Enhance > Super Resolution - helpx.adobe.com

  17. NIST / OSAC - Pamantayang Gabay para sa Forensic Digital Image Management (Bersyon 1.0) - nist.gov

  18. SWGDE - Mga Alituntunin para sa Forensic Image Analysis - swgde.org

Hanapin ang Pinakabagong AI sa Opisyal na Tindahan ng AI Assistant

Tungkol sa Amin

Balik sa blog