Il-viżjoni 3D hija qasam multidixxiplinarju li jinvolvi grafika tal-kompjuter, viżjoni tal-kompjuter, u intelliġenza artifiċjali. Hija għandha l-għan li tippermetti lill-magni jifhmu u jipproċessaw l-informazzjoni fi spazju tridimensjonali, u jiksbu perċezzjoni fil-fond, rikonoxximent, u fehim ta 'oġġetti u xeni.
Kompiti Ewlenin
Rikostruzzjoni 3D
Stima tal-fond ta 'xeni 3D jew kampjunar diġitali ta' uċuħ ta 'oġġetti, kif ukoll ipproċessar u wiri ta' data 3D; rikostruzzjoni monokulari, rikostruzzjoni binokulari, rikostruzzjoni bbażata fuq id-dawl strutturat-, rikostruzzjoni bbażata fuq il-lejżer-; rikostruzzjoni 3D fuq skala kbira-, rikostruzzjoni 3D mobbli.
Poża Stima
Kalkolu tal-pożizzjoni u l-orjentazzjoni ta' kameras jew oġġetti fi spazju fiżiku tridimensjonali, u traċċar ta'-ħin reali.
Fehim 3D
L-iskoperta, ir-rikonoxximent u l-irkupru ta' oġġetti, kif ukoll is-segmentazzjoni u t-tikkettjar semantiku ta' xeni jew oġġetti.
Prinċipji ta' Ħidma
L-immaġini tal-viżjoni 3D hija waħda mill-aktar metodi importanti għall-perċezzjoni tal-informazzjoni fir-robots industrijali, u tista 'tinqasam f'metodi ta' immaġini ottiċi u mhux-ottiċi. Bħalissa, il-metodi ottiċi huma l-aktar użati.
Ħin-tal--Metodu tat-Titjira (TOF).
Dan il-metodu jikkalkula d-distanza għal oġġett billi jkejjel id-differenza fil-ħin bejn l-emissjoni tad-dawl u r-riċeviment. Meta tieħu kamera TOF bħala eżempju, kull pixel juża d-differenza fil-ħin tat-titjira ħafifa biex jikseb il-fond tal-oġġett. F'metodi ta 'kejl klassiċi, is-sistema tad-ditekter tibda timing meta temetti polz tad-dawl, taħżen il-ħin tal-vjaġġ bir-ritorn -meta tirċievi l-eku tad-dawl fil-mira, u tistma d-distanza fil-mira skont formula.
Huwa maqsum f'TOF dirett (DTOF) u TOF indirett (I-TOF). DTOF normalment jintuża f'sistemi ta'-punt wieħed, u l-kisba ta' immaġini 3D ta' żona-wisa' ħafna drabi teħtieġ teknoloġija tal-iskannjar; I-TOF testrapola indirettament il-ħin tal-vjaġġ bir-ritorn mill-kejl tal-intensità tad-dawl-gated, u jelimina l-ħtieġa għal ħin preċiż, u bħalissa huwa soluzzjoni kummerċjalizzata għal miksers elettroniċi u ottiċi bbażati fuq kameras TOF. L-immaġini TOF jistgħu jintużaw għall-akkwist ta' immaġini 3D ta' kamp viżiv kbir, -distanza twila,-baxxa, u-bi prezz baxx, u jintuża għall-perċezzjoni ambjentali f'sistemi intelliġenti mingħajr ekwipaġġ (bħal robots, vetturi bla ekwipaġġ, drones, eċċ.).
Imaġini 3D Projezzjoni Dawl Strutturat
L-immaġini 3D ta 'projezzjoni tad-dawl strutturat bħalissa huwa l-metodu ewlieni għall-perċezzjoni tal-viżjoni 3D fir-robots. Proġekter jipproġetta mudell ta 'illuminazzjoni tad-dawl strutturat speċifiku fuq l-oġġett fil-mira, bħal strixxi jew mudelli ta' kodiċi Griż, u kamera taqbad l-immaġni modulata mill-mira. Minħabba l-ondulazzjonijiet tal-wiċċ tal-oġġett, il-mudell tad-dawl strutturat huwa deformat fuq il-wiċċ tal-oġġett. Billi tipproċessa immaġini u tuża mudelli viżwali biex tqabbel il-mudelli qabel u wara d-deformazzjoni, u tanalizza d-distorsjoni tal-mudell, tista 'tiġi kkalkulata l-informazzjoni tal-koordinati tridimensjonali ta' kull punt fuq il-wiċċ tal-oġġett fil-mira.
F'applikazzjonijiet robotiċi tas-sistema tal-għajnejn-l-idejn, għal xenarji fejn preċiżjoni għolja tal-kejl 3D mhix meħtieġa (bħal palletizing, depalletizing, u 3D gripping), il-metodu ta 'proġettazzjoni psewdo-mudelli speckle każwali biex tinkiseb informazzjoni 3D fil-mira huwa pjuttost popolari. Dan il-metodu huwa komunement użat fl-ispezzjoni industrijali u l-immudellar 3D, u jista 'malajr jikseb data 3D tal-wiċċ tal-oġġett. Sistema strutturata tal-immaġini tad-dawl tikkonsisti minn diversi proġekters u kameras. Forom strutturali komuni jinkludu: proġettazzjoni waħda-kamera waħda, proġettazzjoni waħda-kamera doppja, proġettazzjoni waħda-kameras multipli, kamera waħda-proġekters doppji, u kamera waħda-proġekters multipli.
Il-prinċipju bażiku tax-xogħol ta 'l-immaġini 3D ta' projezzjoni tad-dawl strutturat huwa kif ġej: il-proġettazzjoni tipproġetta mudell speċifiku ta 'illuminazzjoni tad-dawl strutturat fuq l-oġġett fil-mira, il-kamera taqbad l-immaġni modulata mill-mira, u mbagħad l-informazzjoni 3D tal-oġġett fil-mira tinkiseb permezz tal-ipproċessar tal-immaġni u mudelli viżwali. Tipi komuni ta 'proġekters jinkludu: wiri tal-kristalli likwidi (LCD), projezzjoni ta' modulazzjoni tad-dawl diġitali (DLP: bħal tagħmir mikromirror diġitali (DMD)), u projezzjoni diretta tal-mudell tal-lejżer LED.
Ibbażat fuq in-numru ta 'projezzjonijiet ta' dawl strutturat, l-immaġini 3D ta 'projezzjoni ta' dawl strutturat jistgħu jinqasmu f'metodi 3D ta 'shot-shot 3D u multi-shot 3D. Id-dawl strutturat ta' -shot waħdieni juża prinċipalment kodifikazzjoni tal-multiplexing spazjali u kodifikazzjoni tal-multiplexing tal-frekwenza. Forom ta 'kodifikazzjoni komuni jinkludu: kodifikazzjoni tal-kulur, indiċjar ta' skala griża, kodifikazzjoni ta 'forma ġeometrika, u mudelli ta' speckle każwali. Bħalissa, f'applikazzjonijiet robotiċi tas-sistema tal-għajnejn-l-idejn, għal xenarji fejn ma tkunx meħtieġa preċiżjoni għolja tal-kejl 3D, bħal palletizing, depalletizing, u ħtif 3D, il-metodu ta 'proġettazzjoni psewdo-mudelli ta' speckle każwali biex tinkiseb informazzjoni 3D fil-mira huwa użat ħafna.
Metodi 3D b'ħafna-shots prinċipalment jużaw kodifikazzjoni tal-ħin-multiplexing. Forom komuni ta' kodifikazzjoni tal-mudelli jinkludu: kodifikazzjoni binarja, kodifikazzjoni ta' fażi b'ħafna-frekwenza-, u metodi ta' kodifikazzjoni ibrida (bħal kodiċi Griż u marġini ta' fażi-). Il-prinċipju bażiku tal-immaġni 3D tad-dawl strutturat jidher fil-figura hawn taħt. Mudell tad-dawl strutturat huwa ġġenerat bl-użu ta 'kompjuter jew apparat ottiku speċjali, u mbagħad ipproġettat fuq il-wiċċ tal-oġġett taħt test bl-użu ta' sistema ta 'projezzjoni ottika. Apparat ta 'akkwist ta' immaġni (bħal kamera CCD jew CMOS) jintuża biex jaqbad l-immaġni tad-dawl strutturat modulata u deformata mill-wiċċ tal-oġġett. L-algoritmi tal-ipproċessar tal-immaġni mbagħad jintużaw biex tiġi kkalkulata l-korrispondenza bejn kull pixel fl-immaġni u l-punti fuq il-kontorn tal-oġġett. Fl-aħħarnett, l-informazzjoni tal-kontorn tridimensjonali tal-oġġett tiġi kkalkulata bl-użu tal-mudell tal-istruttura tas-sistema u t-teknoloġija tal-kalibrazzjoni tiegħu. F'applikazzjonijiet prattiċi, il-projezzjoni tal-kodiċi Griż, il-projezzjoni tal-marġinali li tiċċaqlaq il-fażi-sinusojdali, jew kodiċi Griż ibridu u t-teknoloġija 3D li tiċċaqlaq il-fażi-sinusojdali huma komunement użati.
Għal uċuħ mhux maħduma, dawl strutturat jista 'jiġi proġettat direttament fuq il-wiċċ tal-oġġett għall-kejl tal-immaġni viżwali; madankollu, għal kejl 3D ta 'uċuħ lixxi li jirriflettu ħafna u oġġetti riflessi, projezzjoni tad-dawl strutturat ma tistax tiġi proġettata direttament fuq il-wiċċ taħt test, u l-kejl 3D jeħtieġ l-użu ta' tekniki ta 'riflessjoni spekulari.
F'din l-iskema, it-truf mhumiex proġettati direttament fuq il-kontorn tal-oġġett taħt test, iżda pjuttost fuq skrin tat-tifrix, jew skrin tal-wiri tal-kristalli likwidi (LCD) jintuża biex juri direttament it-truf. Il-kamera takkwista l-informazzjoni marġinali modulata mill-bidliet fil-kurvatura tal-wiċċ qawwi permezz tal-mogħdija tad-dawl rifless, u mbagħad tikkalkula l-morfoloġija tal-kontorn tridimensjonali-.
Skennjar tal-Immaġini 3D
Metodi ta 'l-iskannjar ta' l-immaġini 3D jistgħu jinqasmu fi skennjar li jvarjaw, trijangulazzjoni attiva, u metodi konfokali kromatiċi. L-iskannjar li jvarja juża raġġ tad-dawl kollimat biex jiskennja l-wiċċ kollu tal-mira għall-kejl 3D. Metodi tipiċi tal-iskannjar tal-iskanjar jinkludu:-ħin ta' punt wieħed{-ta'-metodi ta' titjir, bħall-modulazzjoni tal-frekwenza tal-mewġ kontinwu (FM{-CW) rangeing u polz ranging (LiDAR); interferometrija tat-tifrix tal-lejżer, bħal interferometri bbażati fuq interferenza b'ħafna -wavelength, interferenza olografika, interferenza tad-dawl abjad, u prinċipji ta 'interferenza ta' speckle; u metodi konfokali, bħal konfokali kromatiċi u autofocusing.
F'metodi ta' skanjar 3D ta'-punt wieħed, il-metodu ta'-ħin ta' titjir-waħdieni huwa adattat għal-skanjar fuq distanzi twal, iżda l-eżattezza tal-kejl hija relattivament baxxa, ġeneralment fil-medda millimetrika. Metodi oħra ta' skanjar ta'-punt wieħed jinkludu-interferometrija tal-laser b'punt wieħed, mikroskopija konfokali, u trijangulazzjoni attiva tal-laser-punt wieħed. Dawn il-metodi joffru preċiżjoni għolja tal-kejl, iżda tal-ewwel jeħtieġ ambjent ikkontrollat. L-iskannjar tal-linja joffri preċiżjoni moderata u effiċjenza għolja. It-trijangulazzjoni attiva tal-lejżer u l-mikroskopija konfokali kromatika huma partikolarment adattati għall-kejl 3D fit-tarf effettur ta 'driegħ robotiku. It-trijangulazzjoni attiva hija bbażata fuq il-prinċipju tat-trijangulazzjoni, bl-użu ta 'raġġ kollimat jew raġġ wieħed jew aktar planari biex tiskennja l-wiċċ fil-mira għal kejl 3D.
Ir-raġġ tad-dawl normalment jinkiseb fil-modi li ġejjin: kollimazzjoni bil-lejżer, espansjoni tar-raġġ priżmatiku tal-wiċċ ċilindriku jew kwadriku, dawl mhux -koerenti (bħal dawl abjad, sors tad-dawl LED) ipproġettat minn toqob żgħar, qasmiet (gradilja), jew diffrazzjoni tad-dawl koerenti. It-trijangulazzjoni attiva tista' tinqasam fi tliet tipi: skanjar ta'-punt wieħed, skanjar ta'-linja waħda, u skanjar ta' linji multipli{-. Bħalissa, il-biċċa l-kbira tal-prodotti disponibbli kummerċjalment għall-effettituri robotiċi tat-tarf tad-driegħ huma skanners ta'-punt wieħed u ta'-linja waħda.
F'metodi ta' skanjar b'ħafna-linji, l-identifikazzjoni affidabbli ta' numri marġinali hija sfida. Biex jiġu identifikati b'mod preċiż in-numri tal-marġini, żewġ settijiet ta 'pjani tad-dawl perpendikolari huma ġeneralment immaġini b'veloċità għolja b'alternazzjoni. Dan jippermetti wkoll l-iskannjar tat-"Trijangolazzjoni tat-titjir", li l-iskannjar tiegħu u l-proċess ta 'rikostruzzjoni 3D jidher fil-figura hawn taħt. Projezzjoni b'ħafna-linji u immaġini ta'-flash waħda jipproduċu veduta 3D skarsa. Diversi sekwenzi ta' veduti 3D huma ġġenerati permezz ta' skanjar tal-projezzjoni tal-marġini lonġitudinali u trasversali, u mbagħad jiġi ġġenerat mudell tal-wiċċ 3D ta'-riżoluzzjoni għolja, komplut u dens permezz ta' reġistrazzjoni ta' immaġini 3D.
Il-mikroskopija konfokali kromatika tidher kapaċi tiskennja u tkejjel oġġetti opaki u trasparenti mhux maħduma u lixxi, bħal uċuħ li jirriflettu u uċuħ trasparenti tal-ħġieġ, u bħalissa tintuża ħafna f'oqsma bħall-ispezzjoni 3D ta 'kopertura tat-telefon ċellulari. L-iskannjar konfokali kromatiku għandu tliet tipi: skanjar ta' kejl tad-distanza assoluta ta'-punt wieħed-dimensjonali, skanjar ta' firxa ta' multi-punti, u skanjar ta' linja kontinwu. Il-figura hawn taħt turi eżempji ta 'kejl tad-distanza assoluta u skanjar kontinwu tal-linja. L-iskannjar tal-linja kontinwu huwa wkoll tip ta 'skanjar ta' firxa, iżda b'firxa akbar u aktar densa ta 'punti.
Stereo Vision 3D Imaging
Il-viżjoni stereo ġeneralment tirreferi għar-rikostruzzjoni tal-istruttura 3D jew l-informazzjoni tal-fond ta 'oġġett fil-mira billi takkwista żewġ immaġini jew aktar minn opinjonijiet differenti. L-indikazzjonijiet viżwali tal-perċezzjoni tal-fond jistgħu jinqasmu f'indikazzjonijiet okulari u indikazzjonijiet binokulari (disparità binokulari). Bħalissa, viżjoni stereo 3D tista 'tinkiseb permezz ta' viżjoni monokulari, viżjoni binokulari, viżjoni multi-vista, u immaġini 3D ta 'kamp ħafif (għajnejn komposti elettroniċi jew kamera ta' firxa). L-indikazzjonijiet tal-perċezzjoni tal-fond tal-viżjoni monokulari ġeneralment jinkludu: perspettiva, differenzi fit-tul fokali, immaġini multi-view, okklużjoni, dellijiet, parallax tal-moviment, eċċ.
Fil-viżjoni robotika, tista' tinkiseb ukoll bl-użu ta' immaġni tal-mera u għamla oħra-minn-X metodi. L-indikazzjonijiet viżwali tal-perċezzjoni tal-fond tal-viżjoni binokulari jinkludu: pożizzjoni ta 'konverġenza tal-għajnejn u disparità binokulari. Fil-viżjoni tal-magni, żewġ kameras jintużaw biex jakkwistaw żewġ immaġni tal-vista tal-istess xena fil-mira minn żewġ opinjonijiet, u mbagħad id-disparità tal-punti korrispondenti fiż-żewġ immaġini tal-vista hija kkalkulata biex tinkiseb l-informazzjoni tal-fond 3D tax-xena fil-mira. Proċess tipiku ta 'kalkolu tal-viżjoni stereo binokulari jinkludi l-erba' passi li ġejjin: korrezzjoni tad-distorsjoni tal-immaġni, rettifika tal-par tal-immaġni stereo, reġistrazzjoni tal-immaġni, u kalkolu tal-mappa tad-disparità ta 'riprojezzjoni ta' trijangulazzjoni.
Immaġini ta' viżjoni b'ħafna-vista, jew immaġini ta' viżjoni stereo b'ħafna-vista, juża kameras waħda jew multipli biex jakkwista immaġini multipli tal-istess xena fil-mira minn opinjonijiet multipli biex tinbena mill-ġdid l-informazzjoni tridimensjonali tax-xena fil-mira.
L-immaġini stereo multi-vista tintuża prinċipalment fix-xenarji li ġejjin: bl-użu ta 'kameras multipli minn perspettivi differenti biex takkwista immaġini multipli tal-istess xena fil-mira, u mbagħad tuża rikostruzzjoni stereo bbażata fuq karatteristika- u algoritmi oħra biex tinkiseb informazzjoni dwar il-fond tax-xena u l-istruttura spazjali; bl-użu tat-teknika tal-istruttura-minn-moviment (SFM), bl-użu tal-istess kamera bil-parametri intrinsiċi tagħha mhux mibdula, biex takkwista immaġini multipli minn opinjonijiet differenti biex tinbena mill-ġdid l-informazzjoni tridimensjonali tax-xena fil-mira. Din it-teknoloġija tintuża komunement biex issegwi numru kbir ta 'punti ta' kontroll f'xena fil-mira, kontinwament tirkupra l-informazzjoni strutturali 3D tax-xena, kif ukoll il-pożizzjoni u l-pożizzjoni tal-kamera. L-immaġini tal-kamp ħafif huwa differenti mill-prinċipji tradizzjonali tal-immaġini tal-kamera. Kameras tradizzjonali jiffurmaw immaġni 2D direttament fuq il-pjan tal-immaġini wara li d-dawl jgħaddi mill-lenti.
Kameras tal-kamp tad-dawl iżidu firxa ta 'mikrolenti quddiem il-pjan tas-sensorju. L-inċident tad-dawl mill-lenti prinċipali jerġa 'jgħaddi minn kull mikrolenti u jiġi riċevut mill-firxa fotosensittiva, u b'hekk tinkiseb informazzjoni dwar id-direzzjoni u l-pożizzjoni tar-raġġi tad-dawl. Dan jippermetti li r-riżultati tal-immaġini jiġu pproċessati aktar tard, biex jinkiseb effett ta '"rimja l-ewwel, tiffoka aktar tard", u jippermetti l-irkupru tal-istruttura tridimensjonali tax-xena bl-użu ta' din l-informazzjoni. F'oqsma bħar-realtà virtwali u r-realtà miżjuda, it-teknoloġija tal-immaġini tal-kamp ħafif tgħin biex tipprovdi esperjenza viżiva aktar realistika u tippermetti perċezzjoni tridimensjonali u interazzjoni aktar preċiża max-xena.
Il-prinċipju tal-immaġini 3D tal-kamp ħafif ivarja strutturalment mill-prinċipji tal-immaġini tal-kameras tradizzjonali tas-CCD u CMOS. Kameras tradizzjonali immaġni dawl direttament fuq il-pjan immaġini wara li jgħaddi mill-lenti, ġeneralment jipproduċu immaġni 2D. Kameras tal-kamp tad-dawl iżidu firxa ta 'mikrolenti quddiem il-pjan tas-sensorju, u jikkawżaw li l-inċident tad-dawl mill-lenti prinċipali jerġa' jgħaddi minn kull mikrolenti u jiġi riċevut mill-firxa fotosensittiva, u b'hekk tinkiseb informazzjoni dwar id-direzzjoni u l-pożizzjoni tar-raġġi tad-dawl. Dan jippermetti l-ipproċessar ta' wara-r-riżultati tal-immaġini, li jinkiseb effett ta' "rimja l-ewwel, tiffoka aktar tard".