Rekonštrukcia 3D modelu, tak ako bol postavený, si vyžaduje získanie aktuálneho stavu budovy.
Bodové mraky, ktoré sú považované za hlavné vstupy pre 3D modelovanie budov, zvyčajne pochádzajú z dvoch hlavných akvizičných zariadení: terestrických 3D skenerov (TLS: terrestrial laser scanner) a dynamických 3D skenerov (MLS: Mobile Laser scanner), ktoré sú založené na technológii SLAM (simultaneous localization and mapping).
Hoci prístup založený na akvizícii a segmentácii bodových mrakov z TLS má výhodu v tom, že umožňuje rýchle a presné získanie veľkého objemu dát, je nákladný a pre vnútorné použitie nie veľmi užívateľsky prívetivý a môže byť časovo náročný, ak sa vyžaduje vysoká úroveň detailov.
Použitie technológie SLAM môže prekonať tento nedostatok pohodlia, ale na úkor presnosti.
Okrem toho ceny takýchto systémov zostávajú nedostupné; zatiaľ čo prístupy 3D rekonštrukcie, ktoré sa spoliehajú len na zrak, môžu byť tiež použité pre túto záležitosť, sú často výpočtovo náročné a trpia nedostatočnou robustnosťou.
RGB-D kamery predstavujú nízkonákladovú alternatívu, ľahko použiteľnú vo vnútornom prostredí.
Záujem o používanie RGB-D senzorov a ich aplikácie v oblastiach, ako je 3D rekonštrukcia a dopĺňanie BIM, výrazne vzrástol od uvedenia prvého senzora Microsoft Kinect v roku 2010.
Línia kamier Kinect odvtedy zaznamenala pozoruhodné vylepšenia s každou aktualizovanou verziou.
Najnovšie pridanie Azure Kinect sa líši od svojich predchodcov tým, že podporuje štyri rôzne režimy snímania hĺbky (wide field of view binned, narrow field of view binned, wide field of view unbinned, narrow field of view unbinned) a farebná kamera má vyššie rozlíšenie.
Presnosť (opakovateľnosť) Azure je tiež oveľa lepšia ako u prvých verzií Kinect.
Dnes je hodnotenie potenciálu RGB-D senzorov v BIM-orientovanej 3D rekonštrukcii trendovou témou pre vedeckú komunitu.
Schopnosť úspešne vytvárať kompletné a presné modely vnútorných prostredí pomocou ľahkého a lacného zariadenia, ako je Azure Kinect, by bola pre komunitu BIM veľmi výhodná.
Výskum a Vylepšenia v 3D Rekonštrukcii Pomocou RGB-D Senzorov
Nedávno niekoľko výskumných štúdií preukázalo skutočný záujem o použitie nízkonákladových RGB-D systémov pre 3D modelovanie a BIM rekonštrukciu.
Niektoré štúdie sa zamerali na hodnotenie vnútorného a vonkajšieho výkonu týchto senzorov.
Navrhujú metodológiu na skúmanie senzora Kinect Azure, hodnotenie jeho doby zahrievania, presnosti, precíznosti, vplyvu odrazivosti cieľa a javu viacnásobných dráh a lietajúcich pixelov.
Výsledky potvrdzujú hodnoty uvádzané spoločnosťou Microsoft.
Avšak kvôli technológii akvizície zariadenie trpí interferenciou viacnásobných dráh a jeho doba zahrievania zostáva relatívne dlhá (asi 40 - 50 min).
Iné štúdie vyriešili otázku absolútnej presnosti Kinect Azure pomocou laserového skenera ako referenčného bodu, čo rozšírilo hodnotenie na celé zorné pole senzora namiesto pozdĺž optickej osi.
Ich výsledky boli v súlade s predchádzajúcimi zisteniami.
Azure Kinect vykazuje zlepšenie oproti svojmu predchodcovi, pokiaľ ide o náhodnú hĺbkovú chybu, ako aj systematickú chybu.
Tento výskum, ako aj iné uskutočnené v súvislosti so skúmaním rôznych nízkonákladových RGB-D senzorov, vyvinul 3D modelovacie potrubia založené na dátach RGB-D.
Bola navrhnutá automatická generácia rámca, ktorá transformuje 3D bodový mrak vytvorený nízkonákladovým RGB-D senzorom na BIM model, tak ako bol postavený, bez akejkoľvek manuálnej intervencie.
Extrakcia rovín bola založená na algoritme RANSAC (RANdom SAmple Consensus) vylepšenom novou metódou "add-drop".
Pre sémantickú segmentáciu bola na konci architektúry surových FCN (fully convolutional networks) pridaná vrstva CRF (conditional random field) a vrstva COB (convolutional oriented boundaries) na spresnenie výsledkov segmentácie.
Experimentálne výsledky ukazujú, že navrhovaná metóda má konkurencieschopnú robustnosť, čas spracovania a presnosť v porovnaní s pracovným tokom vykonávaným pomocou TLS.
Iné štúdie sa zameriavajú na kombinovanie dát z nízkonákladových RGB-D senzorov s bodovým mrakom TLS, aby ho doplnili a zlepšili úroveň detailov (LoD).
Boli integrované bodové mraky malých prvkov (dvere a okná) zo senzora Kinect V2 s modelom TLS.
Autori zistili, že presnosť segmentácie pre dáta z Kinect je vysoko závislá od typu okenného rámu alebo zárubne dverí.
Okrem toho kalibrácia oboch súborov dát zostáva väčšinou manuálna.
How Kinect works
Zlepšenie Systémov RGB-D SLAM pre 3D Rekonštrukciu Budov
Niektorí autori sa zaujímali o zlepšenie systémov RGB-D SLAM pre 3D rekonštrukciu budov.
Bol navrhnutý základný rámec RGB-D mapovania pre generovanie hustých 3D modelov vnútorných prostredí.
Pre zarovnanie obrazu ich prístup zaviedol RGBDICP: vylepšený variant algoritmu ICP (iterative closest point) spoločne optimalizujúci zladenie vzhľadu a tvaru.
Problém uzavretia slučky bol riešený na základe geometrických obmedzení.
RGB-D mapovanie tiež zahŕňa "surfel" reprezentáciu na zvládanie oklúzií.
Hoci proces globálneho zarovnania RGB-D mapovania je stále obmedzený, systém môže úspešne mapovať vnútorné prostredia.
Autori naznačili, že by bolo užitočné použiť vizualizačnú techniku, ako je PMVS (patch-based multi-view stereo), na obohatenie vnútorného modelu.
Vzhľadom na špecifickú štruktúru a škálovateľnosť vnútorných prostredí, kvalita hĺbky produkovaná RGB-D kamerami a algoritmom SLAM sú významnými problémami pre existujúce RGB-D mapovacie systémy.
Bol predstavený prístup integrujúci SfM (structure from motion) a vizuálny RGB-D SLAM na rozšírenie rozsahu merania a zlepšenie detailov modelu.
Na zabezpečenie presnosti póz RGB obrázkov autori zaviedli rafinovanú metódu modelovania odmietania falošných prvkov pre 3D rekonštrukciu scény.
Nakoniec bol použitý globálny optimalizačný model na zlepšenie presnosti póz kamery a zníženie nekonzistentností medzi hĺbkovými obrázkami počas spájania.
Tento rámec bol preskúmaný v porovnávacom hodnotení.
Navrhovaná metodológia využila všetky možné existujúce obmedzenia medzi 3D prvkami na spresnenie rekonštruovaného modelu.
Predstavený plne obmedzený rámec RGB-D SLAM je presný na centimetre.
Porovnanie navrhovanej práce s vizuálnymi RGB-D SLAM systémami a SensorFusion demonštrovalo jeho užitočnosť a robustnosť.
Výzvy a Klasifikácia Rekonštrukčných Metód Pomocou RGB-D Kamier
Dostupnosť RGB-D kamier pre verejnosť poskytla príležitosť vyvinúť niekoľko pracovných postupov 3D rekonštrukcie.
Avšak výzvy spojené s touto výskumnou oblasťou pretrvávajú.
Je potrebné rozlišovať medzi štúdiami, ktoré sa zaoberajú modelovaním jednotlivých objektov, a tými, ktoré sa zameriavajú na rekonštrukciu kompletných scén.
V kontexte použitia RGB-D senzorov na modelovanie objektov autori navrhli experimentálnu metódu pre 3D rekonštrukciu balustrády s Kinect V2.
Okolo objektu bola získaná kruhová sieť snímok z ôsmich rôznych perspektív.
Ako už predtým naznačili výsledky kalibrácie hĺbky, senzor bol umiestnený približne 1 m od objektu, aby sa minimalizovali globálne deformácie súvisiace s hĺbkou.
Presnosť výslednej siete bola posúdená vzhľadom na referenčný bodový mrak a sieť získanú meracím ramenom.
Zatiaľ čo v oboch porovnaniach je konečná chyba asi 2 mm na významnej časti modelu prijateľná pre nízkonákladové zariadenie, ako je V2, zostávajúce odchýlky rádovo v jednom centimetri stále predstavujú značné percento veľkosti objektu.
Zatiaľ čo výskum týkajúci sa modelovania jednotlivých objektov je široko dostupný, štúdie súvisiace s rekonštrukciou kompletných scén zostávajú obmedzené.
Obmedzené pomerne úzkym zorným poľom nízkonákladových RGB-D kamier, vytvorenie kompletného a spoľahlivého modelu vnútorného prostredia pochádza z niekoľkých pohľadov získaných pozdĺž trajektórie, pričom každý zodpovedá fragmentu scény.
Hoci tento postup často poskytuje globálny pohľad na všetky povrchy, trpí významným odometrickým posunom.
Rámce vyvinuté v tomto zmysle možno rozdeliť do dvoch kategórií: real-time online rekonštrukcia (t.j. KinectFusion, BADSLAM, ORB-SLAM2) a offline rekonštrukcia (t.j. plne obmedzený RGB-D SLAM, vizuálny RGB-D SLAM), ktorá si vyžaduje dodatočné spracovanie.
V oboch prípadoch bolo vyvinutých a vyhodnotených niekoľko pracovných postupov a dosiahnutá dobrá presnosť.
Hodnotenie kvality modelov vnútorných scén sa však vykonávalo buď na syntetických scénach, alebo vizuálnym hodnotením výsledkov.
Skutočné hodnotenie s odkazom na model tej istej scény s údajne lepšou presnosťou, získaný napríklad pomocou TLS, sa zatiaľ nevykonalo, najmä pre Azure Kinect.
Hodnotenie Potenciálu Azure Kinect pre BIM-orientovanú 3D Rekonštrukciu
Cieľom tohto príspevku je vyhodnotiť potenciál RGB-D kamery, konkrétne Azure Kinect, pre BIM-orientovanú vnútornú 3D rekonštrukciu.
Hlavné príspevky sú trojaké:
- Vyhodnotenie vnútorného výkonu Kinect Azure.
- Vyhodnotenie kvality 3D modelu rekonštruovaného z tohto zariadenia.
- Porovnanie s mrakmi vyprodukovanými terestrickým aj dynamickým 3D skenerom.
Metodológia použitá v tejto práci pozostávala z dvoch hlavných krokov.
Najprv sa začalo skúmaním Kinect Azure hodnotením niekoľkých parametrov: vplyvu počtu priemerovaných obrázkov na šum, presnosti zariadenia s odkazom na merania TLS, vplyvu vzdialenosti na presnosť, precíznosti v závislosti od vzdialenosti merania a následne geometrickej kalibrácie senzora.
Po analýze výsledkov testov vyšetrovania bol vykonaný metodologický test pracovného postupu na Open3D v dvoch rôznych vnútorných scénach.
Nakoniec sa prezentuje porovnanie geometrickej kvality rekonštrukcie poskytnutej RGB-D kamerou voči laserovým skenerom, konkrétne TLS a MLS.
Iné testy, ako napríklad doba zahrievania a vplyv odrazivosti cieľa, boli tiež vykonané, ale nie sú zahrnuté v tomto dokumente, pretože podobné experimenty vykonali iní výskumníci a priniesli rovnaké výsledky.
Metodológia Hodnotenia Kinect Azure
Bolo uskutočnených niekoľko experimentov na posúdenie technických špecifikácií, ako aj výkonu kamery s ohľadom na niekoľko parametrov.
Prijaté metódy testov sú predstavené v nasledujúcich podkapitolách.
Vplyv priemerovania obrázkov
Priemerovanie obrázkov predpokladá, že šum pochádza z náhodného zdroja.
Náhodné fluktuácie nad a pod skutočnými obrazovými dátami sa tak postupne vyrovnávajú s rastúcim počtom priemerovaných obrázkov.
Táto technika je užitočná pre zníženie inherentného šumu senzora a jeho technológie existujúcej v jednotlivých obrázkoch.
Experiment bol vykonaný v kancelárskej scéne, kde sa opakovane vykonávali merania z dosahu 900 mm vzhľadom na stenu.
Táto scéna bola zvolená tak, aby reprezentovala typické vnútorné prostredie, ktoré je najčastejšie charakterizované súborom oklúzií.
Analýza variability šumu v závislosti od veľkosti súboru priemerovaných obrázkov bola vykonaná s 20, 50, 100 a 200 následnými hĺbkovými mapami.
Použitím získaných hĺbkových máp sa pre každý pixel vypočítal priemer a štandardná odchýlka meraní vzdialenosti.
Presnosť
Presnosť odráža, ako blízko je meranie referenčnej hodnote.
Na vyhodnotenie presnosti Kinect Azure boli graficky znázornené odchýlky v meraniach zariadenia v porovnaní s tými z TLS, ktoré sa považujú za presnejšie.
Vplyv vzdialenosti na presnosť
Na štúdium vplyvu meracej vzdialenosti na presnosť sa vykonali merania zo statickej polohy Kinectu posúvaním cieľa (bielej tabule) pozdĺž kolmice k rovine kamery a k značkám vzdialenosti vyznačeným totálnou stanicou.
V každom rozsahu bola poloha tabule zaznamenaná totálnou stanicou, aby sa zabránilo zmene jej orientácie z jednej stanice na druhú.
Rozdiely medzi vzdialenosťami od Kinect (pre každý režim) a totálnej stanice boli následne vypočítané a analyzované.
Precízosť
Precízosť odráža, aké opakovateľné sú merania.
Údaje potrebné na vyhodnotenie opakovateľnosti by mohli byť odvodené z experimentu presnosti.
Geometrická kalibrácia
Jeden z najrozšírenejších prístupov pre geometrickú kalibráciu je ten, ktorý bol vyvinutý.
Vyžaduje, aby kamera pozorovala planárny cieľ prezentovaný v niekoľkých rôznych orientáciách.
V tomto prípade bolo určenie vnútorných parametrov vykonané samostatne pre každú kameru na palube Kinect Azure: farebnú kameru a hĺbkovú kameru.
Bola použitá doska s názvom ChArUco vytlačená na kartónovom papieri, aby sa minimalizovali záhyby.
Je to plochá doska, kde sú unikátne kódované značky (ArUco) umiestnené vo vnútri bielych dlaždíc šachovnice.
Rohy značiek môžu byť ľahko detekované v obrázkoch pomocou algoritmov detekcie rohov implementovaných v OpenCV (Open-Source Computer Vision Library), open-source knižnici pre počítačové videnie a strojové učenie.
Rohy šachovnice sú potom interpolované a spresnené.
Nakoniec, keďže rozmery dlaždíc boli dobre známe, získali sa korešpondencie medzi 2D súradnicami obrázka a 3D súradnicami kamery, takže sa iteratívnym spôsobom mohol vyriešiť stanovený model kamery.
Vnútorné parametre a skreslenia
Zo statickej polohy kamery bolo urobených viac ako 30 obrázkov, pričom zakaždým bol cieľ posunutý tak, aby zaberal rôzne vzdialenosti a uhly pohľadu, aby sa správne reprodukovali skreslenia vytvorené objektívmi kamery.
Tieto obrázky boli spracované pomocou OpenCV na nájdenie matice každej kamery, zhromažďujúcej vnútorné parametre, ako aj parametre radiálneho a tangenciálneho skreslenia podľa Brown-Conradyho modelu.
Vonkajšie parametre
Tento test spočíva v nájdení parametrov rotačno-translačnej matice, ktorá spája 3D orientačné body dvoch kamier.
To si vyžaduje minimálne jeden obrázok rovnakého cieľa (dosky ChArUco) nasnímaný oboma kamerami súčasne.
V tomto prípade bolo urobených päť obrázkov, pričom cieľ bol presúvaný na rôzne pozície.
Praktické Využitie Kinectu na Tvorbu 3D Modelov
Herné príslušenstvo Xbox Kinect je možné využiť okrem hrania aj na tvorbu 3D modelov.
Pre získanie vlastného modelu je potrebné zo stránky stiahnuť a nainštalovať ovládače, ako aj plug-in pre internetový prehliadač.
Následne k počítaču pripojte Kinect a môžete začať so zhotovovaním modelu.
Proces snímania však musí byť precízny, od snímaného objektu musíte byť vzdialený minimálne pol metra.
Štúdia odhaľuje, že jednotlivé snímky Kinect obmedzujú 360-stupňové modelovanie, čo si vyžaduje viacero snímok pre úplné pokrytie.
Zlúčenie týchto snímok prináša zložitosť, pretože pre presnú prezentáciu bodového mraku musia byť použité rôzne filtre.
Zistenia naznačujú, že hĺbkové dáta Kinect sú náchylné na kolísanie šumu, čo často vedie k "dieram" a neúplným údajom.
Kalibračné a spracovateľské stratégie sú kľúčové pre zmiernenie týchto nepresností vnímania hĺbky.
Kamera Kinect využíva infračervené svetlo spolu s RGB snímaním na generovanie hĺbkových máp scén.
Táto metóda štruktúrovaného svetla umožňuje simultánne získavanie farebných a hĺbkových dát, čím sa zvyšuje presnosť modelovania objektov.
Nízka cena senzora Kinect a jeho možnosti spracovania v reálnom čase uľahčujú dostupnosť 3D modelovania.
Výskum tiež demonštruje, že Point Cloud Library podporuje pokročilé algoritmy pre rekonštrukciu povrchu, odhadovanie funkcií a registráciu.
To umožňuje efektívne spracovanie dát z hĺbkových senzorov, ako je Kinect, čo zjednodušuje potrubie 3D modelovania.
KinectFusion: Rekonštrukcia v Reálnom Čase
KinectFusion umožňuje používateľovi, ktorý drží a pohybuje štandardnou kamerou Kinect, rýchlo vytvárať detailné 3D rekonštrukcie vnútornej scény.
Na sledovanie 3D polohy senzora a rekonštrukciu geometricky presných 3D modelov fyzickej scény v reálnom čase sa používajú iba hĺbkové dáta z Kinect.
Možnosti KinectFusion, ako aj nový GPU-založený pipeline sú podrobne opísané.
Ukazujú sa použitia základného systému pre nízkonákladové ručné skenovanie, a augmentovanú realitu a interakcie založené na fyzike s vedomím geometrie.
Nové rozšírenia základného GPU pipeline demonštrujú segmentáciu objektov a interakciu používateľa priamo pred senzorom, bez zhoršenia sledovania kamery alebo rekonštrukcie.
Cieľom je podrobne pokryť scénu pre rekonštrukciu 3D objektov reálneho sveta.
To zahŕňa vytváranie virtuálnych priestorov pomocou štandardnej 3D kamery, ktorej cieľom je zobrazenie 3D modelu.
Na dosiahnutie tohto cieľa, počas akvizície dát, bolo vykonané preskúmanie dostupných metód a integrácia viacerých výskumov súvisiacich so skenovaním.
tags: #3d #rekonstrukcia #pomocou #kinect