Sie möchten Immobilien attraktiv präsentieren? Oder Überwachungsfunktionen für ein Gelände haben? Oder ein Museum begehbar machen? Vielleicht archäologische Orte vermessen? Vielleicht auch eine Statue verewigen oder kopieren?
Man kann aus Videos 3D Landschaften und 3D virtuelle Objekte machen. Hierfür nutzen wir KI basierte Eigenentwicklungen und auch kommerzielle Software. Kurz zusammen gefasst, wird aus einer Reihe von JPG Dateien oder einem MPG Video eine Polygondatei. Das geht von einem kleinen Objekt auf einem Drehteller bis zu ganzen Landschaften oder großen Gebäuden.
Hier gehts direkt zur Ansicht auf SuperSplat. Es handelt sich um die alte Swiderski Fabrik in Leipzig.
Für Landschaften und größere Gebäude bieten sich Drohnen als Videoquelle an. Schon eine kleine DJI Neo schafft 12 Megapixel Auflösung bei brauchbarer Farbwiedergabe. Eine Mavic 4 erreicht 100 Megapixel. Die Drohnen können sehr große Areale schnell abfilmen. In Hochleistungsrechnern wird daraus mit KI eine 3D Landschaft erzeugt. Die Genauigkeit ist bis auf ein paar Zentimeter bei mehreren Fussballfeldern. Die Anwendungsmöglichkeiten reichen von Kartografie bis militärisch.
Das Jahrtausendfeld in Leipzig aus 50m Höhe. Auf SuperSplat kann man damit spielen.
Natürlich lässt sich das auch in Innenräumen abbilden. Einfach ein Handyvideo, dann die richtige Software und richtig leistungsfähige Hardware, schon hat man in relativ kurzer Zeit eine virtuell begehbare und durchfliegbare Umgebung. Die Einsatzmöglichkeiten sind enorm. Präsentation von Immobilien, Museum, Archäologie, Raumüberwachung mit dem 3D Modell als Basis und Vieles mehr. Der Interessent oder Besucher sieht dann mit einem PLY Plugin in seinem Browser realistisch ein Objekt und kann einen sehr guten Eindruck bekommen.
Weitere, bewusst einfache Beispiele finden Sie auf dem Supersplat Account von Johannes Wobus. Dort sind die Objekte einfach im Browser aufrufbar.
Wir können noch eine ganze Menge mehr. Bspw. Geländeüberwachung, virtuelle Räume etwa von Stadtzentren, Schaltflächen oder Trigger in die 3D Objekte einsetzen und dergleichen. Einige Möglichkeiten sind hoheitlichen Aufgaben vorbehalten. Aber schon die attraktive Präsentation einer Immobilie oder ein Museumsrundgang bieten enorme Attraktivität.
Wie funktioniert 3D Modellerstellung aus Bildern und Videos (SfM)?
Videos bestehen aus aufeinander folgenden Bildern. Beim nächsten Bild ändert sich etwas. Beispielsweise der Blickwinkel oder die Entfernung. Ganz oft nacheinander. Aber es bleiben einzelne Bildpunkte konstant (oder zumindest ausreichend ähnlich – auch, wenn die sich auf der Kamera verschieben). Aha. Da ist also ein Bezugspunkt zwischen Bild 1 und Bild 2. Daran kann man die beiden Bilder miteinander zusammen bringen. Das geschieht bei sehr, sehr vielen Bildpunkten gleichzeitig.
Jetzt kann eine Software anfangen, zu rechnen. Ok, der Bildpunkt hat sich gerade zwischen dem ersten und dem zweiten Bild etwas in der Kamera verschoben. Hey, halt. Nicht der Bildpunkt hat sich verschoben. Die Kameraposition hat sich geändert. Also noch mal suchen, was zeitgleich mit anderen Bildpunkten passiert ist. Ok, die haben sich auch in der Kamera verschoben…. aber nicht unbedingt genau parallel. Das kann man nur mit einem anderen Winkel, einem anderen Abstand oder einer anderen Position erklären.
Die geänderte Kamerapostion beschreibt dann indirekt einen Flug durch einen Raum oder um ein Objekt herum. Mit ganz vielen Bildpunkten auf den Oberflächen und an den Kanten. Was die Software jetzt macht: sie „näht“ quasi die Bildpunkte zusammen. Und zwar im richtigen Winkel und Abstand zur Kamera – was sie vorher berechnet hat.
Heraus kommt ein riesiges 3D Modell von Strukturpunkten, zig Tausende, welche Umrisse beschreiben. Das ist wie eine 3D Wolke aus vielen Punkten, welche ein Objekt malen. Da fehlt aber noch die passende Oberfläche.
Auch die wird aus dem Video und den einzelnen Bildern gebaut. Man hat ja das „rohe“ Punktmodell. Jetzt muss man nur noch passende Stücke aus den Bildern raus schneiden und das 3D Punktmodell damit „tapezieren“. Die Oberflächte wird Stück für Stück darauf geklebt.
Ein moderneres Verfahren ist Gaussian Splat. Fängt genau so an wie die klassische Methode mit ein paar Bildpunkten. Dann gibt es einen entscheidenden Unterschied. Statt auf ein Gerüst Texturen zu tapezieren, bastelt die Software kleine Objekte mit bereits Texturen darauf. Diese Objekte sind drehbar.
Stellen Sie sich eine Wand aus knallbunten, unterschiedlich großen Fußbällen vor. Die Fußbälle sind alle frei drehbar. Die Software ordnet jetzt mit Drehung und Berechnung gleichzeitig die Position, die Größe, Durchsichtigkeit und die Farbe. Daher auch der Name Gaussian Splat, Splat = Farbklecks oder Farbspritzer.
Vorteil: die ganzen kleinen 3D Objekte (nennt man Gausssche Ellipsoide) stellen besser Farbänderungen dar aus unterschiedlichen Betrachungswinkeln. Feine Strukturen werden besser sichtbar. Gegenüber anderen Verfahren benötigt man für gute Qualität in der Wiedergabe relativ wenig Rechenleistung. Moderne Grafikkarten lieben Gaussian Splats – Rasterisierung.
Das dabei entstehende Dateiformat ist entweder PLY (Polygon File Format), SPLAT oder COLMAP. Sie verknüpfen die Kamerapositionen direkt mit den berechneten 3D-Merkmalspunkten (Sparse Cloud) inklusive Farb- (RGB) und Vektorinformationen (Normalen).
Was braucht man für Video nach 3D – Structure from Motion?
Die Kamera muss erstaunlich wenig können. Eine brauchbare Handykamera oder eine kleine Drohnenkamera reichen schon für sehr viele Sachen aus. Durchlaufen oder drum herum laufen, nach oben und unten schwenken. Richtig toll wird es natürlich mit einem Top Smartphone, einer guten Systemkamera oder Spiegelreflex.
Das sieht ganz anders aus beim benötigten Computer. Dort ist absolute Hochleistung nötig. Der Hauptprozessor läuft auf Vollgas, die Grafikkarte läuft auf Vollgas, es wird reichlich Speicher benötigt. Nicht der kleine i3 oder i5 Laptop aus dem letzten Sonderangebot. Die schaffen es teilweise nicht mal, die 3D Software überhaupt zu starten.
Für zügige Berechnungen braucht man KI taugliche Hauptprozessoren und richtig dicke Grafikkarten. Komplexe Sachen werden erst auf einem Ryzen 9 AI oder i9 Ultra, mindestens 32 GB RAM und mindestens RTX 4080 flüssig. Wobei flüssig etwas übertrieben ist. Da kann schon mal ein Stündchen Rechenzeit drauf gehen. Schwache Rechner gehen gnadenlos in die Knie und laufen stundenlang.
Gibt es bei Structure from Motion Haken?
Jede Menge. Nimmt man die falschen Modelle, kommt Unsinn heraus. Die Software kann spinnen und künstliche Fehler bauen. Dann fliegen wirre Fraktale durch den Raum. Zu hell, zu dunkel, irgendwo Lücken. Oder man fliegt durch eine Wand in einen Bereich mit verrückten Kristallen. Da sollte man schon wissen, was man macht.
Gibt es solche Services auch online?
Ja, klar. man kann Videos hoch laden und bekommt eine 3D Datei zurück. Je nach Abomodell kann das ganz schön teuer werden und eine Feinabstimmung wie auf dem eigenen System ist idR nicht möglich.
Außerdem gibt man persönliche oder geschäftliche Daten an vielleicht nicht so vertrauenswürdige Dienstleister (US Cloud Act) oder noch schlimmer, chinesische Datensammler.
Was für Dateiformate nutzt man für Video nach 3D?
Entwarnung für die Kamera oder das Handy. MPG reicht völlig, geht auch mit ein paar JPG. Für die 3D Dateien gibt es PLY, SPLAT und COLMAP als zurzeit beliebteste Standards. NVM ist älter, BUNDLER wird gerne akademisch genutzt. Für Geoanwendungen und Vermessungen ist LAS und LAZ angesagt bei riesigen Datenmengen.
Übrigens kann man auch CAD Dateien erzeugen mit einem Export nach DXF:
Kopieren von Objekten, Restauration verlorener Objekte.
Da werden ganz neue Sachen möglich. Mit der Handykamera ein Objekt abfilmen, durch einen Hochleistungscomputer jagen und dann an einen 3D Drucker oder eine 3D Fräse übergeben.
Selbst aus alten Filmen lassen sich Objekte nachbauen. Digitalisieren, SfM Software dran setzen und dann 3D Drucken.
Bringen Sie Ihre Objekte in die dritte Dimension
Planen Sie die Digitalisierung einer Immobilie, eines Werksgeländes oder historischen Objekts? Senden Sie uns eine unverbindliche Anfrage. Wir analysieren Ihr vorhandenes Bildmaterial oder unterstützen Sie bei der Drohnen-gestützten Datenerfassung vor Ort.