Schnellste 3D-Vision für die Industrie

Für eine dreidimen­sionale Oberflächen­inspektion stehen zahlreiche bewährte Verfahren mit Vor- und Nachteilen zur Verfügung. Die bekanntesten darunter sind klassische 2D-Abbildung mit strukturierter Beleuchtung, Stereo-Bildaufnahmen, laserbasierte Verfahren, aber auch Time-of-Flight-Kameras. Ferner kommen Verfahren wie konfokale Mikroskopie, digitale holografische Mikroskopie oder optische Kohärenz-Tomografie industriell zum Einsatz. Gerade im Hoch­geschwindig­keits­bereich mit mehreren komplexen Teilen pro Sekunde eignen sich diese Verfahren nur bedingt. Erschwerend kommen oft zusätzliche Anforderungen ins Spiel: Das System sollte einfach in der Einrichtung, robust im Betrieb und nahtlos in die bestehende Produktionslinie integrierbar sein. Natürlich spielen auch die Systemkosten eine wichtige Rolle.

Lichtfeldtechnologie

Die Lichtfeldtechnologie ist bereits seit über einhundert Jahren ein bekannter optischer Ansatz. Erste Kameras mit diesem Prinzip wurden in den 1990er-Jahren entwickelt.

Wie funktioniert diese Technologie? Konventionelle 2D-Kameras bilden einen Gegenstand über ein Objektiv auf einem Sensor ab. In einer sogenannten plenoptischen Kamera hingegen ist auf dem Bildsensor zusätzlich ein Mikrolinsenarray aufgebracht. Das Objektiv bildet nun vor dem Mikrolinsenarray ein Zwischenbild ab, dessen Segmente dann von den Mikrolinsen auf Teilbereiche des Sensors abgebildet werden. So entstehen getrennte Unterbilder von Objektregionen mit unterschiedlichen optischen Parametern sowie begrenzten Gesichtsfeldern. Jedes Objektdetail wird mehrfach auf dem Sensor dargestellt. Es entsteht eine Multi-Mikro-Stereo-Aufnahme des Objekts. Hieraus können rechnerisch Objekttiefen bestimmt und ein dreidimensionales Bild rekonstruiert werden.

Was verhalf der Lichtfeldtechnologie erst jetzt zum Durchbruch? Zum einen ist es die enorme Rechenleistung heutiger Computer. Moderne Grafikprozessoren (GPUs) bewältigen die umfangreichen Kalkulationen zur Rekonstruktion der 3D-Daten in Sekundenbruchteilen. Gleichzeitig ist die Verfügbarkeit präziser Mikrolinsenarrays mit massgeschneiderten geometrischen und optischen Eigenschaften gegeben. Das CSEM hat als erste Firma weltweit eine anspruchsvolle industrielle Prüfaufgabe mit dieser vielversprechenden Technologie erfolgreich entwickelt und in der Industrie umgesetzt.

Vorteile

Lichtfeldkameras eignen sich besonders gut für die Qualitätskontrolle, denn sie bieten zahlreiche Vorteile.

Hardware: Lichtfeldkameras basieren auf handelsüblichen Industriekameras von renommierten Herstellern. Die Kamerasensoren werden nachträglich im Reinraum mit dem Mikrolinsenarray bestückt. Der Rest erledigt die ausgeklügelte Kalibrations- und Rekonstruktions-Software. Dadurch ergeben sich gleich mehrere Vorteile. Die Kameras sind robust und bereits in der Industrie etabliert. Dem Anwender steht eine breite Palette von Baugrössen, Auflösungen sowie Schnittstellen zur Verfügung. Es besteht eine hohe Flexibilität und Kompatibilität mit Vision-Komponenten (Objektive, Beleuchtungen, Stative). Die Technologie weist eine grosse Unabhängigkeit gegenüber den verwendeten Prüfmaterialien auf: matte Oberflächen, reflektierende Metalle, Pasten oder Flüssigkeiten. Durch den zusätzlichen Einsatz eines Rausch­muster­projektors können auch völlig strukturlose Oberflächen exakt rekonstruiert werden.

Präzision: Der Einsatzbereich der 3D-Lichtfeldtechnologie erstreckt sich dank dem frei wählbaren Primärobjektiv vom Sub-mm-Bereich für die Mikroskopie bis hin zu Meterauflösung für Gebäude oder Drohnen­anwendungen. In der typischen Qualitätsinspektion für mechanische Komponenten erreicht die Technologie bei einem Volumen von 10 x 10 x 5 mm³ eine absolute Messpräzision von lateral 1 mm und in z-Richtung 10 mm.

Geschwindigkeit: Der wohl grösste Vorteil der Lichtfeld­kameras ist die enorm hohe Aufnahme- und Auswerte­geschwindigkeit. Für die Bildakquise wird standardisierte Hardware verwendet. Das 2D-Rohbild der Kamera wird über gängige Industrie­schnitt­stellen an den PC übertragen. Dabei kommen speziell für den Bereich der industriellen Bildverarbeitung entwickelte Protokolle wie USB3, CameraLink, GigE oder CoaXPress zum Einsatz. Dies ermöglicht maximale Datendurchsätze von bis zu 7200 MB/s. Selbst bei einer Kameraauflösung von 20 Megapixel können so problemlos mehrere 100 Bilder pro Sekunde übertragen werden. Die 3D-Rekonstruktion wird auf dem PC berechnet und ist für die beste Auflösung sehr rechenintensiv. Durch den parallelen Einsatz von mehreren Grafikprozessoren kann die Last dynamisch verteilt werden. Dadurch ist Auswertung in Echtzeit mit bis zu 80 Bildern pro Sekunde bei moderaten Kosten möglich. Die Lichtfeldtechnologie ist heute so schnell, dass der Flaschenhals die Handhabung und Zuführung der Prüfteile ist. Dank einem leistungsfähigen Blitz, schnellen Achsen und präzisen Triggern konnte eine Applikation mit 20 Teilen pro Sekunde realisiert werden. Innerhalb von 50 ms erfolgen nebst der Bildaufnahme, 3D-Rekonstruktion auch die geometrische Auswertung sowie die Prüfung durch ein neuronales Netzwerk. Dies ist ein Industrierekord.

Abschattung: Viele 3D-Industrie­lösungen basieren auf Triangulations­prinzipien. Ein Winkel zwischen Laserlinie und Kamera oder unterschiedliche Perspektiven zweier Kameras bilden die Grundlage. Dadurch entstehen Bereiche mit einer Abschattung, unzugängliche Stellen, bei welchen keine 3D-Information vorliegt. Dank dem Lichtfeldprinzip lässt sich eine abschattungsfreie Messung in nur einer Aufnahme (single shot) realisieren. Dadurch sind 3D-Messungen entlang senkrechter Flächen oder in Sacklöchern ohne Abschattungen möglich. Ein Vorteil, welcher sonst nur durch komplexe optische Aufbauten oder zusätzliche mechanische Bewegungen erzielt werden kann.

Tiefenschärfe: Gerade bei hohen Vergrösserungen ist die Tiefenschärfe von klassischen Bildsystemen stark einschränkend. In der Lichtfeldkamera kommen deshalb beim Mikrolinsenarray drei verschiedene Linsentypen zum Einsatz. Jeder Typ hat eine unter­schiedliche Brennweite, welche für einen nahtlosen Übergang vom Nah- in den Fernbereich optimiert wurde. Eine Lichtfeldkamera erreicht deshalb eine bis zu sechsfach höhere Tiefenschärfe als eine vergleichbare 2D-Ausführung. Bei industriellen Anwendungen kann somit oft eine zusätzliche Z-Achse für die Nach­fokussie­rung eingespart werden.

Hard- und Software zur Analyse sowie Nutzerschnittstelle

Das Computersystem besteht aus verschiedenen Komponenten: ein Subsystem zur Steuerung der Kameras und zur Datenakquisition sowie der Rekonstruktion der 3D-Bilddaten. Ein weiterer Prozess übernimmt die Auswertung der Bilddaten und übermittelt die Resultate an die Hauptsteuerung. Für die aufwendigen Berechnungen sind moderne Grafik­prozessoren notwendig, welche dank dem AI-Hype seit Längerem den Sprung in die Industrie geschafft haben.

CSEM hat eine Integrationssoftware Visard (Vision Automation and Robot Designer) entwickelt, die eine übergeordnete Steuerung des Prüfsystems, dynamische Verwaltung der Rechenleistung sowie die Anbindung an das Leitsystem realisiert.

Visard ist eine PC-basierte Software, die verschiedene Module für die industrielle Qualitätskontrolle enthält. Das 3D-Auswertesystem lässt sich bequem über OPC-UA an SPS anbinden. Das komplette Datenlogging und die lückenlose Rückverfolgbarkeit kann ebenfalls integriert werden.

Die Analyse der 3D-Daten erfolgt mit unterschiedlichen Verfahren, darunter auch einem Deep-Learning-Ansatz für ästhetische Merkmale. Geometrien und Masshaltigkeit der Teile werden in der Punktewolke bestimmt, Abweichungen erkannt und auch ungewöhnliche Fehlerbilder zuverlässig nachgewiesen.

Ausblick

Die Autoren sind davon überzeugt, dass die Lichtfeldtechnologie in Kombination mit intelligenter Datenanalyse eine wichtige Rolle in der industriellen Qualitätskontrolle für 3D-Prüfaufgaben spielen wird. Sie erreicht bereits heute Echtzeitfähigkeit, kann über klassische Objektive von Makroskopie bis Mikroskopie eingesetzt werden, ist benutzerfreundlich, wartungsarm und vermeidet bestimmte Einschränkungen herkömmlicher 3D-Verfahren, wie etwa Abschattungen. Erste Systeme mit Geschwindigkeitsrekorden sind bereits im validierten industriellen Einsatz. In Verbindung mit modernen Verfahren der Datenanalyse wie Deep Neural Networks für Qualitätsinspektion ergibt sich ein mächtiger Werkzeugkasten für die Industrie: ein weiterer Schritt zur erhöhten Effizienz in der Produktion und nicht zuletzt zur Standortsicherung in entwickelten Industrieländern.

Die ursprüngliche Version dieses Artikels erschien in der Zeitschrift Management und Qualität, 9–10/2021, S. 32–35.