Das Trainieren eines überwachten Machine-Learning-Modells (Supervised ML) erfordert gelabelte Daten. Und qualitativ hochwertige Label erfordern echte Fachexperten. Doch in hochspezialisierten Bereichen wie der Infrastrukturinspektion sind diese Experten rar gesät, teuer und haben vermutlich Besseres zu tun, als sich durch Hunderte von Schadensbildern zu klicken.
Daher stellte ich mir eine ganz pragmatische Frage: Könnten wir Large Language Models (LLMs) nutzen, um Rostschäden zu bewerten? Und würden sie dabei besser abschneiden als ein absoluter Laie wie ich?
Um das herauszufinden, habe ich ein Experiment mit verschiedenen Visual Language Models (VLMs) gestartet – also LLMs, die mit visuellen Encodern ausgestattet sind.
Das Setup: 291 Bilder, 4 Rater, 1 Norm
Ich habe 291 Rost-Bilder aus dem Validierungsdatensatz des bekannten DACL10k-Datensatzes (einem Datensatz zur Klassifizierung von Strukturschäden) gesammelt. Die Aufgabe bestand darin, den sichtbaren Rost auf einer kontinuierlichen Schweregradskala von 0,0 (unbedeutend) bis 1,0 (schwerwiegend) zu bewerten.
Angetreten sind vier Rater:
Ich (Data Scientist ohne jegliche professionelle Inspektionserfahrung).
GPT-4o (OpenAI API).
Claude 3.5 Sonnet (Anthropic API).
GLM-4.6V-Flash-9B (lokal auf meiner eigenen Hardware ausgeführt).
Alle vier Rater erhielten exakt denselben Prompt auf Englisch:
“Act as an experienced structural inspector, rate rust severity according to DIN 1076 (the German standard for inspecting engineering structures, rating damage by its structural significance and urgency of action.), use the full 0–1 range across six anchor categories from insignificant surface discolouration to severe section loss, and return structured JSON.”
Nachdem die Antworten ausgewertet waren, zeigten sich Unterschiede in den Bewertungen:
Die Reihenfolge der Schweregrade: OpenAI < Self < Claude ≲ GLM. GPT-4o ist am nachsichtigsten, während Claude und GLM fast identische mittlere Bewertungen teilen (Bias = −0,009) – trotz einer nur moderaten Übereinstimmung bei einzelnen Bildern (r = 0,60, MAE = 0,133). Ich liege irgendwo in der Mitte (was ich so interpretiere, dass ich gut kalibriert bin und nicht etwa unentschlossen).
OpenAI und Claude weisen die stärkste Rangkorrelation auf (r = 0,77). Sie sind sich meist einig, welche Bilder schwerwiegender sind als andere, aber Claude bewertet sie im Schnitt um etwa 0,18 höher. Besonders hervorzuheben ist, dass GLM, ein Open-Source-Modell, in ähnlichen Schweregradbereichen wie Claude landet. Das ist sowohl überraschend als auch relevant, wenn man mit Daten arbeitet, die das eigene Netzwerk nicht verlassen dürfen.
Die Korrelationen über alle Paare hinweg reichen von 0,40 bis 0,77, was auf ein gemeinsames Signal und nicht nur auf zufälliges Rauschen hindeutet. Es gibt jedoch auch echte Uneinigkeiten, sowohl beim durchschnittlichen Schweregrad als auch bei der Einstufung einzelner Bilder. Wenn sich Rater nur in diesem Maße einig sind, setzt diese Übereinstimmung eine Obergrenze für das, was ein nachgelagertes Modell aus diesen Labels lernen kann.
Sollten wir LLMs unsere Ground Truth labeln lassen?
Wenn ich keinerlei professionelle Erfahrung im Bauingenieurwesen habe, warum sollten wir dann nicht einfach die Bewertungen von Claude oder OpenAI als absolute Ground Truth akzeptieren?
Die kurze Antwort lautet: Weil „konsistent selbstbewusst“ nicht dasselbe ist wie „korrekt“.
Ein visuelles Modell spürt die Feuchtigkeit nicht; es versteht den physischen Kontext des umgebenden Betons nicht. Es übersetzt Pixel auf Basis von Wahrscheinlichkeiten in Text, nicht auf Basis von Physik. Wenn wir VLM-Ergebnisse blind als Ground Truth akzeptieren, riskieren wir, Computer-Vision-Modelle auf „halluzinierte Dringlichkeit“ oder „halluzinierte Sicherheit“ zu trainieren.
Was ich als Nächstes untersuchen möchte:
Kann ein iterativer Ansatz helfen (z. B. KI bewertet zuerst, der Mensch prüft nur die unsicheren Fälle)?
Sind die Biases durch Prompts korrigierbar oder architektonisch bedingt?
Wie sieht die Übereinstimmung (Inter-Rater-Agreement) zwischen tatsächlichen menschlichen Inspektoren auf denselben Bildern aus? (Kann das jemand aus der Inspektionswelt validieren? Das ist eine ernstgemeinte Frage.)
Wenn sich zertifizierte Prüfer ebenfalls nur bei r ≈ 0,7 einig sind, dann ist das Label-Rauschen kein Datenqualitätsproblem, sondern eine Eigenschaft der Domäne selbst.
Der Grund, warum ich überhaupt feststecke und Rostbilder labele, ist RoboTUNN – ein Projekt, bei dem ein Roboterhund U-Bahn-Tunnel inspiziert und die Daten in einen digitalen Zwilling für die vorausschauende Instandhaltung einspeist. Bevor all das funktionieren kann, muss jemand entscheiden, was als schwerer Schaden gilt. Momentan bin das ich, drei LLMs und jede Menge Uneinigkeit.
Wenn Sie in der Infrastrukturinspektion arbeiten und Gedanken dazu oder Zugang zu gelabelten Schadensdaten haben, würde ich mich sehr über ein Gespräch freuen.
