Die Werkstoffeigenschaften von Gusseisen mit Lamellengraphit (GJL) hängen maßgeblich von der Mikrostruktur ab. Für eine zuverlässige Bewertung werden Schliffproben präpariert und unter dem Mikroskop analysiert. Die Klassifizierung erfolgt gemäß den Normen DIN EN ISO 945-1 [1] und ASTM A247 [2], die Referenzbilder für die Anordnungsklassen A–E bereitstellen. In der Praxis treten jedoch häufig Mischgefüge auf, sodass die eindeutige Zuordnung erschwert ist. Hinzu kommt, dass ein Schliffbild nur einen zweidimensionalen Ausschnitt der dreidimensionalen Gefügestruktur abbildet. Diese Faktoren führen dazu, dass selbst Expertinnen und Experten bei der Klassifizierung und Segmentierung zu unterschiedlichen Ergebnissen gelangen. [3] 

Bisherige Ansätze zur KI-basierten Klassifikation von GJL-Mikrostrukturen stießen auf mehrere Probleme. Zum einen erwies sich die Erstellung eindeutiger Masken als schwierig, weswegen nicht ohne Weiteres eine Segmentierung angelernt werden kann. Zum anderen konnten mithilfe klassischer Bildverarbeitungsverfahren und Methoden des maschinellen Lernens zwar Segmentierungen für bestimmte Bildsequenzen erzielt werden, diese ließen sich jedoch nur eingeschränkt auf andere Sequenzen übertragen. Darüber hinaus waren nicht alle Anordnungsklassen in ausreichender Vielfalt vorhanden, was die Modelle zusätzlich in ihrer Allgemeingültigkeit und Robustheit einschränkte. Deshalb befasst sich diese Arbeit mit der Generierung synthetischer Schliffbilder, um sowohl einzelne Anordnungsklassen als auch Mischgefüge abzubilden. 

Zur Generierung der synthetischen Schliffbilder verwenden wir ein zweistufiges Verfahren. Im ersten Schritt wird ein Vector-Quantizied Variational Autoencoder (VQ-VAE) [4] Model trainiert. Dies ist in einer Encoder-Decoder Struktur aufgebaut und lernt eine Rekonstruktion des Eingabebildes. Zusätzlich kann der latente Raum mithilfe eines Codebooks in eine komprimiere diskrete Darstellung angezeigt werden. Die komprimierten Darstellungen werden dann als Sequenz an ein GPT-Modell [5][6] übergeben, welches darauf eine bedingte Wahrscheinlichkeitsverteilung trainiert. Durch die Kombination der erlernten Verteilung mit dem Decoder des VQ-VAE, können anschließend neue Mikrostrukturen generiert werden. Im Vergleich zu GAN-basierten Verfahren wie StyleGAN [7], erfordert dieser Ansatz zwar einen höheren Rechenaufwand, ermöglicht jedoch durch patch-basiertes Training und autoregressive Extrapolation die Generierung größerer Bilder mit weniger Daten. 

Zum Trainieren der Modelle wurden 2.330 Mikroskopaufnahmen von sechs verschiedenen Schliffproben mit Anordnungsklassen A, B, D und E verwendet. Diese Aufnahmen wurden auf 1 μm pro 

Pixel skaliert und in 21.378 Patches mit 256 × 256 Pixel zerlegt. Die Gesamtzahl der Patches wurde dann verwendet um das VQ-VAE Modell zu trainieren. Für das GPT-Modell wurden kleinere Datensätze mit 4.799 Patches der Anordnungsklassen A und D sowie ein weiterer mit 1.867 Patches ausschließlich mit Patches der Anordnungsklasse D angelegt. Die trainierten Modelle konnten realistische Strukturen sowohl für A-Graphit als auch für D-Graphit erzeugen. Bei den D-Graphit-Proben zeigten sich zudem Ansätze dendritischer Strukturen, während die feineren Mikrostrukturen leicht unscharf wiedergegeben wurden. Darüber hinaus können mittels autoregressiver Extrapolation größere Schliffbilder mit kontinuierlichen Übergängen erzeugen werden. Auf diese Weise ließen sich Schliffbilder der Anordnungsklassen A und D sowie von AD-Mischgefügen mit einer Auflösung von 1024 × 1024 Pixeln generieren. 

In dieser Arbeit wurde gezeigt, dass sich mithilfe eines VQ-VAE in Kombination mit einem GPT-Modell die Anordnungsklassen A und D synthetisch generieren lassen. Ein naheliegender nächster Schritt besteht darin, das Vorgehen auf weitere Anordnungsklassen auszuweiten. Hierfür ist eine Ergänzung des Datensatzes durch Aufnahmen der bislang nicht abgedeckten Strukturen erforderlich. Darüber hinaus eröffnet der vorgestellte Ansatz mehrere Perspektiven für weiterführende Anwendungen. Konditionale GPT-Modelle könnten zur gezielten Generierung oder Anomalieerkennung von Anordnungsklassen eingesetzt werden. So könnten Mischgefüge mit entsprechender Segmentierung erzeugt bzw. Bildausschnitte von Schliffbildern einer Gefügeklasse zugeordnet werden. Außerdem könnte ein Netzwerk zur Entfernung von Oberflächenverunreinigungen in Mikroskopbildern angelernt werden, welches anstelle von Causal Self-Attention gezielte Masked Attention Layer verwendet. Ebenfalls interessant erscheint die Nutzung von Cross-Attention-Mechanismen auf Bilddatensätzen mit vorhandenen Klassifizierungen, um potenzielle Abhängigkeiten zwischen Bilddaten und Gefügeklassen systematisch zu modellieren. 

Referenzen 

[1] Deutsches Institut für Normung e.V., „DIN EN ISO 945-1: Mikrostruktur von Gusseisen Teil 1: Graphitklassifizierung durch visuelle Auswertung,“ Beuth Verlag, Berlin, 2018. 

[2] ASTM International, „ASTM A247-17: Standard Test Method for Evaluating the Microstructure of Graphite in Iron Castings“, ASTM International, West Conshohocken, 2017. 

[3] G. Hansen, „Bericht zum Ringversuch 1 in IGF-Forschungsvorhaben "DIAgraph II": Subjektive Zuordnung für eine Vielzahl von einzelnen lamellaren, vermikularen und entarteten Graphitpartikeln und Bereichen“, Berlin, 2020. 

[4] A. Van Den Oord, O. Vinyals, et al. Neural discrete representation learning. Advances in neural information processing systems, 2017, 30. Jg. 

[5] A. Radford, et al. Language models are unsupervised multitask learners. OpenAI blog, 2019, 1. Jg., Nr. 8, S. 9. 

[6] T. Brown, et al. Language models are few-shot learners. Advances in neural information processing systems, 2020, 33. Jg., S. 1877-1901. 

[7] T. Karras, S. Laine, T. Aila. A style-based generator architecture for generative adversarial networks. In: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019. S. 4401-4410