Künstliche Intelligenz kommt im industriellen Umfeld immer häufiger zum Einsatz. Besonders die industrielle Bildverarbeitung ist dabei ein Vorreiter, da in der Produktionsumgebung schnell große Mengen an Bildern als Trainingsdaten zur Verfügung stehen. Auch das Pharmaunternehmen Aspen mit Hauptsitz in Durban in Südafrika sah für sich die Möglichkeit, von den Vorteilen von Machine Vision in Kombination mit Deep Learning zu profitieren. Das Unternehmen, das in der Gesundheits- und Pharmabranche aktiv ist, unterhält auch Standorte in Europa, unter anderem im französischen Notre-Dame-de-Bondeville. Dort wiegt und mischt das Unternehmen die Bestandteile der Rezeptur des Medikaments und füllt sie in einem nachfolgenden Prozess in Ampullen ab.
„Unser Ziel war es, die Inspektion der Ampullen auf mögliche Fremdpartikel zu automatisieren. Die Qualitätssicherung von pharmazeutischen Produkten ist von extrem hoher Bedeutung. Daher war es notwendig, dass die neue Lösung mindestens die Erkennungsraten des vorherigen Prozesses, nämlich die Prüfung durch menschliche Kontrolleure, erreicht oder besser: diese übertrifft“, erklärt Mickael Denis, Manager Operationnel Vision Industrielle. Vincent Trombetta, Automatic Visual Inspection Expert bei Aspen fährt fort: „Es war klar, dass eine solche Aufgabe nur mit Deep-Learning-Technologien automatisiert werden kann. Für die Umsetzung, die viel Know-how erforderte, haben wir auf die Beratungsleistung von MVTec Software zurückgegriffen. Da die Bildverarbeitungslösung auf der Inspektionsmaschine bereits mit MVTec Halcon realisiert wurde, war es sinnvoll, die Dienstleistung direkt vom Hersteller in Anspruch zu nehmen.“
Anforderungen der Pharmabranche
Am Standort in Notre-Dame-de-Bondeville, wo die entsprechende Anlage steht, werden die Plastikampullen zunächst erstellt, in diesem Fall aufgeblasen, anschließend befüllt und schließlich versiegelt. Da alle diese Tätigkeiten in einer Maschine ausgeführt werden, ist dieser Prozess sehr hygienisch. Fremdkörper können so gut wie gar nicht in die Ampullen gelangen. Dennoch erfolgt dieser Prozess unter Reinraumbedingungen, um die Gefahr der Verunreinigung nochmals zu minimieren. Aufgrund der Tätigkeiten wird dieser Prozess auch BFS (blow, fill and seal).
Nachdem die Ampullen befüllt und verschlossen sind, werden diese in einen Inspektions- und Verpackungsbereich befördert. Anschließend werden die Ampullen und der Inhalt auf Defekte überprüft. Früher sah dieser Prozess so aus, dass Mitarbeiter jede Ampulle einzeln in die Hand nehmen und von allen Seiten prüfen, ob die Ampulle sowie der Füllstand in Ordnung sind und ob sich Fremdkörper in der Flüssigkeit befinden. Die große Herausforderung dabei ist, dass der Inhalt der Ampullen auch Blasen enthalten kann und darf. Diese sind jedoch nur sehr schwer von Fremdkörpern zu unterscheiden. Die Partikel, die in den Fläschchen schwimmen, sind selbst für Prüfer nicht immer leicht zu erkennen. Sie können sich an der Seite befinden, auf den Boden absinken oder aufgrund der Viskosität des Wassers undeutlich sein. Daher ist es verständlich, dass die manuelle Prüfung sehr zeitaufwändig und mit hohen Kosten verbunden ist. Deswegen sollte der neue Prozess automatisiert werden. Da die Inspektion visuell erfolgen muss, war klar, dass der Prozess nur mit Machine Vision und keiner anderen Technologie umgesetzt werden kann. Außerdem sind die Validierungsprozesse anspruchsvoll.
Inspektion der Ampullen
In der neuen Anlage kommen insgesamt 12 Kameras mit dem Industriestandard- GigE-Vision zum Einsatz. Wichtig ist ebenfalls eine gute Beleuchtung, um die Partikel deutlich sichtbar zu machen. Die Bildverarbeitung wird auf einem Industrie-PCs ausgeführt. Softwareseitig fußt die Bildverarbeitungslösung auf MVTec Halcon. Die Standardsoftware für die industrielle Bildverarbeitung verfügt über 2100 Operatoren, mit denen nahezu sämtliche Bildverarbeitungstätigkeiten durchgeführt werden können. Darunter befinden sich zahlreiche Deep-Learning-Methoden. Diese kommen auch bei Aspen zum Einsatz. Aufgrund der extrem schwierigen Umstände weist Deep Learning deutliche Vorteile gegenüber klassischen regelbasierten Verfahren auf. Mit klassischer Bildverarbeitung war es nicht möglich, ein Regelset zu finden, das robust und gleichzeitig flexibel genug ist, die Defekte zu erkennen.
Im Einsatz sieht der Prozess nun so aus, dass die Testampullen manuell auf das Förderband der Anlage gelegt werden und so zur Inspektionsmaschine gelangen. Die 12 Kameras sind so angebracht, dass sie aus verschiedenen Stationen insgesamt bis zu 14 Bilder jeder Ampulle aufnehmen. Die große Anzahl an Bildern ist für die Deep-Learning-basierte Inspektion hilfreich, denn es gibt Bilder, auf denen die Partikel nicht erkennbar sind, von einem anderen Winkel aus betrachtet allerdings schon. Zudem ist zu erwähnen, dass ein Partikel erst dann als solches identifiziert gilt, wenn es auf einer gewissen Anzahl von Bildern gefunden wird. So können die falsch-positiv-Ergebnisse erfolgreich gesenkt werden.
Deep-Learning-basierte Bildkontrolle
Nachdem die Bilder aufgenommen wurden, werden sie an MVTec Halcon übermittelt. Dort werden mithilfe verschiedener Bildverarbeitungsmethoden die Prüfungen durchgeführt. Für die Erkennung von Fremdstoffen nutzt Aspen die in Halcon enthalte Deep-Learning-basierte semantische Segmentierung. Neben der Inspektion auf Partikel in der Flüssigkeit werden noch weitere Prüfaufgaben parallel umgesetzt. Dabei handelt es sich unter anderem um sogenannte kosmetische Defekte. Es wird also geprüft, ob der Füllstand korrekt ist, ob die Farbe passend ist und ob der Verschluss den Vorgaben entspricht. Für diese Tätigkeiten kommen klassische Bildverarbeitungsmethoden wie zum Beispiel Matching-Verfahren und die Blob-Analyse zum Einsatz. Klassische Verfahren haben den Vorteil, dass sie für entsprechend geeignete Anwendungen sehr robuste Ergebnisse liefern und sehr kurze Bearbeitungszeiten ermöglichen. Am Ende der Prüfung steht eine klare Entscheidung, ob die entsprechende Ampulle OK oder NOK ist.
Deep Learning ist nur mit der entsprechenden Vorbereitung der Bilder in der Lage, Entscheidungen robust zu treffen. Die Unterstützungsleistung von MVTec lag darin, die zuvor von Aspen gelabelten Daten zu sortieren, nachzubearbeiten, neu zusammenzustellen und diese anschließend mehrfach zu trainieren. Dabei wurde das gleiche Datenset mehrfach trainiert, um die verschiedenen Ergebnisse miteinander vergleichen zu können. So erstellte MVTec ein neuronales Netz, mit dem Aspen auf ihrer eigenen Anlage die Inspektionen durchführen kann. Dieses Netz ist so trainiert, dass es die Partikel vom Hintergrund segmentieren und somit zuverlässig erkennen kann. Für das Training wurden Testampullen manipuliert, um mögliche Defekte simulieren zu können, die auftreten können. Von diesen Textampullen werden Bilder aufgenommen und mit dem Deep Learning Tool gelabelt. Das Deep Learning Tool ist ein MVTec Softwareprodukt, mit dem Bilder für Deep Learning Anwendungen vorbereitet, zum Beispiel gelabelt, werden können. Mit diesen gelabelten Daten werden auch Gut-Bilder, also Ampullen ohne Defekte, zu einem Datenset kombiniert, das zum Trainieren der Deep-Learning-Netze verwendet wird. Die mehrfach durchgeführten Trainings werden evaluiert, ob sie bei der realen Anwendung funktionieren.
Robuste Erkennungsraten
Mittlerweile sind die beiden Produktionslinien in Betrieb. „Unser Ziel war eine Anwendung, die dem aktuellen Stand der Machine-Vision-Entwicklungen entspricht. Da war es klar, dass wir Deep Learning nutzen wollten, auch um unser internes Wissen zu erweitern. Mit der Unterstützung der Kollegen von MVTec ist es uns gelungen, die Erkennungsrate von Fehlern deutlich zu erhöhen und falsch-negative Ergebnisse deutlich zu reduzieren“, erklärt Vincent Trombetta. Für die Zukunft plant das Unternehmen weitere Automatisierungen auf Basis von Machine Vision.
MVTec Software GmbH, München
