Ohne standardisierte Daten keine Automatisierung – Wie Sie Ihre Daten passend machen
7 Min.
Welche Voraussetzungen müssen Daten erfüllen?
Damit Daten von Systemen automatisch verarbeitet werden können, müssen sie den folgenden Anforderungen entsprechen:
- Maschinenlesbar und idealerweise auch menschenlesbar
- Standardisiert
- Redundanzfrei und konsistent
- Zugängliches Format: CSV, XML, JSON
Je mehr diese Aspekte zutreffen, desto weniger Aufwand ist nötig, um die Daten automatisiert weiterzuverarbeiten. In der Praxis werden diese Punkte oft nicht vollständig erfüllt. Diesen Umstand betrachten wir in den folgenden Abschnitten anhand eines Beispiels, das Produkteigenschaften von drei Spülmaschinen-Varianten eines Hausgeräteherstellers beinhaltet:
Diese Daten, die beispielsweise aus einem ERP-System stammen können, können in einem CCMS verwendet werden, um Produktionsfilter zu erstellen. Mit den Produktionsfiltern kann man mit dem vorhandenen Content für jede Produktvariante die passende Publikation erstellen.
Datenstrukturen bereinigen und vereinfachen
Die Produkteigenschaften erfüllen schon einige Anforderungen, um automatisiert weiterverarbeitet zu werden: Sie sind einfach maschinenlesbar und bis zu einem bestimmten Grad standardisiert. So finden sich zum Beispiel unter dem Schlüssel "Breite" für alle drei Produkte vergleichbare Werte.
Aufwändiger ist, herauszufinden, welche Möglichkeiten für die Besteckaufbewahrung existieren. Hierzu müssen zwei Datensätze abgefragt werden, konkret der Schlüssel "Besteckkorb" und der Schlüssel "3. Beladungsebene". Außerdem unterscheiden sich die Datentypen der Werte "ja"/ "nein" bzw. Boolean und "Besteckschublade" bzw. Enumeration oder String. Die Daten sind demnach inkonsistent.
Die einfachste Lösung ist, die Modellierung der Ausgangsdaten zu ändern, wie folgende Grafiken zeigen:
Eine weitere Hürde ist der Datensatz "Anzeige". Hier sind jeweils zwei voneinander unabhängige Angaben enthalten: Zum einen die Bauart des Displays und zum anderen dessen Einbauort. Auch hier ist es aus Sicht der Weiterverarbeitung am einfachsten, die Struktur der Ausgangsdaten zu ändern und zwei getrennte Datenfelder für Displayart und Einbauort zu verwenden.
Wenn solche Datenanpassungen nicht möglich sind, z. B. aus Kostensicht, aus organisatorischen Gründen oder, weil andere Systeme oder Prozesse beeinflusst werden können, muss dies bei der Weiterverarbeitung der Daten berücksichtigt werden.
Wenn die Daten jetzt noch als CSV-Datei, XML oder JSON vorliegen, ist eine weitere Voraussetzung erfüllt: die leichte Weiterverarbeitung mit gängigen Methoden.
Datenabgleich über Mapping – Dank Automatisierung Klicks sparen
Diese Daten müssen nun auf die Metadaten im CCMS abgebildet werden. In der Abbildung sind die entsprechenden Taxonomie-Werte zu sehen, die aus den Produkteigenschaften belegt werden müssen:
Diese Zuordnung kann manuell, teilautomatisch oder automatisch erfolgen. Der manuelle Weg bedeutet viel Klick-Arbeit im Taxonomie-Baum des CCMS. Je nach Anzahl der Produkteigenschaften, der Produktvarianten und der Länge der Taxonomie-Bäume kann dies eine ermüdende und fehleranfällige Aufgabe sein.
Für eine teilautomatisierte Lösung ist denkbar, dass man entweder manuell, z.B. in Excel, oder automatisch über ein Skript die im CCMS benötigten Daten zusammenstellt. Hier ist eine Zeile eine Produktvariante, wie die Abbildung zeigt:
Über eine Importfunktion im CCMS können automatisch Produktionsfilter erstellt werden.
Bei einer Vollautomatisierung entfällt der manuelle Eingriff bei der Datenübergabe vom ERP-System zum CCMS.
Bei der manuellen Verarbeitung passiert die Transformation der Werte, auch Mapping genannt, im Kopf. Bei der automatisierten Verarbeitung werden eine Logik und eine Mapping-Tabelle benötigt, um die Daten aufeinander abzubilden. Die Verarbeitungslogik kann folgendermaßen lauten:
Wenn ERP-Schlüssel = "Kindersicherung", dann suche den entsprechenden CCMS-Schlüssel, der dem ERP-Wert entspricht, und setze den Wert auf "ja".
Im ERP lautet für "Keine Kindersicherung" der Wert "Nein". Im CCMS wird für "Keine Kindersicherung" aber kein Wert gesetzt, weshalb der Algorithmus oben nicht ausreicht. Eine Mapping-Tabelle löst das Problem und die Schlüssel im CCMS können die Werte "ja/nein" bzw. "true/false" annehmen.
In der dargestellten Mapping-Tabelle werden die Werte aus dem ERP auf die im CCMS benötigten Werte abgebildet:
Der Algorithmus lautet dann:
Wenn ERP-Schlüssel = "Kindersicherung" und Wert = "Tastensperre", dann suche CCMS-Schlüssel "Tastensperre" und setze CCMS-Wert gleich = "ja".
In der Mapping-Tabelle gibt es keinen Eintrag für "Keine Kindersicherung", weil im CCMS hierfür kein Wert gesetzt werden muss. Mit diesem Verfahren können auch die Werte der beiden Schlüssel "Anzeigeart" und "Anzeigeort" verarbeitet werden.
Um die Besteckfrage zu klären, ist noch weiterer Aufwand nötig, denn es müssen zwei Werte in Abhängigkeit zueinander ausgewertet werden:
Wenn ERP-Schlüssel = "Besteckkorb" und Wert = "ja" UND ERP-Schlüssel = "3. Beladungsebene" und Wert = "nein", dann suche CCMS-Schlüssel "Besteckkorb" und setze CCMS-Wert gleich = "ja".
Diese Abfrage muss für alle möglichen Kombinationen formuliert werden, da diese Abhängigkeit über die Mapping-Tabelle nicht umgesetzt werden kann.
Möglich ist jedoch auch, die Struktur der Mapping-Tabelle zu erweitern, um solche komplexeren Abhängigkeiten zwischen einzelnen Werten abzubilden. Das hat den Vorteil, dass man weitere, ähnlich gelagerte Dateninkonsistenzen einfach über weitere Einträge in der Mapping-Tabelle abbilden bzw. konfigurieren kann, anstatt die Logik zu ergänzen bzw. zu programmieren. Der zugehörige Algorithmus muss ebenfalls einmalig an die erweiterte Struktur der Mapping-Tabelle angepasst werden.
Ausblick: Interaktion der Systeme
Neben der Datenaufbereitung betrachten wir noch kurz den Workflow und den Weg, den die Daten durchlaufen. Je nach CCMS kann das Mapping innerhalb des CCMS durchgeführt werden.
Das CCMS kann die Daten automatisch beim ERP abfragen, das Mapping umsetzen und den Produktionsfilter erstellen. Idealweiße ist die Logik so aufgebaut, dass die Mapping-Tabelle einfach um neue Werte ergänzt werden kann und hierfür keine tiefen Eingriffe in das System notwendig sind.
Datenaufbereitung und kompatible Systeme – Die Schlüssel zur Automatisierung
Abschließend ist zu sagen, dass nur erfolgreich automatisiert werden kann, wenn alle oben genannten Kriterien erfüllt sind. Die Daten müssen entsprechend der genannten Voraussetzungen aufbereitet werden und im richtigen Format vorliegen.
Weiter muss gewährleistet sein, dass das Ausgangssystem die Daten bereitstellen kann und das Zielsystem in der Lage ist, die Daten automatisch zu verarbeiten. Wenn dies sichergestellt ist, dann steht einer zeit- und kostensparenden Automatisierung Ihrer Redaktionsprozesse nichts mehr Weg.
Wie Sie Daten vor der automatisierten Weiterverarbeitung manuell aufbereiten können, erfahren Sie in unserem Video "Datenaufbereitung mit Notepad++" im Exklusiv-Bereich. Wenn Sie Fragen zu den beschriebenen Prozessen haben oder Unterstützung benötigen, kontaktieren Sie uns gerne über unser Kontaktformular.
