Was ist Batchverarbeitung und wie hat sie sich entwickelt?

Anmerkung der Redaktion: Die IT-Automatisierung entwickelt sich laufend weiter. Deshalb fanden wir es an der Zeit, unseren Artikel aus dem Jahr 2019 zum Thema Batchverarbeitung zu aktualisieren.

Bei der Batchverarbeitung führt ein Computer automatisch vordefinierte Tasks für große Datenmengen aus, ohne dass der Mensch eingreifen muss. Die Terminologie geht auf die Anfänge der Computertechnik zurück, als Programmierer Stapel (engl. „Batch“) von Lochkarten anhäuften, um die Daten des Tages in einen Großrechner einzugeben – jeder dieser Stapel war ein „Batch“, der verarbeitet werden musste.

Genauso wie sich die Definition von „minimaler menschlicher Interaktion“ im Laufe der Jahre deutlich weiterentwickelt hat, hat die Batchverarbeitung neuere Praktiken wie Job Scheduling, Workload-Automatisierung und Service-Orchestrierung hervorgebracht … obwohl jede dieser Methoden ihre eigenen Merkmale hat. In diesem Artikel untersuchen wir diese Nuancen und schauen uns an, wie sich die Batchverarbeitung in die moderne Landschaft der IT-Automatisierung einfügt, die Cloud Computing, Big Data, künstliche Intelligenz und das Internet der Dinge umfasst.

Die Geschichte der Batchverarbeitung in der IT-Automatisierung

In den Anfängen der Batchverarbeitung wurden Daten über einen längeren Zeitraum hinweg gesammelt. Die anschließende Automatisierung wurde dann so geplant, dass die gruppierten Daten während eines Batchfensters verarbeitet wurden, das für die Verarbeitung großer Datenmengen reserviert war – in der Regel nachts. Da alle Datenverarbeitungsaktivitäten auf Großrechnern durchgeführt wurden, war es von enorm wichtig, diese endlichen (und begrenzten) Ressourcen optimal zu nutzen. Nächtliche Batchfenster setzten tagsüber Computerleistung frei und ermöglichten es den Endbenutzern, Transaktionen durchzuführen, ohne dass das System durch die Batchverarbeitung großer Datenmengen belastet wurde.

Die IT-Mitarbeiter übermittelten Batch-Jobs auf der Grundlage einer Anleitung, die ihnen sagte, was sie zu tun hatten und wie sie mit bestimmten Bedingungen umzugehen hatten, z. B. wenn etwas schief ging. Die Jobs wurden in der Regel mithilfe von Job Control Language (JCL) geschrieben, einem Standardkonzept für Großrechner, mit dem festgelegt wird, wie Batchprogramme ausgeführt werden sollen. Für einen Mainframe-Computer enthielt JCL die folgenden Informationen:

• den Batch-Job-Absender;
• das Programm, das ausgeführt werden sollte;
• den Input- und Output-Speicherort;
• den Zeitpunkt, zu dem der Job durchgeführt werden sollte.

Wenn der Bediener mit der Ausführung eines Batch-Jobs fertig war, reichte er einen weiteren ein. Die frühen Batchprozesse sollten diese Tasks bis zu einem gewissen Grad automatisieren. Dieser Ansatz war zwar anfangs effektiv, wurde aber schnell problematisch, als die Anzahl der Maschinen, Jobs und Planungsabhängigkeiten zunahm.

Der Stellenwert der Batchverarbeitung in der IT-Automatisierung von heute

Die Batchverarbeitung wurde schon vor langer Zeit entwickelt, weshalb sie in ihrer traditionellen Form mit Einschränkungen verbunden ist. Das gilt insbesondere im Vergleich zu modernen Automatisierungslösungen, die Batchprozesse neben Echtzeit-Workflows in Hybrid-IT-Umgebungen durchführen können.

Zu den Einschränkungen traditioneller Batchverarbeitungssysteme gehören u. a.:

• Es sind erhebliche manuelle Eingriffe erforderlich, um Batches konsistent laufen zu lassen
• Keine Möglichkeit, Workloads zwischen verschiedenen Plattformen oder Anwendungen zu zentralisieren
• Keine Audit-Trails, um zu überprüfen, ob die Jobs tatsächlich ausgeführt wurden
• Starre, zeitbasierte Scheduling-Regeln, die moderne Echtzeit-Datenansätze nicht berücksichtigen
• Kein automatischer Neustart/Wiederherstellung von geplanten Tasks, die fehlgeschlagen sind

Mit den heutigen IT-Automatisierungslösungen können Informationen, die nicht in Echtzeit verwaltet werden müssen, wie z. B. Routine-Geschäftsprozesse, Monatsabschlüsse und Gehaltsabrechnungen für Mitarbeiter, nach wie vor als Batches verarbeitet werden. Der Bedarf an unmittelbareren Daten wächst jedoch.

Moderne Automatisierungslösungen bieten flexible Einsatzmöglichkeiten:

• Mikro-Batchverarbeitung, bei der Tasks für kleinere Datengruppen ausgeführt werden. Anstatt bis zum Ende des Tages (oder länger) zu warten, um einen Batch auszuführen, können Mikrobatches alle paar Sekunden oder Minuten ausgeführt werden – was einer Verarbeitung in Echtzeit sehr nahe kommt.
• Ereignisbasierte Verarbeitung, bei der Tasks auf der Grundlage von Transaktionsauslösern in einer Vielzahl von Systemen, Plattformen oder Anwendungen ausgeführt werden.

Zu den gängigsten dieser fortschrittlicheren Automatisierungslösungen gehören Job Scheduler, Anwendungen zur Workload-Automatisierung (WLA) und Service-Orchestrierungs- und Automatisierungsplattformen (SOAPs).

Was ist der Unterschied?

Was ist der Unterschied zwischen Batchverarbeitung und Job Scheduling?

Stellen Sie sich Job Scheduling als eine Art Batchverarbeitung 2.0 vor: Beide führen automatisch sequenzielle Tasks für große Datenmengen aus – mit minimaler menschlicher Interaktion. Ein Job Scheduling-Tool kann jedoch komplexere Prozesse auf der Grundlage von Kalendereinträgen, Daten und Zeiten ausführen. Darüber hinaus ist Job Scheduling effizient genug, um diese Prozesse während der Geschäftszeiten im Hintergrund laufen zu lassen oder bis nach den Geschäftszeiten zu warten, je nachdem, wie viel Rechenleistung der Job erfordert.

In dieser Version bedeutet „minimale menschliche Interaktion“, dass ein IT-Administrator das Planungstool überwachen muss, um manuell Aufgaben abzufangen, die zu scheitern drohen (oder bereits gescheitert sind). Fällt beispielsweise ein wiederkehrender Gehaltsabrechnungsprozess auf ein Wochenende oder einen Feiertag, muss der IT-Administrator eingreifen, um den Prozess so umzuleiten, dass die Mitarbeiter pünktlich bezahlt werden können.

Job Scheduling-Tools sind in der Regel direkt in ein Betriebssystem integriert – wie der Windows Task Scheduler für Microsoft, der CRON Scheduler für Linux/UNIX oder der Advanced Job Scheduler für IBM.

Aber was passiert, wenn Sie plattformübergreifende Jobs ausführen müssen? Oder wenn Sie einen Workflow auf der Grundlage eines Ereignisses auslösen möchten, z. B. eines über ServiceNow eingereichten Tickets? Einige dieser Probleme kann die nächste Generation der IT-Automatisierung beheben: die Workload-Automatisierung.

Was ist der Unterschied zwischen Batchverarbeitung und Workload-Automatisierung?

Vielleicht denken Sie jetzt, dass WLA einfach Batchverarbeitung 3.0 ist, und damit liegen Sie gar nicht so falsch. Denn WLA verwaltet problemlos herkömmliche zeitbasierte, plattformunabhängige Batchprozesse und Job Schedules. Es kann sogar die nativen integrierten Scheduler, die auf jeder Plattform verfügbar sind, zentral steuern.

Aber WLA hat noch mehr zu bieten. Diese Tools zeichnen sich dadurch aus, dass sie in der Lage sind, Workflows auf der Grundlage bestimmter Geschäftsprozesse und Transaktionen über mehrere lokale Systeme hinweg auszuführen. Außerdem nutzen sie sichere API-Verbindungen, um Tasks in Anwendungen von Drittanbietern zu überwachen und zu automatisieren. WLA-Workflows reagieren in Echtzeit auf Ereignisse wie:

• spezifische Daten, die in SAP oder Informatica verfügbar werden
• neue Mitarbeiter, die in PeopleSoft hinzugefügt werden
• über ServiceNow eingereichte Arbeitsanforderungungen
• über Teams oder Slack erteilte Genehmigungen

WLA wurde von Gartner in seinem Bericht Hype Cycle for IT Operations Management aus dem Jahr 2005 vorgestellt und brachte ein neues Maß an Flexibilität in die IT-Automatisierung … zumindest für eine gewisse Zeit. Als neue Trends aufkamen und an Popularität gewannen – wie Cloud Computing, Big Data, künstliche Intelligenz und das Internet der Dinge – suchten IT-Leader wieder einmal nach innovativen Lösungen.

Was ist der Unterschied zwischen Batchverarbeitung und Service-Orchestrierung?

Plattformen zur Service-Orchestrierung und -Automatisierung (SOAPs) sind die kollektive Weiterentwicklung von Batchverarbeitung, Job Scheduling und Workload-Automatisierung und enthalten darüber hinaus einige zukunftsweisende Innovationen. Mit diesen Plattformen lassen sich herkömmliche kalender- und ereignisbasierte IT-Tasks problemlos automatisieren, unabhängig davon, ob es sich um Transaktionen oder Batches handelt. Darüber hinaus orchestrieren SOAPs Business Services durch:

• Synchronisierung der Automatisierung über Hybrid-IT-Umgebungen hinweg, die On-Prem-Systeme, Cloud-Service-Provider und containerisierte Microservices umfassen;
• Integration mit Technologien von Drittanbietern – Cloud-Service-Providern, ETL- und ELT-Tools, ERPs, Containern und Anwendungen wie Salesforce, Slack und Teams – um den Datenfluss über verschiedene Funktionen und Plattformen hinweg zu koordinieren und zu automatisieren;
• Befähigung von Anwendern aller Art, von DevOps über DataOps bis hin zu Business Analysts, mit intuitiver Do-it-yourself-Workflow-Erstellung und rollengerechten Zugriffsberechtigungen;
• Standardisierung von Geschäfts- und IT-Prozessen im gesamten Unternehmen, um die Funktionalität zu verbessern und Kosten zu sparen.

Gartner hat die SOAP-Kategorie im Jahr 2020 eingeführt, um zu würdigen, welchen bedeutenden Fortschritt diese Plattformen in der IT-Automatisierung darstellen. Gartner prognostiziert, dass „bis Ende 2024 80 % der Unternehmen, die derzeit Workload-Automatisierung betreiben, Service-Orchestrierungs- und Automatisierungsplattformen nutzen werden, um domänenübergreifende Workloads zu orchestrieren.“

Fazit

Die Batchverarbeitung hat einen langen Weg hinter sich. Und sie hat immer noch einen festen Platz in der modernen IT-Automatisierung. Allerdings können moderne Automatisierungsplattformen wie SOAPs die zeitbasierte Planung von Tasks für die Batch- und Mikro-Batchverarbeitung problemlos übernehmen. Darüber hinaus ermöglichen SOAPs die ereignisbasierte Verarbeitung, die Orchestrierung von Business Services und die Hybrid-IT-Synchronisierung.

Sie möchten mehr erfahren? Dann werfen Sie einen Blick in den Gartner Market Guide for Service Orchestration Platforms 2023.