Daten integrieren mit automatisierten ETL-Prozessen

Wenn Sie diesen Text lesen, sitzen Sie wahrscheinlich auf einem Datenschatz in Ihrem Unternehmen, der seinen Wert noch nicht entfalten konnte. Denn dazu müssten Sie Ihre Daten auf einer interaktiven Landkarte darstellen. Aber wahrscheinlich wissen Sie noch nicht, wie Sie Daten, die Sie zum Beispiel als Excel-Dateien und in anderen üblichen Datei-Formaten verwalten, auf eine Landkarte in einem Geografischen Informations System (GIS) bringen.

Dafür müssen die Daten zunächst aus den ursprünglichen Listen und Dateien

  • extrahiert (Extract – E)
  • dann transformiert (Transform – T)
  • und schließlich in die interaktive Landkarte ins GIS geladen (Load – L)
werden. Um diesen sogenannten ETL-Prozess (Extract – Transform – Load) kümmert sich das Team von WIGeoGIS.
WIGeoGIS, Experten für ETL-Prozesse und Datenintegration ins GIS

Die optimale Datenintegration

WIGeoGIS ist Experte für ETL-Prozesse und Datenintegration in die GIS-Software. Wir sind mit maßgeschneiderten Software-Produkten für professionelle Datenintegration und unserem hervorragenden Team der richtige Ansprechpartner. Profitieren Sie von unserem Know-how:

  • Wir bringen Ihre Daten auf digitale Landkarten
  • Wir ermöglichen Ihnen Geo-Analysen mit Ihren eigenen Daten
  • Wir integrieren Ihre Daten ins WebGIS oder QGIS
  • Wir führen automatisierte ETL-Prozesse im GIS durch
  • Wir führen alle relevanten Daten im GIS-System zusammen – egal, in welchen Dateiformaten

Welche Vorteile bringt die Datenintegration?

  1. Datenintegration spart Zeit
  2. Durch Datenintegration arbeiten Unternehmensabteilungen und Software-Systeme besser zusammen
  3. Datenintegration führt zu weniger Fehlern
  4. Datenintegration benötigt weniger Überarbeitungen
  5. Datenintegration wertet Daten auf
  6. Durch Datenintegration in GIS-Systeme werden Daten auf interaktiven Landkarten visualisierbar

Was ist der Nutzen der Datenvisualisierung auf interaktiven Landkarten?

Starten wir gleich mit einem anschaulichen Beispiel!

Ein Unternehmen pflegt mehrere Listen in seiner Datenbank, darunter eine Adressliste der Kundinnen und Kunden sowie eine Adressliste der Handwerker, die für das Unternehmen arbeiten. Nun will das Unternehmen den Kunden die passenden Handwerker zuordnen, und zwar so, dass diese einen möglichst geringen Anfahrtsweg haben.

Die Zuordnung mittels der beiden Adresslisten ist eine äußerst mühsame Angelegenheit. Werden die Kunden und Handwerker aber auf einer Landkarte angezeigt, so erschließt sich auf einen Blick, welche Handwerker und Kunden in der Nähe liegen. Ist das Geo-Informations-System (GIS) automatisiert eingestellt, so holt es sich regelmäßig den aktuellen Stand der Listen, sodass das Unternehmen immer up-to-date planen kann.

Neugierig geworden? Wir beraten Sie gerne über ETL-Prozesse und Datenintegration ins GIS!

Varianten der Datenintegration ins GIS

Daten räumlich aufbereiten und integrieren

Wie kommen Ihre Adress-, Kontakt-, Standort- und andere Daten auf eine digitale Landkarte?

Sie werden durch einen sogenannten ETL-Prozess aus ihrer ursprünglichen Quelle, etwa einer Excel-Liste, extrahiert (E), dann in ein neues Format, welches auf einer Karte dargestellt werden kann, transformiert (T) und schließlich ins GIS – zum Beispiel ins WebGIS oder ins QGIS – geladen (L).

Die Daten in den Listen oder Dateien, welche in verschiedenen Formaten vorliegen, werden auf diese Weise räumlich aufbereitet, damit sie auf einer interaktiven Landkarte im GIS visuell dargestellt werden können. WIGeoGIS kümmert sich für Sie um diese Datenintegration.

ETL Prozess

Bild: Datenintegrations-Prozesse machen die Daten, die meist aus unterschiedlichen Quellen und Systemen kommen, "GIS-tauglich".

Je nach der konkreten Ausgangslage und dem Ziel der Datenanalysen im GIS benötigt dieser Prozess andere Zwischenschritte. So müssen die Adressdaten oft zuerst

  • geocodiert
  • zu größeren Einheiten aggregiert
  • bzw. umgekehrt zu kleineren Einheiten disaggregiert
  • generalisiert
  • mit zusätzlichen Informationen angereichert werden

Am Ende dieses Prozesses ziehen Sie einen viel größeren Nutzen aus Ihren Daten: Sie können die visualisierten und verknüpften Daten mithilfe unserer GIS-Software in einer digitalen Landkarte

So treffen Sie Ihre Entscheidungen künftig auf einer soliden datenbasierten Grundlage.

Wieso ist Geocoding eine Grundvoraussetzung für die Datenintegration?

Um räumliche Informationen wie Adressen auf einer Karte darstellen zu können, müssen sie zunächst geokodiert werden.

Konkret werden Adressen durch Geocoding (auch Geokodieren genannt) in Koordinaten verwandelt, sodass sie als Punkte auf einer Landkarte darstellbar werden. Das passiert mithilfe von Adressdatenbanken, auf denen zum Beispiel die Koordinaten aller Adressen in Europa verzeichnet sind. Wir von WIGeoGIS suchen darin den Datenpunkt, der zur jeweiligen Adresse passt und versehen die Adresse mit den passenden Koordinaten.

TIPP: Je besser die Daten in der Adressdatenbank oder -liste gepflegt sind, umso leichter funktioniert der Geocoding-Prozess! Gibt es hier Fehler wie z.B. Zahlendreher und falsch geschriebene Straßennamen, müssen zunächst die korrekten Zahlen und Schreibweisen herausgefunden werden - sonst wird die Adresse auf der Landkarte falsch angezeigt.

Sind Sie interessiert an den Vorteilen von ETL-Prozessen und Datenintegration ins GIS?

Was bringt das Aggregieren von Daten zu größeren Einheiten?

Eine häufige Art der räumlichen Aufbereitung von Daten ist das Aggregieren. Dabei werden mehrere Datenpunkte zu einer größeren Einheit zusammengefasst.

Ein typisches Beispiel ist das Zusammenfassen des Umsatzes von Postleitzahl- auf Bundesland- oder Landkreis-Ebene oder auch von Bundesland- auf Länder-Ebene. So lässt sich im GIS auf einen Blick erkennen, wie viel Umsatz in einem bestimmten Landkreis gemacht wurde, obwohl die ursprünglichen Listen nur die Umsätze pro Postleitzahl enthalten.

„Beim Aggregieren handelt es sich um den Prozess, mehrere kleine Datenpunkte zusammenzufassen, um daraus Informationen zu ziehen. Ich habe zum Beispiel Kundenpunkte und kenne den Umsatz, den jeder Kunde gebracht hat. Beim Aggregieren fassen wir die Kunden pro Gemeinde zusammen, sodass Aussagen über die Umsätze der Gemeinden getroffen werden können. Auch können dann die Umsätze der Gemeinden miteinander verglichen werden. Das ist nur ein Beispiel für Datenaggregation. Natürlich können auch Gemeinden zu Bundesländern aggregiert werden, um wiederum eine Aussage über die Umsätze in den Bundesländern treffen zu können.“ Andreas Marth, Teamleiter GIS Services AT

Häufig geht es beim Aggregieren um Umsatzzahlen. Aber auch die Potenziale in verschiedenen Regionen können zu größeren Regionen wie etwa zu Bundesländern zusammengefasst werden, sodass in der interaktiven Landkarte ersichtlich wird, welche Bundesländer die höchsten Potenziale aufweisen.

Eine gängige Methode der Datenintegration ist die räumliche Aggregation

Bild: Eine gängige Methode der Datenintegration ist die räumliche Aggregation. Punkte wie Kunden, Einwohner etc. werden zu Flächen aggregiert und die aggregierten Werte farbig lesbar gemacht.

Wann braucht es die Disaggregation von Daten?

Disaggregieren ist der umgekehrte Weg der Aggregation. Sie haben zum Beispiel einen bestimmten Wert nur auf Bundesland-Ebene, alle anderen Werte aber auf Gemeinde-Ebene, wollen aber Aussagen über Gemeinden treffen.

Um das zu ermöglichen, arbeiten wir mit der Methode der Disaggregation.

„Eine Disaggregation wird meist dann gemacht, wenn Daten in feinerer Granularität entweder nicht flächendeckend verfügbar oder sehr teuer sind.“ Josef Mayer, Senior GIS Services

Ein Beispiel: Ich weiß zwar, wie viele Auto-Zulassungen es pro Bezirk gibt, brauche diese Zahl im GIS aber eine Ebene tiefer: auf Postleitzahl-Ebene. Wenn in einem Bezirk mit zehn Postleitzahlen 100.000 Autos zugelassen wurden, kann ich nicht davon ausgehen, dass in jedem Postleitzahl-Gebiet 10.000 Autos zugelassen wurden. Das wäre zu vereinfachend und würde der Realität nicht nahekommen. Daher bedienen wir uns verschiedener Schlüssel und Hilfsgrößen, zum Beispiel der Einwohner-Zahl, der bebauten Fläche oder der Anzahl der Wohnbauten in den einzelnen Postleitzahl-Gebieten. Entsprechend dieser Schlüssel teilen wir dann die Auto-Zulassungen auf die Postleitzahlen auf.

Wichtig: Eine Disaggregation ist immer nur eine Annäherung an die Realität. Aber es ist oft besser, mit wahrscheinlichen Werten zu arbeiten als auf bestimmte Daten ganz zu verzichten.

Weil bei einer Disaggregation oft Daten aus unterschiedlich aufgelösten Gebietseinheiten miteinander kombiniert werden, ist eine verlässliche Berechnung nur auf räumlicher Ebene möglich. Wer die entsprechenden Zahlen und Daten nur in Tabellen- oder Listenform hat, kann sich der Methode nur sehr eingeschränkt bedienen – bzw. muss diese Zahlen zuerst einmal geokodieren und auf eine digitale Karte bringen.

Viele WIGeoGIS-Kunden, darunter Claas und Stihl profitieren bereits von der Methode der Disaggregation. Auch für Fressnapf disaggregiert WIGeoGIS Daten:

„Wir machen eine Disaggregation der Potenzialdaten in unterschiedlichen Ländern mit unterschiedlichen Datengenauigkeiten und berechnen kundenspezifische Potenziale auf einem 500x500-Meter-Raster. So erhalten wir länderübergreifend eine einheitliche Datenbasis und können unsere Analysen nach dem gleichen Schema, mit gleicher Datenqualität und über die Länder hinweg vergleichbar durchführen.“ Giuseppe Mustillo, Head of International Expansion Analytics and Controlling der Fressnapf Immobilien- und Vermögensverwaltungs GmbH

Möchten Sie mehr über ETL-Prozesse und Datenintegration ins GIS wissen?

Was bringt das Generalisieren von Daten?

Für unsere interaktiven Karten im WebGIS oder QGIS verwenden wir Daten kommerzieller Anbieter oder aus frei zugänglichen Quellen. Oft sind diese Karten sehr feinräumig digitalisiert. Wenn zum Beispiel die komplexe Küstenlinie von Finnland ganz genau dargestellt ist, ist das in der Regel für eine Geo-Analyse im GIS unnötig, weil dort praktisch keine Menschen leben.

„Wir generalisieren Daten, um eine ästhetischere und performantere Darstellung zu erhalten.“ Josef Mayer, Senior GIS Services

Es ist oft besser, diese Daten zu generalisieren, also ihre Grenzverläufe zu vereinfachen, weil andernfalls die Darstellungsperformance einer Karte aufgrund der hohen Komplexität beeinträchtigt wird. Die Herausforderung dabei ist, einerseits den notwendigen Grad der Vereinfachung zu erreichen, am Ende aber weiterhin konsistente Gebiete zu erhalten. Im Ergebnis sollen schließlich keine Lücken oder Überlagerungen zwischen Gebieten entstehen. Um dies zu erreichen, lässt man jene Punkte weg, die für die Form eines Gebietes weniger wichtig sind. Grenzverläufe werden dahingehend angepasst, dass sie besser verarbeitbar werden, aber trotzdem Ihre ursprüngliche Form weitgehend behalten.

ETL-Prozesse automatisieren

ETL-Prozesse – also das Extrahieren, Transformieren und Hochladen der Daten ins GIS – werden in der Regel automatisiert, sodass eine Änderung in Ihrer Datenbank automatisch auf der interaktiven Landkarte erscheint. In regelmäßigen Abständen – das kann zum Beispiel einmal pro Woche, einmal täglich oder jede Minute sein – holt sich das GIS die Daten aus Ihrer Datenbank, also zum Beispiel aus diversen Excel-Listen und anderen Dateien. So müssen Sie die Liste nicht selbst jedes Mal neu hochladen, wenn Sie darin eine Änderung vorgenommen haben – und Ihr WebGIS oder QGIS ist immer aktuell.

„Durch die Automatisierung des ETL-Prozesses muss sich der Kunde keine Gedanken darüber machen, ob oder wann er die Daten im GIS aktualisieren muss." Andreas Marth, Teamleiter GIS Services AT

So funktioniert die Datenintegration via ETL ins GIS

Bild: Daten aus unterschiedlichen Quellen und Systemen lassen sich durch ETL-Prozesse zusammenführen und "GIS-tauglich" machen.

Besonders in Konzernen und größeren Unternehmen ist es meist nicht einfach, die Daten aus den unterschiedlichen Datentöpfen zusammenzutragen und sicherzustellen, dass diese regelmäßig aktualisiert werden, um sie für geografische Analysen zu nutzen. Da hilft die automatisierte Datenintegration.

Ein WIGeoGIS-Kunde, der bereits von den Vorteilen des automatisieren ETL-Prozesses profitiert, ist die Österreichische Post:

„Wir haben mithilfe von WIGeoGIS ein Tool für die Standortplanung geschaffen, welches die relevanten Informationen aus unterschiedlichen internen und externen Datenquellen auf einer Plattform zusammenträgt. Dabei werden im Hintergrund automatisierte Prozesse zur Datenaufbereitung und -Analyse durchgeführt, um sicherzustellen, dass Entscheidungen auch immer auf Basis der neuesten Daten und des aktuellen Wissensstandes passieren.“ Simone Ortner, Österreichische Post AG

Viele Anwender nutzen den automatisierten ETL-Prozess. So werden Workflows "vom Excel zur Karte und zum Bericht" automatisiert. Inhalte aus den Excel-Tabellen werden so immer aktuell in Kartenberichten ausgegeben. Das spart im Vergleich zu einer manuellen und nicht automatisierten Analyse sehr viel Zeit.

Kostenloses Erstgespräch zu ETL-Prozess und Datenintegration ins GIS. Wir erklären Ihnen, wie es geht und was Sie brauchen.

Warum werden angereicherte Daten wertvoller?

Was angereichert wird, gewinnt an Wert. Auch Daten werden durch die Anreicherung aufgewertet. In der Regel werden Daten um folgende Informationen angereichert:

  • Interne Unternehmensinformationen
  • Geografische Informationen
  • Demografische Informationen oder
  • um eine Kombination der genannten Merkmale

„Sobald ich eine Adresse auf die Karte bringe, kann ich sie mit sämtlichen Informationen, die mir im GIS aus anderen Quellen vorliegen, anreichern.“ Josef Mayer, Senior GIS Services

Unternehmen reichern Standorte mit relevanten Informationen an

Bild: Für Standortanalysen reichern Unternehmen Standorte mit relevanten Informationen zum Standortumfeld an. Pro Einzugsgebiet werden Mitbewerber, Einwohner, Kaufkraft und mehr ermittelt. Das ist wichtig, um Unternehmensentscheidungen zu standardisieren und zu objektivieren.

Einige Beispiele für die Datenanreicherung

  • Sie reichern den Kunden-Datensatz um Koordinaten an und erkennen auf der digitalen Landkarte mit einem Klick, welche Kunden 20 Minuten von einem Standort entfernt sind.
  • Sie reichern Kunden-Datensätze um die Information an, welchen Außendienst-Mitarbeitern sie zugeordnet sind und sehen in der interaktiven Karte, welche Mitarbeiter wie viele Kunden betreuen, wo diese sind und wie viel sie im letzten Quartal bestellt haben.
  • Sie reichern geografische Daten durch räumliche Merkmale an, z.B. durch die Info, dass sie in einem Tourismus- oder Industriegebiet oder an einer Hauptstraße liegen.
  • Geo-Daten können auch um Infos zu Kaufkraft, Altersstruktur und Beschäftigungsquote, zum Akademiker- oder Kinderanteil in einer Region angereichert werden. So lässt z.B. der Anteil an Babys Rückschlüsse über den Bedarf an Windeln zu.

Viele WIGeoGIS-Kunden nutzen die Möglichkeit des Datenanreicherns.

Kostenloses Beratungsgespräch zu ETL-Prozess und Datenintegration ins GIS vereinbaren

Daten visualisieren, analysieren und operativ nutzen

All die oben beschriebenen Prozesse dienen keinem Selbstzweck, sondern erfolgen aufgrund ganz konkreter Aufgabenstellungen. Letzten Endes will ein Unternehmen seine Daten im GIS analysieren und dadurch bessere operative Entscheidungen treffen. Die Datenintegration und die Aufbereitung von Daten ist also die Basis für weiterführende Analysen.

Fragen wie diese können zum Beispiel durch eine Datenanalyse im WebGIS beantwortet werden:

  • Wie hoch sind meine Umsätze in bestimmten Gebieten im Verhältnis zur Einwohner-Zahl?
  • Sind meine Kunden in Gebieten mit hoher oder geringer Kaufkraft?
  • Wo erreiche ich die meisten Kunden aus meiner Zielgruppe?
  • Wo hat die Landkarte mit meinem Standortnetz noch weiße Flecken? Wie sind meine Standorte zu bewerten und sollte ich sie schließen, erweitern oder verlegen?
„Das Ergebnis der Datenaufbereitung und -integration kann vielfältig genutzt werden: zum Beispiel, um Standortentscheidungen zu treffen, Vertriebsgebiete zu planen oder die Kundendurchdringung in einer Region zu ermitteln.“ Josef Mayer, Senior GIS Services

Dieser Weg besteht aus vier Schritten:

  1. Daten erfassen
  2. Daten auf die Karte bringen
  3. Daten visualisieren und analysieren
  4. Erkenntnisse ableiten und eine Entscheidung treffen

    Die operativen Entscheidungen treffen Sie und Ihr Unternehmen selbst, aber auf dem Weg dahin ist WIGeoGIS der perfekte Partner an Ihrer Seite mit dem nötigen Know-how, der GIS-Software und jahrzehntelanger Erfahrung. Wir kennen die nötigen Voraussetzungen und kümmern uns um Ihre Datenintegration – sodass Sie unbekümmert das tun können, was Ihre Kernkompetenz ist.

    Diese Unternehmen vertrauen WIGeoGIS beim ETL-Prozess und der Datenintegration ins GIS

    Datenbank und Datenintegration für Standortanalysen von Seniorenimmobilien

    Datenintegration, Datenbank & Analyse bei TERRAGON

    Die zentrale Datenerfassung kombiniert mit der Integration ins WebGIS WIGeoWeb verschafft dem Marktführer hochwertiger Senioren-Immobilien einen einzigartigen Wissensvorsprung.

    Mehr erfahren
    WebGIS Case Study CLAAS: Erntemaschine

    Case Study WebGIS: So nutzt CLAAS WIGeoWeb

    Potenzialanalyse, Marktanalyse und Territory Management – alles mit einem WebGIS? Ja! CLAAS nutzt seit 2014 ein eigenes WebGIS der WIGeoGIS für viele Fragestellungen.

    Mehr erfahren
    Immotool ANWR WebGIS Erweiterung WIGeoStandort

    ANWR GROUP verwaltet Immobilienangebote mit WIGeoStandort

    Standortangebote werden zentral mit einer WebGIS-Erweiterung verwaltet. Dies steigert Effizienz und Schnelligkeit am Markt.

    Mehr erfahren
    Real e value erweitert Liegenschaftsbewertungssystem mit WebGIS-Lösung von WIGeoGIS

    WIGeoWeb in der Liegenschaftsbewertung

    So wertet Real(e)value sein bewährtes, leistungsfähiges Immobilienbewertungstool durch räumliche Darstellung der Daten mittels WebGIS auf.

    Mehr erfahren

    Datenintegration ins GIS und ETL-Prozesse: Kostenloses Erstgespräch vereinbaren!

    • GRATIS Erstgespräch*
    • Unverbindlich, ohne weitere Verpflichtungen
    • Per Telefon oder Video-Call
    Möchten Sie mehr über ETL-Prozesse und Datenintegration ins GIS wissen? Ich unterstütze Sie gerne. Kontaktieren Sie mich!

    Andreas MARTH

    Head of Solutions am@wigeogis.com
    +43 1 7151987 21

    * Pflichtfelder - Bitte lesen Sie hier unsere Datenschutzbestimmungen

    * Die Produkte der WIGeoGIS richten sich an Unternehmen, nicht an Privatpersonen. Benötigen Sie eine einmalige Analyse, stellen wir Ihnen gerne ein Angebot.

    FAQ

    • Worauf ist bei der Datenintegration in GIS zu achten?

      Die Daten müssen einen räumlichen Bezug haben. Das kann eine Adresse, eine administrative oder postalische Kennung sein. Natürlich können auch Koordinaten verarbeitet werden - in diesem Fall müssen Sie wissen, in welcher Projektion Ihre Koordinaten vorliegen.

    • Welche Technologien kommen für ETL-Prozesse bei WIGeoGIS zum Einsatz?

      WIGeoGIS setzt für ETL-Prozesse WIGeoETL ein. Diese Software wird in Kombination mit der Programmiersprache Python eingesetzt. Das ermöglicht ein hohes Maß an Transparenz und Nachvollziehbarkeit.

    • Wie funktioniert der ETL-Prozess?

      1. Die definierten Daten werden aus der jeweiligen Datenquelle exportiert (z.B. CSV-Dateien aus einer Datenbank oder von einer anderen Datenschnittstelle).
      2. Je nach Spezifikation werden die entsprechenden GIS-Prozesse in der Regel via Python-Script automatisiert umgesetzt.
      3. Dann kommen die Daten in die Geodatenbank, wo sie für die Nutzung im GIS zur Verfügung stehen.

    • Wie läuft ein ETL-Projekt mit der WIGeoGIS in der Regel ab?

      In einem gemeinsamen Workshop legen wir Ihre speziellen Anforderungen und die technischen Rahmenbedingungen fest. Nach einer kurzen, schnellen Umsetzungsphase werden die ersten Ergebnisse sichtbar.

    • Wo stehen die Server, auf denen die Daten verarbeitet werden?

      Die Server stehen im Rechenzentrum der WIGeoGIS in Wien oder im Rechenzentrum Ihres Unternehmens bzw. Ihres Dienstleisters.

    • Wie ist die Datensicherheit bei der Datenintegration gewährleistet?

      Wir arbeiten nur mit verschlüsselten Protokollen und die IT-Infrastruktur wird regelmäßigen Sicherheitstests unterzogen.

    • Welche Formate werden bei der Datenintegration in GIS verarbeitet?

      Wir verarbeiten alle gängigen Datenformate. Auch der Datenexport kann in die gängigen GIS-Formate und Datenformate erfolgen.