Georeferenzieren von IP-Adressen

Dieses Kapitel beschäftigt sich mit der Funktionsweise des Python-Skripts zum Georeferenzieren der IP-Adressen aus den Statistikdaten.

Das Skript arbeitet dabei mit den Statistikdaten, welche von der WebOffice Applikation generiert werden. Diese enthalten unter anderem die IP-Adressen der Userzugriffe, welche dazu genutzt werden, um die Koordinaten für den Ort des Zugriffs zu eruieren. Die durch diesen Prozess erstellte CSV-Datei kann im weiteren Verlauf beispielsweise dazu genutzt werden, um in ArcGIS Online oder ArcGIS Pro eine Heatmap der Zugriffe zu erstellen.

Hinweis: Das Zuordnen der Koordinaten zu den IP-Adressen ist im Hinblick auf den Datenschutz unbedenklich, da die Daten weiter anonym bleiben und keine Einzelpersonen identifiziert werden.

Hinweis: In der Anwendungs-Konfiguration ist es möglich zu bestimmen, ob Benutzerinformationen gespeichert werden sollen oder nicht.

Systemvoraussetzungen

Ist bereits ArcMap installiert, dann sind alle Voraussetzungen für den vollen Funktionsumfang des Skriptes gegeben. Ansonsten müsste neben der Installation von Python 2.7 darauf geachtet werden, dass die Python-Pakete numpy und pandas installiert sind.

Bedienung des Programms

Zu Beginn wird abgefragt, über welchen Zeitrahmen die Statistikdaten ausgewertet werden sollen.

Folgende Möglichkeiten der Auswahl stehen hierbei zur Verfügung:

• D => Analyse eines Tages
• M => Analyse eines Monats
• Q => Analyse eines Quartals
• Y => Analyse eines Jahres

Je nachdem welche Zeitspanne ausgewählt wird, variiert die darauffolgende Eingabe etwas. Der nächste Schritt wurde für die Analyse eines Tages durchgeführt (Eingabe => „D“).

Nach Eingabe des gewünschten Datums muss dieses noch mit der Eingabe von „Y“ bestätigt werden. Sollen stattdessen die Daten eines anderen Datums analysiert werden, kann mit der Eingabe „N“ das Skript neu gestartet werden.

Im nächsten Schritt muss der Pfad zu den Statistikdaten angegeben werden. Befinden sich die Daten unter dem empfohlenen Standardpfad also unter C:\Tomcat\webapps\WebOffice\WEB-INF\work\statistics, so kann mit der Eingabe von „D“ fortgefahren werden. Ansonsten muss der absolute Pfad zum Statistikverzeichnis angegeben werden. Des Weiteren wird das Ausgabefile nach der WebOffice Applikation benannt.

Ist der angegebene Pfad korrekt, so werden im nächsten Schritt die Statistikdaten eingelesen. Dies kann je nach Analysezeitraum bis zu mehreren Minuten in Anspruch nehmen. Der Fortschritt ist dabei in der Console ersichtlich. Am Ende des Einleseprozesses, wird die Anzahl der gefundenen Einträge angeführt. Nun erfolgt das Filtern nach dem gewünschten Projekt. Wird kein Projektname eingegeben und einfach mit Enter bestätigt, werden alle Projekte in die Analyse mit einbezogen.

Folgende Eingaben sind hierbei möglich:

• Projektkennung
• ProjektkennungA,ProjektkennungB,ProjektkennungC,…
• Keine Eingabe (alle Projekte werden analysiert)

Nachdem eine eindeutige IP-Adress-Liste generiert wurde, wird zunächst die Anzahl der Einträge angegeben. Nun besteht die Möglichkeit diese zu verorten. Hierfür muss lediglich die obenstehende Abfrage mit „Y“ bestätigt werden.

Die Verortung der IP-Adressen kann mehrere Minuten in Anspruch nehmen, da aus technischen Gründen immer nur bis zu 150 IP-Adressen gleichzeitig abgefragt werden können. Danach erfolgt eine einminütige Pause bevor das nächste Paket abgefragt werden kann.

Die so erstellte CSV-Datei kann nun zum Beispiel zur Weiterverarbeitung mit den Produkten von ESRI genutzt werden.

Inputfiles

Wie bereits erwähnt fragt das Skript den Ort ab, wo die Statistikdaten abgelegt sind. Als Standardpfad wird hierbei C:\Tomcat\webapps\WebOffice\WEB-INF\work\statistics verwendet.

Outputfiles

Die im Folgenden beschriebenen Unterordner, werden im selben Verzeichnis abgespeichert, in dem sich das Skript befindet.

Output

Im Ordner output werden die Ausgabefiles abgespeichert.

Die Benennung ist dabei wie folgt:

• Tag: <Name der wO-Applikation>_YYMMDD
• Monat: <Name der wO-Applikation>_YYMM
• Quartal: <Name der wO-Applikation>_YY_Q
• Jahr: <Name der wO-Applikation>_YY

Log

Im Unterordner log werden neben einer Log-Datei die aufbereiteten Listen ohne Geocodierung abgespeichert.

Die Benennung ist dabei wie folgt:

• Tag: <Name der wO-Applikation>_LOG_YYMMDD
• Monat: <Name der wO-Applikation>_LOG_YYMM
• Quartal: <Name der wO-Applikation>_LOG_YY_Q
• Jahr: <Name der wO-Applikation>_LOG_YY

Weiterverarbeitung der CSV-Datei

Nach Erstellung der IP-Adressen Liste mit den jeweiligen Koordinaten, ist es nun möglich diese Daten mittels GIS in Form einer Karte zu visualisieren. Hierzu gibt es verschiedene Möglichkeiten, welche in den folgenden Unterkapiteln beschrieben werden.

ArcGIS Online

Mittels ArcGIS Online ist es mit wenigen Schritten möglich aus den erzeugten Daten eine Heatmap zu generieren. Hierfür muss lediglich ArcGIS Online im Browser geöffnet werden und eine neue Karte durch Klicken auf Karte erstellt werden.

 

 

In die sich nun öffnende Kartenansicht kann die CSV-Datei einfach durch Drag&Drop in die Karte eingefügt werden.

 

 

Nachdem die Daten in ArcGIS Online eingebunden wurden, kann zwischen verschiedenen Darstellungs-Styles gewählt werden. Durch Auswahl des Darstellungs-Styles Heatmap und dem Klicken auf Fertig, wird eine Heatmap von den erzeugten Daten erstellt. Diese kann nun online geteilt und weiterbearbeitet werden.

 

 

ArcGIS Pro

In ArcGIS Pro besteht ebenfalls die Möglichkeit die CSV-Daten weiter zu verarbeiten. Hierzu muss erst eine Folder Connection zur jeweiligen .csv-Datei erstellt werden. Danach kann diese aus dem Catalog direkt in Contents gezogen werden.

Mittels Rechtsklick auf die eingefügte Datei öffnet sich ein Kontextmenü.

 

 

Durch Auswählen des Punktes Display XY Data… öffnet sich ein Dialogfeld im Funktionalitätsbereich zum Erstellen einer Feature Class.

 

 

Ist das passende Koordinatensystem ausgewählt, kann die Feature Class mittels Klick auf Run erzeugt werden.

Um nun eine Heatmap aus der erzeugten Feature Class zu erstellen, muss zuerst im Bereich Contents die Feature Class ausgewählt werden.

 

 

Nun kann im Funktionalitätsbereich unter dem Reiter Symbology die Darstellung der Punkte bearbeitet werden.

 

 

Durch Klick auf Single Symbol öffnet sich eine Dropdown-Auswahl. Hier kann die Darstellungsform Heatmap gewählt werden.

 

 

Die so erstellte Heatmap kann nun ebenfalls auf ArcGIS Online publiziert und geteilt werden.

 

 

ArcMap 10.x

In ArcMap besteht ebenfalls die Möglichkeit die CSV-Daten weiter zu verarbeiten. Hierzu muss erst eine Folder Connection zur jeweiligen CSV-Datei erstellt werden. Danach kann diese aus dem Catalog direkt in den Table Of Contents gezogen werden.

Mittels Rechtsklick auf die eingefügte Datei öffnet sich ein Kontextmenü.

 

 

Durch Auswählen des Punktes Display XY Data…. Öffnet sich ein Dialogfenster zum Erstellen eines Layers.

 

 

Nun muss lediglich ein Koordinatensystem für die richtige Projektion ausgewählt werden. Dies ist mittels Klick auf den Button Edit… möglich.

 

 

Die Auswahl des gewünschten Koordinatensystems wird mit dem Klick auf OK bestätigt.

 

 

Im Feld Description sollte nun das ausgewählte Koordinatensystem angezeigt werden. Ist dies der Fall, kann der Dialog mit Klick auf OK bestätigt werden und der Layer wird erstellt.

Der so erzeugte Layer mit den Punktdaten kann nun weiterverarbeitet werden.