In diesem Blogpost zeige ich Ihnen, wie Sie in wenigen Minuten Ihre On-Premise-Daten mit Qlik Data Transfer (QDT) in die Qlik Cloud bringen.

Die Vorteile der Cloud liegen klar auf der Hand. Keine teure Infrastruktur, keine Administration des Servers und stets die neuste Qlik Version mit den besten Features, performant und zuverlässig erreichbar. Aber wie ist das mit den ganzen Daten auf meinen lokalen Servern? Den lokalen Datenbanken und den Excel Dateien, die für Analysen genutzt werden?

Um schnell und unkompliziert zu starten – noch bevor Ihre IT-Infrastruktur in die Cloud migriert ist – hat Qlik mit Qlik Data Transfer (QDT) eine interessante Lösung geschaffen. QDT ist kostenfrei erhältlich und ermöglicht, lokale Daten und Datenverbindungen sicher, zuverlässig und automatisiert in die Qlik Cloud zu bringen.

Dieser Blogpost gibt Ihnen folgende Einblicke:

• Installation / Einrichtung
• Upload von Datenverbindungen / Datenbanken
• Ordner überwachen und hochladen
• Limitierungen von QDT
• Fazit zu Qlik Data Transfer

Installation / Einrichtung

Qlik Data Transfer ist auf einem Windows Server in wenigen Schritten installiert. Im Anschluss an die Installation muss QDT lediglich mit dem Qlik SaaS Tenant verbunden werden. Hierzu werden neben dem frei wählbaren Namen nur die Tenant URL (bspw. https://company.eu.qlikcloud.com) sowie ein vom User zu generierender API Key benötigt.

Der API Key kann in der Qlik Cloud unter den Einstellungen des Benutzers -> API Schlüssel erzeugt werden und ist per Copy & Paste unter »API key« einzufügen.

 

Abbildung 1: Setup Qlik Data Transfer

Schon ist QDT eingerichtet und verbunden. Nun können Datenverbindungen oder Ordner für den Upload ausgewählt werden. Der Upload erfolgt über den sicheren Outbound Port 443.

Upload via Data Connection

Im folgenden Beispiel verbinden wir uns mit einer PostgreSQL Datenbank und laden die extrahierten Daten 1x pro Tag in den »Personal« Space unserer Cloud-Instanz.

 

Abbildung 2: Übersicht QDT Connectoren

Für mein Beispiel wähle ich den PostgreSQL Connector. Der erfahrene Qlik Sense User fühlt sich schnell »heimisch« und erkennt die Ähnlichkeit der Menüführung zu den bekannten Qlik Sense Wizards.

 

Abbildung 3: Upload via Data Connection

Für die Datenbankverbindung benötigen wir einige Angaben zum Server und natürlich die Zugangsdaten für die Authentifizierung. Sind diese Daten eingegeben können bereits im nächsten Fenster die abgefragten Daten eingesehen und nach Bedarf Felder selektiert oder abgewählt werden.

 

Abbildung 4: Datenverbindung zu PostgreSQL

 

Abbildung 5: Auswählen der extrahierten Daten

Zudem kann an dieser Stelle definiert werden, welche Applikationen in der Cloud bei neuen Daten durchgeladen werden sollen. Im hier gezeigten Screenshot sind vier Applikationen vorhanden und es wurde sich gegen einen Reload entschieden.

 

Abbildung 6: Reload von Apps nach erfolgtem Datenupload

Das war es auch schon. Die Datenverbindung ist angelegt und bereit ausgeführt zu werden. Über den »Edit« Button können der Name sowie der Space noch nachträglich angepasst werden. Wird die Datenverbindung selektiert, kann der User diese manuell ausführen. Bereits nach wenigen Sekunden (abhängig von der Internetverbindung und der zu übermittelten Datenmenge) sind die extrahierten Daten in der Cloud als QVD zu sehen. Unser Upload via Datenverbindung hat funktioniert 🙂

 

Abbildung 7: Verbindungsdetails

 

Abbildung 8: Übersicht der QVDs in Qlik Cloud SaaS

Die Verbindungsdaten können im Menü unter »Connection Details« auch noch nachträglich angepasst werden. Es ist somit nicht erforderlich diese stets komplett neu anzulegen. Insbesondere bei kleineren Anpassungen komplexerer Abfragen ist dies sehr bedienerfreundlich.

Über den Reiter »Scheduled Uploads« können alle Datenverbindungen zeitlich gesteuert werden. Bei Ordnern ist dies nicht möglich. Diese werden automatisch überwacht und laden Dateien direkt in die Cloud hoch, sobald Änderungen an den Dateien festgestellt werden.

 

Abbildung 9: Anlegen eines Tasks

Ordner überwachen und hochladen

Neben Datenverbindungen können auch lokale Ordner oder Netzwerkpfade überwacht werden. Die Verwendung von zugewiesenen Laufwerken ist zurzeit übrigens noch nicht möglich ebenso wie die Überwachung von Unterordnern. Im Screenshot laden wir von der lokalen Festplatte den Inhalt des Ordners FlightData in den »Team« Space hoch.

 

Abbildung 10: Datenupload aus lokalen Ordnern

Das waren auch schon die zwei Varianten wie Sie lokal verfügbare Daten in die Cloud hochladen können.

Limitierungen

Qlik Data Transfer erlaubt den Upload von Dateien bis 500 MB Größe.

Sofern größere Dateien zu verarbeiten sind sollte überprüft werden, ob die Rohdaten geschnitten bzw. unterteilt werden können. Vielleicht ist es möglich, eine Aufteilung nach zeitlichen Dimensionen oder anderen Ausprägungen vorzunehmen, um die Größe pro Datei zu reduzieren. Durch einen Wildcard LOAD können die einzelnen Dateien später in Qlik SaaS ganz einfach wieder zusammengefügt werden.

Außerdem gibt es eine Limitierung bei der Anzahl an Tabellen und Dateien, die durch QDT hochgeladen werden können. Diese Limitierung beläuft sich auf jeweils 200 Tabellen pro Verbindung / Ordner. Natürlich können Sie entsprechend mehrere Datenverbindungen oder Ordner überwachen, um noch weitere Tabellen und Felder hochzuladen.

Fazit zu Qlik Data Transfer

Qlik Data Transfer ist wunderbar einfach und schließt eine Lücke – insbesondere für kleinere Kunden, die bei der Transformation ihrer Infrastruktur in die Cloud noch einige Schritte zu erledigen haben. Die Konfiguration von QDT ist simpel und führt zu schnell sichtbaren Erfolgen. Besonders praktisch ist es, dass QDT Ordner automatisch auf Änderungen überwachen kann. So bleiben die Daten stets aktuell.

Wir, das fme BI-Team, würden uns noch einige Funktionalitäten wünschen, wie zum Beispiel eine echte Synchronisation zwischen den lokalen und Cloud Daten. Derzeit kann QDT lediglich Dateien in der Cloud erstellen oder aktualisieren, aber keine Dateien löschen. Allerdings ist QDT auch noch jung und wir können auf die Verbesserungen in den kommenden Versionen gespannt sein.

Insbesondere kleinere Unternehmen sollten ein Auge auf QDT haben. Vielleicht macht es gerade dort den Ausschlag und führt zur Entscheidung, ausschließlich das SaaS Angebot zu nutzen. Welche Entscheidung Sie auch immer treffen – wir beraten Sie gerne zu Qlik oder einer für Sie passenden Cloud-Strategie.

JETZT KONTAKT ZU EINEM FME BI-EXPERTEN AUFNEHMEN