Er setzte sich, und innerhalb von 5 oder 10 Minuten hatten wir die Ursache für das Problem gefunden, nach der wir schon seit einer Woche suchten.
Equinox IT ist ein in Neuseeland ansässiges unabhängiges IT-Beratungsunternehmen. Das Unternehmen wurde 1995 gegründet und bietet vielfältige IT-Dienstleistungen für kleine und mittlere Unternehmen an. Mitinhaber Richard Leeke ist auf Performance Testing und Performance Engineering spezialisiert. Tableau hat auf der Tableau Customer Conference 2010 mit Richard Leeke gesprochen. „Die Geschwindigkeit, mit der Ad-hoc-Analysen durchgeführt werden können, ist einfach phänomenal“, sagte er über die Tableau-Daten-Engine. „Eine hervorragende Voraussetzung für eine bessere Zusammenarbeit.“
Richard Leeke, Mitinhaber |
|
Tableau: | Sie haben die Tableau-Daten-Engine in letzter Zeit viel verwendet. Welche Art von Problemen soll damit gelöst werden? |
Richard: |
Ich verwende Tableau für fast alle Projekte, mit denen ich mich befasse. Am häufigsten analysiere ich Leistungskennzahlen von IT-Systemen der Kunden. Wir unterstützen Kunden bei der Sicherstellung, dass ihre IT-Systeme schnell genug sind. Dabei werden Berge von Daten in einer Vielzahl von Formaten generiert. Alles dreht sich darum, die Daten in eine Form zu bringen, in der sie analysiert werden können und in der die Ursache des Problems ermittelt werden kann. Sobald die Ursache des Problems erkannt wurde, leiten wir die nächsten Schritte ein. Es geht nicht um lange Analysen, bei denen der Prozess immer weiter verfeinert wird. Das größte Projekt, an dem ich seit Beginn der Nutzung von Tableau gearbeitet habe, ist die Analyse der Leistungskennzahlen eines 3G-Mobilfunknetzes, für das einer unserer Kunden den Rollout durchführt. Wir untersuchen die Auswirkungen der neuen Nutzungsmuster auf die IT-Systeme, die sich für diese neue Technologie und das Netz ergeben. |
Tableau: | Mit welchen Arten von Daten arbeiten Sie, und um welche Datenmengen geht es? |
Richard: | Es handelt sich größtenteils um Interaktionen mit dem Netz und den Back-End-Systemen, z. B. dem Abrechnungssystem, die bei der 3G-Datennutzung anfallen – also um alle Daten, die von Ihrem Smartphone über das Internet übertragen werden. Normalerweise geht es dabei um einige Millionen Interaktionen pro Tag. Meine Aggregatdaten reichen ein Jahr zurück, und ich arbeite meist mit Datasets, deren Größe im Millionenbereich liegt. |
Tableau: | Welche Abfragegeschwindigkeiten konnten Sie erzielen? |
Richard: | Die größten Datasets, mit denen ich bisher gearbeitet habe, haben eine Größenordnung von ca. 10 Millionen, und die Abfragegeschwindigkeit ist dabei unglaublich gut. Es dauert nur wenige Sekunden. Vorhin habe ich die erste Visualisierung erwähnt, die ich mit der Daten-Engine erstellt habe. Die Analyse, an der ich damals gerade gearbeitet habe, als die erste Technologievorschau der Daten-Engine bereitgestellt wurde, umfasste mehrere Millionen Datensätze. Mein Kollege Paul und ich versuchten schon seit ca. einer Woche, ein schwieriges Problem zu lösen, und mit Tableau 5 dauerte die Neuerstellung der Visualisierungen nach dem Verschieben eines Elements in einen anderen Container 20 Minuten. Dies bedeutete, dass ich meinen Gedankengang jeweils unterbrechen musste. Paul arbeitete nicht auf derselben Etage. Wenn er zufällig in der Nähe meines Schreibtischs war, kam er vorbei, und wir versuchten uns zu erinnern, wo wir waren. Dann kamen wir mit der Analyse etwas voran, bevor wieder die Sanduhr zu sehen war. Er ging dann zu einer Besprechung, und ich erledigte andere Dinge.
Am Tag, an dem ich die erste Version der Daten-Engine erhielt, aktualisierte ich meine Datenextraktion und wandte mich etwas anderem zu. Als ich aufsah, merkte ich plötzlich, dass nicht nur die Datenextraktion aktualisiert worden war, sondern auch die Visualisierung fertig gezeichnet war. Ich konnte es nicht glauben. Eine Visualisierung, die vorher 20 Minuten gedauert hatte, wurde jetzt innerhalb weniger Sekunden gezeichnet. Am nächsten Tag bat ich Paul zu mir, als er vorbeikam. Wir befassten uns mit demselben Problem, und er erkannte auch sofort, wie schnell das Zeichnen vonstatten ging. Er setzte sich, und innerhalb von 5 oder 10 Minuten hatten wir die Ursache für das Problem gefunden, nach der wir schon seit einer Woche suchten. |
Tableau: | In Ihrer Präsentation haben Sie auch von einigen Aha-Erlebnissen berichtet, was die Untersuchung der Art und Weise betrifft, wie Mobilgeräte Daten im 3G-Netz Ihres Kunden herunterladen. Können Sie uns bitte etwas zu dieser Analyse sagen? |
Richard: | Ein Punkt, den wir uns in Bezug auf die Leistung eines Systems ansehen, ist die Verteilung der Interaktionen in Abhängigkeit der Zeit. Viele Spitzen, also viele Anfragen zur gleichen Zeit, sind die klassische Ursache für Fehler oder Probleme in den Back-End-Systemen. Mithilfe von Tableau konnten wir die zeitliche Verteilung der Anfragen bis hinunter auf Sekundenebene visualisieren. Dadurch wurde sehr schnell deutlich, dass ein bestimmter Typ von Mobilgerät gleichzeitig den E-Mail-Abruf und die Synchronisierung von E-Mails anforderte – was gegenüber der normalen Hintergrundauslastung zu einem Anstieg um den Faktor 10 führte.
Wenn man diese Daten auf herkömmlichere Weise analysiert, also mit einer Mittelwertbildung auf Minuten- oder Stundenebene, wäre dieser Effekt nicht erkennbar. Da wir aber in der Lage waren, einen hohen Detailgrad anzuzeigen, ist uns dieses Verhalten förmlich ins Auge gesprungen. |
Tableau: | Können Sie Tableau mit anderen Tools vergleichen, mit denen Sie bisher gearbeitet haben, vor allem was die Arbeit mit großen Datasets und die Durchführung von Ad-hoc-Analysen betrifft? |
Richard: | Gern. Die Geschwindigkeit, mit der Ad-hoc-Analysen durchgeführt werden können, ist einfach phänomenal. Bei dieser Art von Analyse besteht also die Voraussetzung für eine sehr effektive Zusammenarbeit. Beim Performance Engineering arbeite ich häufig mit einem komplexen integrierten System, an dem mehrere Anbieter beteiligt sind. Bei Problemen verfallen alle Anbieter häufig in eine Verteidigungshaltung, und es wird spekuliert, dass das Problem an einer anderen Stelle zu suchen ist – entweder werden direkte Verdächtigungen geäußert, oder es wird gesagt, dass es nicht ihr Problem ist.
Ich behandle die Diagnosetätigkeit gern wie einen Mannschaftssport. Dabei sollen alle Beteiligten möglichst gut zusammenarbeiten. Wenn erreicht wird, dass alle Beteiligten dieselben Daten prüfen und Ideen einbringen, kann es sein, dass ein Netzspezialist, ein Datenbankspezialist, ein Spezialist im Bereich der Infrastruktur und der Architekt der Software in einem Raum versammelt sind. Diese Personen können für unterschiedliche Anbieter arbeiten, haben aber alle das Ziel, die Ursache für das Problem zu finden, anstatt nur ihr eigenes Unternehmen zu verteidigen. Das kann sehr effektiv sein, aber wenn ein halbes Dutzend oder sogar zehn hoch bezahlte Projektbeteiligte zusammensitzen und auf die gleiche Sanduhr starren, funktioniert das Ganze nicht. Die Handys werden herausgeholt, die nächsten Termine werden geprüft, und die Anwesenheit bei Besprechungen wird verlangt. Der Unterschied besteht in der Fähigkeit, dies in Echtzeit durchzuführen. Wenn eine Idee geäußert wird, wird sie untersucht, und es kann sofort gesagt werden, „ja, die weitere Untersuchung lohnt sich“ oder „nein, es lohnt sich nicht“. Ich umschreibe dies gern wie folgt: Es ist wie die Suche in einem Heuhaufen, und zuerst muss sichergestellt werden, dass überhaupt im richtigen Heuhaufen gesucht wird. Häufig wird viel Zeit mit der intensiven Suche im lokalen Heuhaufen verbracht, weil dies der Heuhaufen ist, den man kennt, aber die Nadel wird niemals gefunden werden, wenn im falschen Heuhaufen gesucht wird. Wenn es möglich ist, bei sehr großen Datenmengen Wege zur Identifizierung und Lokalisierung des Problems zu finden und davon immer wieder zu profitieren – nicht allein, sondern in Zusammenarbeit –, ist dies eine sehr effektive Arbeitsweise. |
Tableau: | Erzählen Sie uns von einem weiteren Aha-Erlebnis bei der Arbeit mit Telco-Kunden. |
Richard: | Vor Kurzem haben wir uns die Gesamtzahl der Anfragen angesehen, die von Kunden im Laufe eines Tages eingehen. Woher stammt die Auslastung? Wenn die Analyse so schnell geht, kann mein einfach Dinge ausprobieren und Rangfolgen für Elemente basierend auf allen Dimensionen aufstellen, die einem einfallen. Man weiß nicht genau, wonach man sucht, aber die Dinge lassen sich auf unterschiedliche Arten darstellen. Ich habe eine Rangfolge dafür aufgestellt, welche Mobilgeräte, sprich Telefonnummern, im Laufe eines Tages die meisten Anfragen generieren, und habe mir angesehen, ob dabei irgendwelche Muster zu erkennen sind. Wir haben herausgefunden, dass neun der zehn ersten Mobilgeräte in der Liste dasselbe Fabrikat und Modell aufwiesen und dass es sich ausnahmslos um Prepaid-Kunden handelte.
Es wurde ermittelt, dass auf diesem Mobilgerät eine bestimmte Anwendung eine Anfrage der Art „Kann ich auf das Internet zugreifen und Daten nutzen?“ sendete und das Abrechnungssystem mit „Nein“ antwortete, weil kein Guthaben vorhanden war. Drei Sekunden später wurde die Frage erneut gestellt, worauf das System wieder mit „Nein“ antwortete. Dies wiederholte sich den ganzen Tag über, weil die Anwendung auf dem Mobilgerät dieses Verhalten aufwies. Der Telco-Kunde und mein Kunde konnten sich daraufhin an den Lieferanten des Mobilgeräts wenden, um zu ermitteln, welche Anwendung sich so verhielt. Noch wichtiger war die Erkenntnis, dass dieses Verhaltensrisiko jederzeit für alle Anwendungen besteht, die auf einem Mobilgerät ausgeführt werden. Es wurden also zusätzliche Sicherheitsbeschränkungen in die Funktionsweise des Systems integriert. |
Tableau: | Was würden Ihre Telco-Kunden ohne diese Analyse tun? |
Richard: | Diese Art von Problem tritt nur zutage, wenn sich für den Kunden negative Auswirkungen ergeben. Das Hauptziel besteht für Telekommunikationsunternehmen darin, negative Auswirkungen auf die Kundenerfahrung zu vermeiden, weil Kunden den Anbieter wechseln können. Am wichtigsten ist es, seine Kunden zu halten. Das Vorhersehen von Problemen, anstatt erst nach deren Auftreten darauf zu reagieren, ist also ein sehr effektives Instrument. |
Tableau: | Wie sind Sie zum ersten Mal mit Tableau in Berührung gekommen? |
Richard: | Das war vor ungefähr drei Jahren. Wir haben im Performance Engineering-Bereich gearbeitet und häufig sehr große Datasets verwendet. Leider ist es so, dass Performance Testing- und Performance Engineering-Tools dazu neigen, alle guten Aspekte aus den Daten herauszuaggregieren. Sie arbeiten nach der Maxime, dass zu viele zu verarbeitende Daten vorhanden sind, und aggregieren einen Teil der Daten daher. Dann ist es nicht mehr möglich, zu Diagnosezwecken einen hohen Detailgrad zu nutzen.
Wir haben nach Alternativen gesucht und viel in Excel gearbeitet, indem wir die Daten selbst aggregiert haben. Das Problem ist jedoch, dass man nicht weiß, nach welchen Dimensionen aggregiert werden soll. Es werden Annahmen getroffen, aber wenn ein Muster in einer anderen Dimension als der bereits aggregierten Dimension vorhanden ist, findet man es nicht. Als Microsoft seine Excel 2007-Anwendung herausgebracht hat, mit der alle Beschränkungen aufgehoben werden sollten, dies aber nur für ein oder zwei Beschränkungen der Fall war, wurde uns klar, dass wir anders vorgehen mussten. Es wurde ein Plan zur Erstellung unseres eigenen Tools ausgearbeitet. Wir haben dann tatsächlich ein eigenes unausgereiftes Tool erstellt, das speziell für kleinere Teilbereiche des Problems konzipiert war, die für uns interessant waren. Dann ist einer meiner Kollegen irgendwo auf Tableau gestoßen. Wir haben entschieden, die Arbeit an unserem eigenen Tool einzustellen und auf Tableau zu setzen. Damals gab es einige Punkte, bei denen uns Tableau noch nicht helfen konnte, aber die vielen Dinge, die sofort möglich waren, waren hervorragend. Es war klar, dass diese Anwendung in die richtige Richtung ging. In Version 6 sind jetzt viele dieser Dinge enthalten. |
Tableau: | Können Sie noch etwas mehr dazu sagen, warum andere Tools eine Vorabaggregierung erfordern und welche Vorteile Tableau im Vergleich dazu bietet? |
Richard: | Beim Ermitteln der Ursache von Problemen im Performance-Bereich beginne ich in der Regel auf einer hohen Ebene, sozusagen aus einer Flughöhe von 15.000 Metern, und versuche dann herauszufinden, auf welcher untergeordneten Ebene ich nach der Antwort suchen muss. Dabei ist es sehr wichtig, dass ich einen Drilldown auf Ebenen mit sehr hohem Detailgrad durchführen kann. Die Daten werden mithilfe vieler integrierter Tools für die Berichterstellung vorab aggregiert. In den Tools wird vorausgesetzt, dass man mit Aggregierungen der Größenordnungen alle 10 Sekunden, pro Minute oder pro Sekunde zufrieden ist. Wenn Sie aber über 1000 Transaktionen pro Sekunde verfügen, sind beim Mittelwert im Sekundenbereich viele wichtige Diagnosewerte nicht sichtbar. Falls bei einem Tool also die Möglichkeit besteht, riesige Datenmengen zu verwenden und dafür Drilldowns durchzuführen, ist dies ein sehr leistungsfähiges Hilfsmittel. |
Tableau: | Lassen Sie uns darüber reden, wie Sie Tableau für Besprechungen einsetzen, die auf Zusammenarbeit ausgelegt sind. Viele unserer Kunden versuchen, dies zu tun. Was ist für eine effektive Durchführung wichtig? |
Richard: | Ich bringe häufig mehrere Personen zusammen, die Fachleute für unterschiedliche Aspekte desselben Problems sind bzw. die auf unterschiedliche Weise am Front-End eines Systems beteiligt sind. Einer der wichtigsten Punkte ist, eine gemeinsame Sprache zu entwickeln – ein allgemeines Verständnis der Kennzahlen, die wir uns ansehen. In vielen Fällen muss ich die Grundlagen der Statistik erklären und den Unterschied zwischen Perzentilen und Medianen erläutern, damit alle die gleiche Sprache sprechen und verstehen, warum ich mich auf eine bestimmte Detailebene begebe, warum ich einen bestimmten Schritt ausführe oder warum anstelle von einfachen Mittelwerten Verteilungsdaten angezeigt werden. Danach geht es darum, die Zusammenarbeit zu fördern. Es wird oft gesagt, dass keine Frage eine dumme Frage sei. Wir drücken es so aus: Kein Vorschlag ist ein dummer Vorschlag. Es wird gesagt: „Ich frage mich, ob eine Korrelation mit X besteht?“ Dabei wäre es sehr einfach zu sagen, dass es keinen Sinn ergibt, ein Element in den Container zu ziehen. Ich bin jedoch der Ansicht, dass bei der Suche nach der Ursache eines Problems in Bezug auf die Antwort niemals Annahmen getroffen werden sollten. Die goldene Regel ist, dass man nichts weiß und daher alles ausprobieren sollte. Wenn die Technologie es ermöglicht, Schritte in vergleichsweise kurzer Zeit auszuführen, müssen bezüglich des Suchbereichs keine Annahmen getroffen werden. |
Tableau: | Wir glauben, dass eine der Stärken von Tableau darin besteht, dass Entscheider und Fachleute ihre eigenen Analysen durchführen können, anstatt diese Aufgabe an eine andere Abteilung zu vergeben und auf einen Bericht warten zu müssen. Können Sie als Mitinhaber von Equinox und Fachmann etwas dazu sagen, warum es so wichtig ist, dass Benutzer eigene Analysen durchführen können? |
Richard: | Hierbei ist der entscheidende Punkt, dass man Benutzern häufig gar nicht beschreiben kann, wonach diese genau suchen sollen. Mit Tableau kann ich Daten untersuchen, ohne zu wissen, wonach ich suche. Ich weiß, dass die Daten etwas enthalten, aber ich weiß so lange nicht genau, was es ist, bis ich es vor Augen habe. Man folgt seiner Nase, vertraut auf seine Instinkte, und dann springt einem das Muster aus der Seite entgegen. Es ist schwierig, jemand anderem diese Anforderung zu beschreiben.
Beim Lösen von Problemen kommt häufig eine Situation vor, in der der Kunde sagt, dass ein Anbieter für diesen Punkt zuständig ist und dass ein anderer Anbieter für diesen Punkt zuständig ist. Dieser Anbieter soll dies und jenes prüfen, und ein anderer Anbieter soll einen anderen Bereich prüfen. Am nächsten Tag kommt dann von allen die Rückmeldung, dass nichts gefunden wurde. Dies bedeutet für mich nur, dass die Anbieter nichts finden konnten – es bedeutet nicht, dass keine Lösung vorhanden ist. Für mich ist es am wichtigsten, dass ich alle möglichen Suchansätze wählen und unterschiedliche Wege beschreiten kann, bis auf der Seite ein Muster erkennbar ist und die Antwort auf meine Frage liefert. Dabei kann eine andere Person auch dieselbe Visualisierung vorliegen haben, ohne jedoch die Schlüsse zu ziehen, die zur Lösung führen. |
Tableau: | Ihre Kunden konnten dank Ihrer Nutzung von Tableau sicherlich einige finanzielle Vorteile realisieren, z. B. was die beschriebenen Beispiele zur Lösung von Problemen betrifft, bevor diese negative Auswirkungen auf Endkunden haben. Können Sie etwas zum Return on Investment für Sie und Ihre Kunden sagen? |
Richard: | Das ist schwierig, weil die meisten meiner Kunden nicht genau verstehen, inwiefern sie profitieren. Sie wissen nicht, wie knifflig die Fragen sind, auf die sie eine Antwort haben möchten. Sie verstehen nur, dass die Probleme vorhergesehen werden. Mit Tableau kann ich Kunden einen besseren Service bieten, und zwar unabhängig davon, ob dies für die Kunden sichtbar ist. Ich kann in kürzerer Zeit mehr Erkenntnisse darüber gewinnen, was in den Daten vorgeht, Kunden beim Ermitteln der Hauptursache von Problemen unterstützen und Probleme vorhersehen, bevor diese so groß werden, dass Endkunden negative Auswirkungen zu spüren bekommen. Dies erhöht natürlich die Wahrscheinlichkeit, dass der Kunde weitere Aufträge an mich vergibt. |