Die Extension

Die Statistics Extension für RapidMiner stellt einen ganzen Satz neuer Operatoren zur Verfügung, die einfach in jeden beliebigen RapidMiner Prozess integriert werden können. So können statistische Tests und Korrelationen, ebenso wie Quantile, Histogramme oder Kontingenztabellen in Webanwendungen genutzt werden, ohne auf externe Statistikprogramme ausweichen zu müssen. Dadurch wird eine einfache Wartbarkeit der Prozesse und eine hohe Performanz gewährleistet.

Die Funktionalität der Extension umfasst alle Schritte von der Vorverarbeitung von Daten für typische statistische Analysealgorithmen bis hin zu Operatoren, welche die Ergebnisse so aufbereiten, dass sie in Webanwendungen angezeigt werden können.

Natürlich können alle Operatoren zusammen mit den Standardoperatoren von RapidMiner verwendet werden, da sie die normalen ExampleSets nutzen und über die gewohnten In- und Output-Ports verfügen – so können Sie einfach in bereits vorhandene Prozesse integriert werden. Einige Operatoren, wie beispielsweise der „Split Data (by groups)“ Operator, erweisen sich auch außerhalb des statistischen Anwendungszweckes als nützlich.

Anwendungsbereiche

Wie Sie in der untenstehenden Liste der Operatoren sehen können, sind die Operatoren in drei Kategorien eingeteilt: die erste ist für deskriptive Zwecke vorgesehen, die nächste für das Testen von Hypothesen auf den Daten und die letzte dient der Datenvorverarbeitung.

Die deskriptiven Operatoren dieser Extension können verwendet werden, um auf einfache Weise eine Beschreibung eines bestimmten Datensatzes zu erstellen und so eine Brücke zwischen Rohdaten und Endbenutzer zu bauen, der eventuell eine Webanwendung benutzt, um sich eine Übersicht über die Daten zu verschaffen. Es war niemals so einfach, eine Kontingenztafel zu erzeugen und dank der interaktiven Komponenten der RapidMiner Webanwendung kann der Endbenutzer auswählen, welche Kombination von Merkmalsausprägungen für ihn interessant ist und so seine eigene Kontingenztabelle erstellen. Auf die gleiche Weise lassen sich Histogramme und Quantile hinzufügen, wo sie gewünscht werden.

Aber Kontingenztafeln, Quantile und Histogramme sind nicht nur nützlich, um dem Endbenutzer Ergebnisse zu präsentieren. Zusammen mit den statistischen Tests können sie sehr gut in automatisierten Szenarien verwendet werden, wie beispielsweise beim Datenimport. Besonders in Bereichen, wo manuelle Schritte für den Datenimport notwendig sind, zahlt es sich aus, die Qualität der Daten vor dem eigentlichen Import zu überprüfen. Alle Operatoren zum Erstellen von Kontingenztafeln, Quantilen und Histogrammen liefern Standarddatensätze, sodass Sie eine beliebige Überprüfung zum Vergleichen der Daten vornehmen können. Zum Beispiel können Sie die Quantile jedes Attributs eines Referenzdatensatzes eines Sensors berechnen. Jeden Tag werden durch einen zu einem festgelegten Zeitpunkt stattfindenden Prozess die neuesten Daten importiert, aber nur, wenn die Qualität der Daten den vorgegebenen Anforderungen entspricht. Sollte ein Sensor kaputtgehen und Daten von schlechter Qualität liefern, würden die Quantile stark von den Referenzdaten abweichen. Der Prozess kann dann den Import abbrechen und, anstatt defekte Daten zu importieren, per E-Mail über den ausgefallenen Sensor informieren.

Eine andere interessante Anwendung der Statistics Extension ist die Evaluierung der Ergebnisse aus Predictive Modelling Projekten. In vielen Situationen ist es sehr kompliziert, das richtige Gütekriterium zu wählen, das den echten Business Wert widerspiegelt. Fast immer ist eine Schätzung notwendig, da der Business-Wert nicht exakt berechnet werden kann. Sobald ein prediktives Modell angewendet wird und Sie auf seine Vorschläge hin handeln, hat dies einen Einfluss auf die Realität und sie werden das Problem haben, dass Ihre Originaltrainingsdaten nicht mehr repräsentativ sind.

Deshalb werden Sie in den meisten Fällen ein A-B-Testszenario wählen, in dem Kunden unterschiedlich behandelt werden, um zu beobachten, wie das Modell in der Realität und Ex-Post funktioniert. Hierbei können die Survival und Hazard Curves unglaublich nützlich werden, um die zwei Gruppen über die Zeit zu beschreiben.

Liste der Operatoren