Empirischer Vergleich der Performance verschiedener Klassifikationsverfahren

Zusammenfassung

Zum Abschluss wird eine einfache Möglichkeit präsentiert, mit der die Performance verschiedener Verfahren verglichen werden kann. Die Vorgehensweise wird anhand von vier Klassifikationsverfahren gezeigt, die auf dieselbe Datei mit jeweils derselben Aufteilung in Trainings- und Testdaten angewendet werden. Zunächst werden in speziellen Streudiagrammen - den Bland-Altman-Plots - die paarweisen Differenzen den entsprechenden paarweisen Mittelwerten gegenübergestellt. Dadurch kann man visuell beurteilen, ob der Unterschied zwischen den Fehlklassifikationsraten zweier Verfahren vom Ausmaß der Fehlklassifikationen abhängt. Auch eine Abhängigkeit der Streuung der Differenzen vom Ausmaß könnte erkannt werden. Für die Erwartungswerte der paarweisen Differenzen werden abschließend Konfidenzintervalle erstellt.