Datenqualit\"at in Regressionsproblemen

TL;DR

This paper introduces criteria to quantify and evaluate typical data phenomena in regression datasets collected without experimental design, highlighting their impact on model reliability through simulated benchmarks.

Contribution

It proposes new criteria for assessing data phenomena in regression problems and demonstrates their effectiveness using simulated benchmark datasets.

Findings

Criteria effectively quantify data phenomena.

Data distribution influences regression reliability.

Simulated benchmarks validate the criteria.

Abstract

Regression models are increasingly built using datasets which do not follow a design of experiment. Instead, the data is e.g. gathered by an automated monitoring of a technical system. As a consequence, already the input data represents phenomena of the system and violates statistical assumptions of distributions. The input data can show correlations, clusters or other patterns. Further, the distribution of input data influences the reliability of regression models. We propose criteria to quantify typical phenomena of input data for regression and show their suitability with simulated benchmark datasets. ----- Regressionen werden zunehmend auf Datens\"atzen angewendet, deren Eingangsvektoren nicht durch eine statistische Versuchsplanung festgelegt wurden. Stattdessen werden die Daten beispielsweise durch die passive Beobachtung technischer Systeme gesammelt. Damit bilden bereits die Eingangsdaten Ph\"anomene des Systems ab und widersprechen statistischen Verteilungsannahmen. Die Verteilung der Eingangsdaten hat Einfluss auf die Zuverl\"assigkeit eines Regressionsmodells. Wir stellen deshalb Bewertungskriterien f\"ur einige typische Ph\"anomene in Eingangsdaten von Regressionen vor und zeigen ihre Funktionalit\"at anhand simulierter Benchmarkdatens\"atze.

Tables

Table 1. Tabelle 1 : Die vorgestellten Kriterien für simulierte Benchmarkdatensätze. Die Indices der Datensätze beziehen sich auf Bild 5 .

Datensatz	$q_{\text{Corr},x_1,x_2}$	$Q_{\text{Cluster},x_1,x_2}$	$q_{\text{Config},min}$	$q_{\text{Outlier},x_1,x_2}$	$q_{\text{Ortho},x_1,x_2}$
${𝑿}_a$	0.99	0.99	1.00	0.98	1.00
${𝑿}_b$	0.00	0.99	1.00	0.94	1.00
${𝑿}_c$	0.98	0.01	1.00	0.63	1.00
${𝑿}_d$	0.94	0.03	0.00	0.96	1.00
${𝑿}_e$	0.49	0.98	1.00	0.00	0.73
${𝑿}_f$	0.39	0.99	1.00	0.97	0.01

Equations

$$q_{\text{Corr},x_j,x_l}=1-|r_{x_j,x_l}|.$$

$$q_{\text{Cluster},x_j,x_l}=\max (q_{v_{\text{DIP}},x_j,x_l},q_{p_{\text{DIP}},x_j,x_l})$$

$$q_{v_{\text{DIP}},x_j,x_l}=1-\frac{1}{1+\exp \left(-a_1(v_{\text{DIP},x_j,x_l}-{\tau }_{\text{Cluster,1}})\right)}$$

$$q_{p_{\text{DIP}},x_j,x_l}=\frac{1}{1+\exp \left(-a_2(p_{\text{DIP},x_j,x_l}-{\tau }_{\text{Cluster,2}})\right)}$$

$$a_1=\frac{\ln \left|99\right|}{{\tau }_{\text{Cluster,1}}}\text{ und }{a}_2=\frac{\ln \left|99\right|}{{\tau }_{\text{Cluster,2}}}$$

$$q_{\text{Config},x_j}=\frac{c_j}{{\max }_l{c}_l}\text{, }l=1,\dots ,p.$$

$$q_{\text{Outlier},x_j,x_l}=1-\frac{1}{1+\exp -a_3({\nu }_{\text{Outlier},x_j,x_l}-{\tau }_{\text{Outlier}})},{\tau }_{\text{Outlier}}>1$$

$$a_3=-\frac{\ln 99}{1-{\tau }_{\text{Outlier}}}$$

$${\mathcal{I}}_{\mathbf{X}}=\{1,\dots ,N\}\text{,}$$

$${\mathcal{I}}_{\text{In}}=\{i\in {\mathcal{I}}_{\mathbf{X}}|x_{\text{i,l}}\in [c-{\tau }_{\text{Ortho}},c+{\tau }_{\text{Ortho}}]\}\text{ und}$$

$${\mathcal{I}}_{\text{Out}}={\mathcal{I}}_{\mathbf{X}}\setminus {\mathcal{I}}_{\text{In}}$$

$$e_{\text{Out},j}=\sqrt{\frac{1}{|{\mathcal{I}}_{\text{Out}}|}\sum _{i\in {\mathcal{I}}_{\text{Out}}}\left(x_{i,j}-\frac{1}{|{\mathcal{I}}_{\text{Out}}|}\sum _{z\in {\mathcal{I}}_{\text{Out}}}{x}_{z,j}\right)}\text{ und}$$

$$e_{\text{In},j}=\sqrt{\frac{1}{|{\mathcal{I}}_{\text{In}}|}\sum _{i\in {\mathcal{I}}_{\text{In}}}\left(x_{i,j}-\frac{1}{|{\mathcal{I}}_{\text{In}}|}\sum _{z\in {\mathcal{I}}_{\text{In}}}{x}_{z,j}\right)}$$

$$q_{\text{Ortho},x_j,x_l}=\underset{c}{\min }\frac{e_{\text{Out},j}}{e_{\text{In},j}}.$$

Full text

Datenqualität in Regressionsproblemen

Technischer Bericht, Version 1.0

Wolfgang Doneit1, Ralf Mikut1, Markus Reischl1

1Karlsruher Institut für Technologie, Institut für Angewandte Informatik

E-Mail: wolfgang.doneit@kit.edu, ralf.mikut@kit.edu, markus.reischl@kit.edu

1 Motivation

Datenbasierte Modelle mit reellwertigem Ausgang werden als Stellvertreter-Modelle in Optimierungsproblemen, für modellprädiktive Regelungen, Zeitreihenprognosen u.v.m. verwendet. Wir bezeichnen solche Modelle als Regressionen bzw. Regressionsmodelle111auf die Begriffsdefinition der Regression wird in diesem Beitrag nicht weiter eingegangen, der Begriff dient zunächst lediglich der Abgrenzung zu Klassifikatoren mit nominalskaliertem Ausgang.. Regressionsmodelle werden z.B. mit Hilfe der aus der Statistik bekannten multilinearen Regression oder Künstlichen Neuronalen Netzen erstellt. Zur Modellbildung stehen sogenannte Datentupel als Lerndaten zur Verfügung, die jeweils einem Vektor mit Eingangsdaten einen skalaren Wert der Zielgröße zuordnen. Ziel der Regression ist die Abbildung des funktionalen Zusammenhangs zwischen Eingangsgrößen und Zielgröße.

In der Modellbildung wird eine geeignete Modellstruktur, bzw. Modellkomplexität gesucht, und ihre freien Parameter werden an die Daten angepasst. In den meisten Fällen wird dazu die Methode der kleinsten Fehlerquadrate verwendet. Außerdem gibt es Erweiterungen der Methode der kleinsten Fehlerquadrate, um verschiedenen Einschränkungen in der Datenqualität gerecht zu werden. Beispiele für bekannte Einschränkungen in der Datenqualität in Regressionsproblemen sind Ausreißer [1], Heteroskedastizität [2, 3], Kollinearität [4, 5] und fehlerbehaftete Eingangsgrößen [6].

Regressionen werden zunehmend auf Datensätzen angewendet, deren Eingangsvektoren nicht durch eine statistische Versuchsplanung [7] festgelegt wurden222Die Versuchsplanung stellt eine gleichmäßige Verteilung der Eingangsdaten sicher, um alle Zustände eines betrachteten Systems zu erfassen.. Stattdessen werden die Daten beispielsweise durch die passive Beobachtung technischer Systeme gesammelt. Damit bilden bereits die Eingangsdaten Phänomene des Systems ab und widersprechen statistischen Verteilungsannahmen. Die Verteilung der Eingangsdaten hat Einfluss auf die Zuverlässigkeit eines Regressionsmodells. Wir stellen deshalb Bewertungskriterien für einige typische Phänomene in Eingangsdaten von Regressionen vor und zeigen ihre Funktionalität anhand simulierter Benchmarkdatensätze.

2 Methoden

2.1 Allgemeines

In den folgenden Abschnitten werden Bewertungskriterien vorgestellt, die sich ausschließlich auf die uni- und bivariaten Verteilungen der Eingangsdaten beziehen und nicht die Zielgröße berücksichtigen. Sie quantifizieren verschiedene Phänomene in den Eingangsdaten und sind daher als Ergänzung zur herkömmlichen Merkmalsbewertung für Regressionsmodelle zu verstehen. Auf multivariate Verfahren wird aufgrund des Fluchs der Dimensionalität und zu Gunsten der Interpretierbarkeit der Kriterien verzichtet. Die quantifizierten Einschränkungen der Datenqualität sind damit in Histogrammen und Streuwolkendiagrammen zu erkennen. Anders als die in [8] vorgestellten sogenannten "‘Scagnostics"’ werden in den hier vorgestellten Bewertungskriterien keine Maße aus der Graphentheorie verwendet. Außerdem liegt der Schwerpunkt auf Phänomenen, die im Kontext der Regressionen nützlich und interpretierbar sind.

2.2 Begriffe und Symbole

Stehen $N$ Datentupel als Lerndaten zur Verfügung, die jeweils einem $p$-dimensionalen Eingangsvektor (mit den Ausprägungen für die Eingangsgrößen $x_{1},\ldots,x_{p}$) einen skalaren Wert der Zielgröße $y$ zuordnen, dann sind die Eingangsdaten gegeben als Datenmatrix $\boldsymbol{X}^{N\times p}$, wobei jede Zeile einem Eingangsvektor $\boldsymbol{x}_{i}^{T},i=1,\ldots,N$ entspricht.

Die Bewertungskriterien liegen zur besseren Interpretierbarkeit im Intervall $[0,1]$. Ein Wert nahe [math] ist ein Indikator für ein Problem in der Datenqualität. Bewertungskriterien werden mit $q$ bezeichnet und beziehen sich gemäß ihrer Indizierung auf verschiedene Phänomene in den Daten sowie auf eine einzelne Eingangsgröße ($q_{x_{j}},j=1,\ldots,p$) oder auf eine bivariate Projektion der Daten auf zwei Eingangsgrößen ($q_{x_{j},x_{l}},j=1,\ldots,p;l=1,\ldots,p;j\neq l$). Zur Gesamtbewertung einer Eingangsgröße oder zur Gesamtbewertung von Datensätzen mit mehr als 2 Eingangsgrößen können die Bewertungen aller einzelner Eingangsgrößen und aller bivariater Projektionen aggregiert werden.

2.3 Bewertungskriterien

2.3.1 Korrelationen

Korrelieren Eingangsgrößen des Datensatzes, können die einzelnen Eingangsgrößen univariat gleichverteilt vorliegen, während nur ein kleiner Teil des mehrdimensionalen Eingangsraums mit Daten abgedeckt ist. Eine Korrelation zwischen Eingangsgrößen entspricht einer Redundanz für die Abbildung der Zielgröße, weshalb die Eingangsgrößen für die Modellbildung selektiert oder transformiert und reduziert werden können (PCA-Regression333PCA = Hauptkomponentenanalyse, PLS-Regression444PLS = Partial Least Squares). Als Hilfsgröße, um Datenqualität bezüglich Korrelationen (engl. Correlation) zu quantifizieren, nutzen wir den empirischen Korrelationskoeffizienten $r_{x_{j},x_{l}}$. Daraus berechnet sich das Bewertungskriterium

[TABLE]

2.3.2 Cluster

Liegen die Daten in Clustern vor, bietet sich das Bilden von lokalen Teilmodellen an. Die Bewertung, ob und wie viele Cluster in einem Datensatz vorliegen, ist ein nichttriviales Problem im Data-Mining-Kontext. In [9] wird die Multimodalität der Häufigkeitsverteilung der paarweisen Distanzen zwischen den Datentupeln als visuelles Kriterium verwendet. Wir quantifizieren die Multimodalität mit Hilfe des Hartigans DIP Test of Unimodality [10]. Der DIP Test liefert einen DIP-Index $v_{\text{DIP}}$ und einen p-Wert $p_{\text{DIP}}$, die als Indikatoren für Bimodalität, respektive das Vorliegen von Clustern, verwendet werden [11].

Wir stellen das Bewertungskriterium

[TABLE]

mit

[TABLE]

und

[TABLE]

vor. $\tau_{\text{Cluster,1}}$ und $\tau_{\text{Cluster,2}}$ sind frei parametrierbar. Aus den Randbedingungen $q_{v_{\text{DIP}},x_{j},x_{l}}(v_{\text{DIP},x_{j},x_{l}}=0)\approx 1$ und $q_{p_{\text{DIP}},x_{j},x_{l}}(p_{\text{DIP},x_{j},x_{l}}=0)\approx 0$ leiten wir die Parameter

[TABLE]

ab. Bild 1 zeigt den Verlauf von $q_{v_{\text{DIP}},x_{j},x_{l}}$ und $q_{p_{\text{DIP}},x_{j},x_{l}}$ für verschiedene Werte von $\tau_{\text{Cluster,1}}$ und $\tau_{\text{Cluster,2}}$. Als Standardwerte werden $\tau_{\text{Cluster,1}}=0.025$ und $\tau_{\text{Cluster,2}}=0.5$ vorgeschlagen. Die Sigmoidalfunktionen werden verwendet, um das Bewertungskriterium in das interpretierbare Einheitsintervall zu überführen.

2.3.3 Konfigurationen

Eingangsgrößen eines Datensatzes können sich darin unterscheiden, wie viele unterschiedliche Ausprägungen von ihnen vorliegen. Durch sehr wenige Ausprägungen einer Eingangsgröße im Verhältnis zu anderen entstehen Cluster.

Sei $c_{j}$ die Anzahl unterschiedlicher Ausprägungen von $x_{j}$, dann berechnet sich das Bewertungskriterium

[TABLE]

Ein Wert nahe [math] kann auf ordinal- oder nominalskalierte Eingangsgrößen hinweisen. Gleichmäßig wenige Ausprägungen aller Eingangsgrößen lassen auf eine statistische Versuchsplanung schließen und sind nicht als Einschränkung in der Datenqualität zu bewerten. Daher wird das Bewertungskriterium in Abhängigkeit zum Maximalwert univariater Ausprägungen ($\max_{l}c_{l}$) berechnet.

2.3.4 Outlier

Hebelpunkte werden Datentupel genannt, die aufgrund ihrer Lage im Eingangsraum einen großen Einfluss auf die Modellbildung haben. Es handelt sich dabei um sogenannte Ausreißer (engl. Outlier). Generell werden Ausreißer als Datentupel beschrieben, die sich vom Großteil der anderen Datentupel eines Datensatzes deutlich unterscheiden. Die Detektion von Ausreißern ist abhängig von der jeweiligen Anwendung. Eine Übersicht über gängige Ansätze findet sich in [12, 13]. Bei Ausreißerdetektionen stellt sich anwendungsspezifisch die Frage, ab wann ein Datentupel ein Ausreißer ist, und ob Gruppen von Datentupeln, die entsprechend weit entfernt vom Großteil der Daten liegen, eine Gruppe von Ausreißern darstellt oder bereits ein Datencluster, das nicht von der Modellbildung auszuschließen ist. Für die Bewertung hinsichtlich Ausreißer beinhalte $\boldsymbol{d}^{N\times 1}_{\text{k-NN},x_{j},x_{l}}$ die Distanz jedes Datentupels zu seinem $k$-ten nächsten Nachbarn unter Berücksichtigung der Eingangsgrößen $x_{j}$ und $x_{l}$. Der Parameter $k$ bestimmt, wie viele Datentupel eine Gruppe von Ausreißern beinhalten kann, damit sie als solche erkannt wird. Weiterhin sei $d_{\text{k-NN},x_{j},x_{l},\text{0.9}}$ das $0.9$-Quantil von $\boldsymbol{d}_{\text{k-NN},x_{j},x_{l}}$. Das Quantil lässt sich als maximal zulässiger Anteil der Datentupel verstehen, der als Ausreißer erkannt werden kann. Wir quantifizieren Ausreißer anhand der maximalen Distanz eines Datentupels zu seinem $k$-ten Nachbar $d_{\text{k-NN},x_{j},x_{l},\text{max}}$: Sei $\nu_{\text{Outlier},x_{j},x_{l}}=\frac{d_{\text{k-NN},x_{j},x_{l},\text{max}}}{d_{\text{k-NN},x_{j},x_{l},\text{0.9}}}$, dann wird $\nu_{\text{Outlier},x_{j},x_{l}}$ mit einer Sigmoidalfunktion gemäß

[TABLE]

in ein Bewertungskriterium überführt. $\tau_{\text{Outlier}}$ ist frei parametrierbar und bestimmt wie empfindlich die Ausreißerdetektion ist. Aus der Randbedingung $q_{\text{Outlier},x_{j},x_{l}}(\nu_{\text{Outlier},x_{j},x_{l}}=1)\approx 1$ leiten wir den Parameter

[TABLE]

ab. Bild 2 zeigt den Verlauf der Gütefunktion für verschiedene Werte von $\tau_{\text{Outlier}}$. Als Standardwert wird $\tau_{\text{Outlier}}=4$ vorgeschlagen. Die Sigmoidalfunktion wird verwendet, um das Bewertungskriterium in das interpretierbare Einheitsintervall zu überführen.

2.3.5 Orthogonalität

Orthogonalität beschreibt das Gegenteil von Korrelationen, wodurch für Regressionen keine Daten vorliegen, die Wechselwirkungen zweier Eingangsgrößen auf die Zielgröße beschreiben. Bild 3 veranschaulicht Streuwolkendiagramme mit verschiedener Ausprägung von Orthogonalität. Bei starker Orthogonalität ist nur ein geringer Teil des zweidimensionalen Eingangsraums mit Daten abgedeckt, obwohl Histogramme beider Eingangsgrößen auf eine ganzheitliche Abdeckung schließen lassen. Da bisher keine Kenngrößen Orthogonalität zuverlässig erkennen können, wird im folgenden Abschnitt ein Bewertungskriterien vorgestellt, um mit einigen Hilfsgrößen ein Maß für Orthogonalität bereitzustellen.

Mit den Indexmengen

[TABLE]

ergeben sich die mittleren absoluten Abweichungen

[TABLE]

und das Bewertungskriterium

[TABLE]

$\tau_{\text{ortho}}$ ist ein empirisch zu wählender Parameter, der die Empfindlichkeit des Bewertungskriteriums bestimmt. Für die folgenden Beispiele sei $\tau_{\text{ortho}}=0.1$. Bild 4 veranschaulicht die Parameter und Kenngrößen $c,\tau_{\text{Ortho}},e_{\text{Out},j}$ und $e_{\text{In},j}$.

3 Beispiele

Wir haben Benchmark-Datensätze erstellt, um die Einschränkungen der Datenqualität zu simulieren. Bild 5 zeigt die sechs Benchmark-Datensätze mit jeweils zwei Eingangsgrößen $x_{1}$ und $x_{2}$.

Tabelle 1 zeigt die Bewertungskriterien für die Benchmark-Datensätze. Die unterschiedlichen Phänomene werden getrennt voneinander identifiziert. Lediglich Korrelationen werden auch in zwei anderen Datensätzen detektiert. Das Kriterium $q_{\text{Cluster}}$ indiziert außerdem Cluster in $\boldsymbol{X}_{\text{Configurations}}$, was zu erwarten war. Konfigurationen sind auch als Cluster interpretierbar.

4 Diskussion und Ausblick

Die Untersuchung der Eingangsdaten ist Bestandteil eines jeden Data-Mining-Prozesses zur Bildung von Klassifikatoren und Regressionen. Die Automatisierung der visuellen Untersuchung der Daten entlastet den Anwender bei Datensätzen und Systemen mit vielen Eingangsgrößen. Die vorgestellten Bewertungskriterien sind in der Lage, in dafür simulierten Benchmark-Datensätzen die unterschiedlichen Phänomene zu erkennen. Eine Implementierung der Bewertungskriterien findet sich in der Open-Source-MATLAB-Toolbox DaMoQ. Eine Beschreibung der Toolbox findet sich in [14]. Die Toolbox umfasst außerdem Maße zur Modellvalidierung [15]. Geplant sind zudem Erweiterungen, um systematisch Vorwissen in die Modellbildung zu integrieren. Die Integration von Vorwissen stellt eine Möglichkeit dar, schlechte Datenqualität zu kompensieren [16, 17].