Classification Learning: Improving Prototype-Based Classification Algorithms
Dokumentinformationen
| Autor | Sascha Saralajew |
| instructor | Prof. Dr. rer. nat. Barbara Hammer |
| Schule | Bielefeld University |
| Fachrichtung | Doktor der Naturwissenschaften |
| Dokumenttyp | dissertation |
| Veröffentlichungsjahr | 2020 |
| Ort | Bielefeld |
| Sprache | English |
| Seitenanzahl | 198 |
| Format | |
| Größe | 5.48 MB |
- Machine Learning
- Classification Algorithms
- Neural Networks
Zusammenfassung
I. Einleitung
Die Einleitung des Dokuments behandelt die zunehmende Bedeutung von Maschinenlernalgorithmen im Alltag. Anwendungen in Suchmaschinen, Fahrerassistenzsystemen und Unterhaltungselektronik nutzen diese Technologien intensiv. Neuronale Netzwerke (NNs) gelten als führende Klassifikationsansätze, jedoch sind sie oft schwer zu interpretieren. Die Existenz von adversarialen Beispielen, die für Menschen nicht wahrnehmbar sind, widerspricht der allgemeinen Annahme, dass konvolutionale NNs Objekte in Bildern durch Zerlegen in komplexe Formen klassifizieren. Diese Dissertation untersucht prototypbasierte Klassifikationsalgorithmen mit dem Ziel, die Klassifikationsfähigkeiten zu verbessern und gleichzeitig Robustheit und Interpretierbarkeit zu bewahren. Die Analyse zeigt, dass die Übertragung von Eigenschaften prototypbasierter Algorithmen auf NNs deren Interpretierbarkeit erhöhen kann.
II. Lernvektorquantisierung
In diesem Abschnitt wird das Konzept der Lernvektorquantisierung (LVQ) eingeführt. LVQ ist ein gut verstandenes Klassifikationsverfahren, das auf der Idee basiert, dass Dissimilaritäten zwischen Datenpunkten und Prototypen analysiert werden. Der Abschnitt beschreibt die mathematischen Eigenschaften von LVQ und zeigt, dass die abgeleitete Methode nachweislich robust gegen adversariale Angriffe ist. Die Ergebnisse belegen, dass die Methode andere LVQ-Ansätze übertrifft und gleichzeitig interpretierbar bleibt. Die Diskussion über die Prototypen und das Prinzip des bestpassenden Prototyps verdeutlicht die Relevanz dieser Ansätze für die Verbesserung der Klassifikationsgenauigkeit.
2.1 Allgemeines Konzept Dissimilaritäten und Prototypen
Hier wird das grundlegende Konzept der Dissimilaritäten und Prototypen erläutert. Dissimilaritäten sind entscheidend für die Bestimmung der Ähnlichkeit zwischen Datenpunkten. Die Analyse der Prototypen zeigt, wie diese als repräsentative Punkte für Klassen fungieren. Die Bedeutung der Prototypen für die Klassifikation wird durch verschiedene Beispiele untermauert, die die Effizienz und Effektivität von LVQ demonstrieren.
III. Generalisierte Tangent Lernvektorquantisierung
Dieser Abschnitt behandelt die generalisierte Tangent-Lernvektorquantisierung. Die Motivation hinter dieser Methode liegt in der Verbesserung der Klassifikationsgenauigkeit durch die Verwendung von affinen Unterraumprototypen. Die Analyse zeigt, dass diese Methode nicht nur die Robustheit erhöht, sondern auch die Interpretierbarkeit der Ergebnisse verbessert. Die Evaluierung der Methoden auf verschiedenen Datensätzen, einschließlich MNIST und CIFAR-10, belegt die Vielseitigkeit und Anwendbarkeit dieser Ansätze in der Praxis. Die Ergebnisse zeigen, dass die generalisierte Tangent-Lernvektorquantisierung als Margenmaximierer fungiert und somit die Klassifikationsleistung steigert.
3.1 Motivation
Die Motivation für die Entwicklung der generalisierten Tangent-Lernvektorquantisierung wird durch die Notwendigkeit unterstrichen, die Grenzen traditioneller Klassifikationsmethoden zu überwinden. Die Analyse der bestehenden Ansätze zeigt, dass es an der Zeit ist, neue Wege zu beschreiten, um die Herausforderungen der Interpretierbarkeit und Robustheit anzugehen. Die Einführung von Tangenträumen als Konzept bietet neue Perspektiven für die Klassifikation und eröffnet Möglichkeiten für zukünftige Forschungen.
IV. Klassifikation durch Komponenten Netzwerke
In diesem Abschnitt wird das Konzept der Klassifikation durch Komponenten-Netzwerke vorgestellt. Diese Methode ermöglicht eine probabilistische Modellierung des Denkens über eine Menge von Komponenten. Die Analyse zeigt, dass die Verwendung von Komponenten die Interpretierbarkeit der Klassifikation erheblich verbessert. Die Evaluierung der Netzwerke ohne und mit einem trainierbaren Merkmals-Extraktor zeigt signifikante Unterschiede in der Leistung. Die Ergebnisse belegen, dass die Klassifikation durch Komponenten eine vielversprechende Richtung für zukünftige Entwicklungen im Bereich des maschinellen Lernens darstellt.
4.1 Motivation
Die Motivation hinter der Klassifikation durch Komponenten-Netzwerke liegt in der Notwendigkeit, komplexe Datenstrukturen besser zu verstehen. Die Analyse der bestehenden Methoden zeigt, dass die Betrachtung von Komponenten anstelle von vollständigen Objekten zu einer besseren Klassifikationsgenauigkeit führen kann. Diese Herangehensweise fördert die Entwicklung neuer Strategien zur Verbesserung der Klassifikationsleistung und der Interpretierbarkeit.
Dokumentreferenz
- Classification Learning (Sascha Saralajew)
- Learning Vector Quantization (Sascha Saralajew)
- Generalized Tangent Learning Vector Quantization (Sascha Saralajew)
- Classification-by-Components Networks (Sascha Saralajew)
- Hausdorff distances (Sascha Saralajew)