Finde heraus, wie Deep Neural Networks funktionieren
Täglich nutzen wir in gewisser Weise die KI: von der normalen Handynutzung bis zum Gesichtserkennung, Sprach- oder Bilderkennung bis hin zu anspruchsvolleren – selbstfahrenden Autos, Vorhersagen von Genkrankheiten usw. So denken wir, dass wir es endlich klären können, woraus es besteht und wie es funktioniert.
Am Anfang war das KNN
Allgemein ausgedrückt ist ein künstliches neuronales Netzwerk (KNN) eine Technologie zur Mustererkennung und zum Durchgang von Eingaben durch verschiedene Layers simulierter neuronaler Verbindungen. Es wurde vom menschlichen Gehirn und seiner Funktionsweise inspiriert.
In seiner einfachsten Form kann ein KNN nur drei Schichten von Neuronen aufweisen: Die Eingangsschicht (auf die die Daten in das System gelangen), die versteckte Schicht (auf die die Informationen verarbeitet werden) und die Ausgangsschicht (auf die das System entscheidet, was zu tun basierend auf den Daten).
Das KNN hat mehr als drei Schichten – d. H. eine Eingangsschicht, eine Ausgangsschicht und mehrere versteckte Schichten – wird als “tiefes neuronales Netzwerk” bezeichnet. Dies ist die Grundlage für Deep-Learning System. Ein Deep-Learning-System ist ein Selbstlernsystem, bei dem Informationen auf ähnliche Weise wie beim Menschen durch mehrere versteckte Schichten gefiltert werden.
Der Deep Neural Network (DNN) ist ein neuronales Netzwerk mit einer bestimmten Komplexität – mit mehr als zwei Schichten. Der DNN kombiniert einfache mathematische Operationen in den Schichten, wodurch komplexere Abhängigkeiten ausgedrückt werden können. Und wenn die Tiefen zunehmen, nehmen auch Komplexität und Abstraktionsebene zu, d.h. die Daten werden auf komplexere Weise verarbeitet.
Alles in ordentliche kleine Haufen
Ein neuronales Netzwerk ist ein gerichteter Graph von Knoten, die durch synaptische und Aktivierungsverbindungen verbunden sind, der sich durch die folgenden Eigenschaften auszeichnet:
- Jedes Neuron wird durch eine Reihe linearer synaptischer Verbindungen und möglicherweise durch eine nichtlineare Aktivierungsverbindung dargestellt.
- Neuronensynaptische Verbindungen werden zum Abwägen der entsprechenden Eingangssignale verwendet.
- Die gewichtete Summe der Eingangssignale bestimmt das induzierte lokale Feld jedes einzelnen Neurons.
- Aktivierungslinks modifizieren das induzierte lokale Neuronfeld und erzeugen ein Ausgangssignal.
- Das neuronale Netzwerk wird anhand von Beispielen geschult und erstellt die Input-Output-Entsprechungstabelle für eine bestimmte Aufgabe, die durch Daten definiert wird.
Aus mathematischer Sicht ist das Lernen neuronaler Netze ein Multiparameter-Problem der nichtlinearen Optimierung.
Das Signal breitet sich von der Eingangsschicht zur Ausgangsschicht des neuronalen Netzwerks aus und kollidiert mit parametrisierten Transformationen. Algorithmen für tiefes Lernen werden durch die Anzahl dieser Transformationen von Algorithmen für flaches Lernen unterschieden. Es wird angenommen, dass Deep Learning durch mehrere nichtlineare Schichten (> 2) gekennzeichnet ist.
Das Deep-Learning der neuronaler Netze ist somit ein Algorithmus für maschinelles Lernen zur Modellierung von Abstraktionen auf hoher Ebene unter Verwendung zahlreicher nichtlinearer Transformationen.
Der Deep Training löst das zentrale Problem der Unterrichtsleistungen. Es werden Darstellungen eingeführt, die in einfacheren Darstellungen ausgedrückt werden, die auf niedrigeren Ebenen erhalten werden. Das Deep Learning ermöglicht es einem Computer, komplexe Konzepte aus einfacheren zu erstellen. Ein typisches Beispiel ist ein tiefes Direktvertriebsnetz oder ein Mehrschicht-Perzeptron.
Anfangs war es nicht reibungslos
Bei der Anwendung neuronaler Netze gab es lange Zeit Probleme mit dem DNN-Training. Zuallererst wurde es durch das Problem des Verschwindens von Verläufen und des Explodierens von Verläufen bestimmt. Diese Probleme wurden nach folgenden Neuerungen gelöst:
- Die Größe von Datensätzen auf mehrere TB erhöhen.
- Die Modelle vergrößern.
- Massiver Parallel Computing mit GPGPU zur Schulung und Steigerung der Hardwareleistung benutzen.
- Stückweise linearen Funktionen als nichtlineare Verbindung, z. B. gleichgerichtete lineare Einheiten benutzen.
- Gradient-Descent-Algorithmen mit adaptiver Lerngeschwindigkeit (AdaDelta, AdaGrad, RMSPror, Adam
- Faltungsnetzwerke, bei denen die Kenntnis der Eingabedaten von vornherein durch Regularisierung (räumliche Bildverhältnisse) bestimmt wird)
- Entwicklung von Regularisierungsmethoden in neuronalen Netzen:
- Faltungsnetzwerke, bei denen die Kenntnis der Eingabedaten von vornherein durch Regularisierung (räumliche Bildverhältnisse) bestimmt wird)
- Signalausfall
- Normalisierung von Mini-BatchEntwicklung von Regularisierungsmethoden in neuronalen Netzen:
- Die Methode zum Erstellen der Architektur “Netzwerk in Netzwerk”.
- Dimensionsreduzierung über 1×1-Faltungen in Faltungsnetzwerken
- Entwicklung einer Restlernmethode (Deep Residential Learning)
All dies machte es letztendlich möglich, neuronale Netze mit einer Größe von mehr als 150 Schichten aufzubauen – jetzt ist die Größe unbegrenzt und kann Tausende von Schichten erreichen
Weitere Neuerungen in Planung
Basierend auf der allgemeinen Definition von DNN können sie verwendet werden, um Probleme zu lösen, bei denen zuvor künstliche neuronale Netze verwendet wurden. DNN zeigt jedoch deutlich bessere Ergebnisse und eröffnet mehr Möglichkeiten.
Unter Verwendung von DNN-Methoden in Computer Vision ist es möglich, eine Anwendung zu erstellen, die verschiedene Sportspiele analysiert und detaillierte Statistiken über die Leistung der Spieler liefert.
Alle Analysen werden über DNN-Videoerkennungsalgorithmen durchgeführt. Ein solches System ist in der Lage, Daten zu verarbeiten und in den erforderlichen Wert umzuwandeln: Geschwindigkeit der Spieler/Bälle, erwartete Tore, erfolgreiche Eingaben, Fehlpässe usw. Das Erkennen der Bewegungen einzelner Spieler mit einem Ball und der Leistung einer ganzen Mannschaft ist dank dieser Funktion kein Problem DNN. Es kann sogar Spieler anhand von Nummern auf ihren Trikots erkennen.
Es ist wirklich gut, einen guten Trainer im Griff zu haben, aber wenn man mit einem solchen Analysesystem ausgestattet ist – ist es nicht eine doppelte Bedrohung für den Gegner, oder?
Oder es ist möglich, ein System für Herstellungsanforderungen zu entwickeln, dass Fragmente in einem Videostream mit erforderlichen Objekten definiert, um die erforderlichen Informationen zu sammeln. Ein solches System kann zum Beispiel:
- Verschiedene bewegliche Teile von Montagelinien in Echtzeit überwachen und steuern.
- Informationen zu bestimmten Koordinaten ausgewählter Geräteteile aus einem Kamera-VIdeostrom sammeln
- Den Zustand aller mechanischen Systeme, Personenbewegungen und Gesten in Echtzeit überprüfen.
- Die Koordinaten der erforderlichen Fragmente oder Teile der erforderlichen Maschinen messen oder Informationen aus den Videostreams verarbeiten.
Dies sind nur kurze Beispiele für DNN-Funktionen. Wenn wir tiefer nachhaken, gäbe es wahrscheinlich keine Grenzen für sie.
Wir wollen wirklich lernen
Da DNN “stärker” wird, wird es bald fast in jedem Bereich unseres Lebens sein, nehmen wir an. Und da sich moderne Technologien entwickelt haben, um den Menschen und seine Bedürfnisse zu verstehen, ist es ein guter Punkt, zu lernen und zu verstehen, wie diese Technologien funktionieren. Wie Unsterbliche Technik einmal sagte – “Du weisst nie” (Hallo, Skynet).
Möchtest du weitere DNN-Anwendungsbeispiele kennenlernen? Wir haben es bedeckt! Schau dir das System an, das die Masse homogener Produkte in Echtzeit aus der Ferne misst. Oder das reale Beispiel eines DNN-Einsatzes im Lebenslauf – das System zur Bewertung der Leistung von Sportspielern und zur Verbesserung ihres Trainings.
Wir sind immer bemüht, unsere besten Praktiken zu teilen und sind offen für Neues. Wenn du also Fragen oder Ideen hast, nimm bitte Kontakt mit uns auf. Lasst uns gemeinsam die Welt entwickeln!