Feed­for­ward Neural Network: Vor­wärts­ge­rich­te­te Netzwerke

Feed­for­ward Neural Networks (FNN) sind einfache neuronale Netzwerke, die aus­schließ­lich In­for­ma­tio­nen von einer Schicht zur nächst­hö­he­ren wei­ter­ge­ben. Sie werden un­ter­teilt in Single-Layer-FFN und Multi-Layer-FFN und haben un­ter­schied­li­che An­wen­dungs­ge­bie­te im Bereich des Deep Learnings.

Was ist ein Feed­for­ward Neural Network (FNN)?

Bei einem Feed­for­ward Neural Network (FNN) handelt es sich um ein neu­ro­na­les Netzwerk, das aus künst­li­chen Neuronen besteht und voll­stän­dig ohne Rück­kopp­lun­gen auskommt. Diese Art von Netzwerk gilt als eine besonders einfache Form der künst­li­chen neu­ro­na­len Netzwerke, da sie immer und aus­schließ­lich vorwärts gerichtet agiert. Tiefe Feed­for­ward Neural Networks sind ein wichtiger Baustein für die Er­stel­lung von Modellen im Bereich des Deep Learnings und der Künst­li­chen In­tel­li­genz. Je nach Anzahl der genutzten Schichten (engl. „layer“) un­ter­schei­det man zwischen Single-Layer- und Multi-Layer-FFN.

Wie funk­tio­niert ein Feed­for­ward Neural Network?

Vorbild für das Feed­for­ward Neural Network ist letzt­end­lich, wie bei jedem künst­li­chen neu­ro­na­len Netzwerk, das mensch­li­che Gehirn. Auch dieses ver­ar­bei­tet In­for­ma­tio­nen durch ein neu­ro­na­les Netzwerk. Das FNN verfügt ebenfalls über min­des­tens zwei Schichten: eine Ein­ga­be­schicht (Input Layer) und eine Aus­ga­be­schicht (Output Layer). Da­zwi­schen können sich weitere Schichten (Hidden Layers) in be­lie­bi­ger Anzahl befinden. Jede Schicht ist dabei aus­schließ­lich mit der ihr nach­fol­gen­den Schicht verbunden. Diese Ver­bin­dung entsteht durch so­ge­nann­te Kanten. Bei einem Feed­for­ward Neural Network fließen dabei sämtliche In­for­ma­tio­nen nur in eine Richtung, nämlich vom Input Layer zum Output Layer.

• Input Layer: Die Ein­ga­be­schicht empfängt sämtliche Ein­gangs­da­ten, die in das Feed­for­ward Neural Network ein­ge­ge­ben werden. Jedes Neuron in diesem Layer ent­spricht einer Ei­gen­schaft der ein­ge­hen­den Daten.
• Hidden Layers: Zwischen Eingabe- und Aus­ga­be­schicht können ver­steck­te Schichten liegen. Jeder dieser Layer besteht aus mehreren Neuronen, die sowohl mit der Eingangs- als auch mit der Aus­gangs­schicht verbunden sind.
• Output Layer: Die Ausgangs- oder Aus­ga­be­schicht gibt das end­gül­ti­ge Ergebnis des Feed­for­ward Neural Networks aus.

In einem Feed­for­ward Neural Network wird eine Reihe von Eingaben im Bereich des Input Layers gemacht. Die Neuronen dieser Schicht nehmen die In­for­ma­tio­nen auf und gewichten sie. Dann geben sie diese in einem Single-Layer-FFN an die Aus­ga­be­schicht oder in einem Multi-Layer-FFN zunächst an die ver­steck­te Schichten weiter. Gehen die In­for­ma­tio­nen in den Bereich der Hidden Layers, werden sie dort neu gewichtet. Da diese Ver­ar­bei­tung al­ler­dings nicht sichtbar ist, spricht man von einer ver­bor­ge­nen Schicht. Ab­schlie­ßend geben die Neuronen der Aus­ga­be­schicht die ver­ar­bei­te­ten In­for­ma­tio­nen als Ergebnis aus.

Close

Während des gesamten Prozesses werden die ver­schie­de­nen ge­wich­te­ten In­for­ma­tio­nen in jedem Schritt zu­sam­men­ge­rech­net. Dann wird ein Schwel­len­wert her­an­ge­zo­gen, um zu ermitteln, ob ein Neuron eine In­for­ma­ti­on wei­ter­ge­ben soll oder nicht. Dieser Wert liegt nor­ma­ler­wei­se bei Null. In einem Feed­for­ward Neural Network gibt es zwischen den un­ter­schied­li­chen Schichten keine Kanten, die zu­rück­ge­rich­tet sind. Eine Ver­bin­dung besteht immer nur mit der nächst­hö­he­ren Schicht.

Was sind die wich­tigs­ten An­wen­dungs­ge­bie­te?

Es gibt zahl­rei­che mögliche An­wen­dungs­ge­bie­te für Feed­for­ward Neural Networks. Ins­be­son­de­re wenn große un­struk­tu­rier­te Da­ten­men­gen ver­ar­bei­tet und verknüpft werden sollen, bringen die Netzwerke zahl­rei­che Vorteile mit sich. Dies sind einige denkbare Ein­satz­ge­bie­te:

• Sprach­er­ken­nung und -ver­ar­bei­tung: Feed­for­ward Neural Networks können genutzt werden, um Text in ge­spro­che­ne Sprache um­zu­wan­deln oder ge­spro­che­ne Sprache in Text aus­zu­ge­ben.
• Bil­der­ken­nung und -ver­ar­bei­tung: Es ist möglich, Bilder zu ana­ly­sie­ren und bestimmte Merkmale zu iden­ti­fi­zie­ren. Dazu können zum Beispiel hand­schrift­li­che Notizen di­gi­ta­li­siert werden.
• Klas­si­fi­zie­rung: Mithilfe eines Feed­for­ward Neural Networks können Daten anhand fest­ge­leg­ter Parameter klas­si­fi­ziert werden.
• Vor­her­sa­gen: Vor­wärts­ge­rich­te­te neuronale Netzwerke eignen sich auch, um Er­eig­nis­se oder Trends mit einer guten Ge­nau­ig­keit vor­her­zu­sa­gen. Zum Einsatz kommen sie unter anderem bei der Wet­ter­vor­her­sa­ge oder in un­ter­schied­li­chen Früh­warn­sys­te­men in den Bereichen Ka­ta­stro­phen­schutz, Raumfahrt und Ver­tei­di­gung.
• Be­trugs­er­ken­nung: Auch bei der Iden­ti­fi­zie­rung be­trü­ge­ri­scher Ak­ti­vi­tä­ten oder Muster können Feed­for­ward Neural Networks eine wichtige Rolle spielen.

Was ist der Un­ter­schied zu einem Recurrent Neural Network (RNN)?

Das Gegenteil eines Feed­for­ward Neural Networks ist das Recurrent Neural Network (RNN). Dieses funk­tio­niert zwar grund­sätz­lich ähnlich und leitet In­for­ma­tio­nen über Neuronen von der Anfangs- zur End­schicht, kann diese dabei aber auch zu­rück­schi­cken. In einem solchen Netzwerk sind nämlich Ver­bin­dun­gen hin­ter­legt, über die In­for­ma­tio­nen die Schichten rückwärts und danach erneut vorwärts durch­lau­fen. Das Netz verfügt so über Rück­kopp­lungs­schlei­fen, in denen In­for­ma­tio­nen ge­spei­chert werden können.

Ent­spre­chen­de Netzwerke werden vor allem dann ein­ge­setzt, wenn der Kontext bei der Er­geb­nis­fin­dung wichtig ist. Dies ist gerade bei der Text­ver­ar­bei­tung hilfreich: Ein Flügel kann zum Beispiel das Kör­per­teil eines Vogels oder ein In­stru­ment sein. Nur über den Kontext kann die richtige Bedeutung bestimmt werden. Feed­for­ward Neural Networks haben diese Art der Spei­che­rung hingegen nicht.