Du befindest dich hier: FSI Informatik » Prüfungsfragen und Altklausuren » Hauptstudiumsprüfungen » Lehrstuhl 5 » dl-august-19_2

Wie funktioniert Rosenblatt Perceptron?

y^ = sign(wTx)

Bild aufgemalt
x1 - w1 \
x2 - w2 - Sigma - Signum
x3 - w3 /

lediglich binäre Klassifizierung {-1, +1}

Bitte Universal Function Approximator erklären.

F(x) = SIGMA(über Neuronen N) v_i * phi(w_iTx + b_i)

Abhängig von N, v_i und w_i kann man alle stetigen Funktionen approximieren mit beliebig kleinem Fehler.

Wieso dann überhaupt Deep Neuronale Netze?

Universal Function Approximator sagt uns nicht, wie viele Neuronen (N) benötigt werden und es könnten ggf. unendlich viele sein.

Außerdem viele viele Multiplikationen bei nur einer hidden layer ==> Performanz

Loss-Funktion - wahlweise Cross-Entropy-Loss oder L2-Loss herleiten.

Cross-Entropy-Loss:
PI p_k^yk als Multinoulli

dann L(w) = -SIGMA(über Samples M) log PI(über Vektorelemente k) p_k^(yk)

L(w) = -SIGMA(über Samples M) log y^ | y_k,m = 1

Wie sieht dann Softmax-Loss aus?

Als y^ die Softmax-Funktion eingesetzt und hingeschrieben.

Wie sieht der Backpropagation-Algorithmus aus?

Das Bild x1 --> 
		o  --> y^
         x2 -->

dann dL/dx_1 = dL/dy^ * dy^/dx_1

Verkettung mittels Kettenregel.

Wie erkennt man Overfitting?

Aus den Daten drei Sets erstellen: Validation, Training und Test

Diagramm aufgemalt mit Validation Loss und Training Loss.

Dann wenn Validation Loss steigt und Training Loss sinkt, läuft man in Overfitting.

Entgegenwirken mittels Regularizer / Early Stopping.

Können Sie bitte LSTM erklären?

Bild aufgemalt

Forget-Gate und Input-Gate erklärt.

Wie funktioniert Segmentierung in DL? Eine Beispielarchitektur?

U-Net.

Encoder-Decoder-Struktur mit Conv-Pooling im Encoder.

Upsampling im Decoder (Unpooling oder Transposed Convolutions).

Skip Connections.

Es war eine angenehme Prüfung. Wenn man sich bei einer Formel mal verzettelt hat, hilft Prof. Maier einem weiter. Bei Kleinigkeiten wirkt sich das meines Erachtens auch nicht negativ aus.