Dec D: Neuralt netværk

tanh-output, træningsfejl, gradient-dimensionalitet og varians af jævnt fordelte x-værdier.

Netværk: ét input $x$, to skjulte lag med fem neuroner hver (tanh), ét output $y$. Hver neuron har vægte + bias.

Se PDF for netværksfigur.

Spørgsmål D.1

Hvad er den maksimale værdi, outputtet fra neuron $h_1$ kan antage?

Vis svar Skjul svar

Svar D.1

Skjulte neuroner bruger $\tanh$, som ligger i $[-1,1]$.

To fits: Model 1 med $N=10$ og Model 2 med $N=100$. $x_n$ jævnt fordelt på $[0,1]$, $y_n=\cos(4\pi x_n)+\epsilon_n$ med $\sigma^2=0.5$.

Se PDF for Model 1 / Model 2 plot.

$$L(\theta)=\sum_{n=1}^{N}\bigl(y_n-f_\theta(x_n)\bigr)^2$$

$$\theta^{(t+1)}=\theta^{(t)}-\alpha\cdot\nabla L(\theta^{(t)})$$

Spørgsmål D.2

Giv et estimat af fejlen på træningsdatasættet for Model 1.

Vis svar Skjul svar

Svar D.2

Model 1 fitter perfekt til de 10 punkter → træningsfejlen vurderes til 0.

Spørgsmål D.3

Hvad er dimensionaliteten af gradient-vektoren $\nabla L(\theta^{(t)})$?

Vis svar Skjul svar

Svar D.3

Antal parametre: lag 1: $5\cdot(1+1)$; lag 2: $5\cdot(5+1)$; output: $5+1$.

$$5\cdot 2 + 5\cdot 6 + 6 = 10+30+6=46$$

Spørgsmål D.4

Variansen af de 10 $x$-værdier i Model 1 er ca. $\tfrac{1}{12}$. Estimer variansen af de 100 $x$-værdier i Model 2.

Vis svar Skjul svar

Svar D.4

$x$-værdierne er jævnt fordelt på $[0,1]$ i begge tilfælde. Variansen afhænger ikke af $N$, så den er stadig ca. $\frac{1}{12}$.

$\approx 1/12$

Se også