Jun C: Neuralt netværk med ELU

ELU-aktivering, gradient, output-range og overfitting.

ELU (Exponential Linear Unit):

$$\mathrm{ELU}(z)=\begin{cases}z & z\ge 0\\ e^{z}-1 & z<0\end{cases}$$

$$f(x_1,x_2)=\mathrm{ELU}(w_0+w_1 x_1+w_2 x_2)$$

med $w_0=w_1=w_2=1$. (ELU-kurve: se PDF.)

Spørgsmål C.1

Beregn neuronens output $f(1,2)$.

Vis svar Skjul svar

Svar C.1

$$z=1+1\cdot 1+1\cdot 2=4\ge 0 \Rightarrow f(1,2)=\mathrm{ELU}(4)=4$$

Spørgsmål C.2

Beregn $\nabla f(1,-3)=[\partial f/\partial w_0,\partial f/\partial w_1,\partial f/\partial w_2]^\top$. Du må gerne bruge $e^{-1}$.

Vis svar Skjul svar

Svar C.2

$$\frac{d\,\mathrm{ELU}}{dz}=\begin{cases}1 & z\ge 0\\ e^{z} & z<0\end{cases}$$

$z^*=1+1-3=-1<0$, så afledte er $e^{-1}$. Med $x_0=1$:

$$\nabla f(1,-3)=e^{-1}\begin{bmatrix}1\\1\\-3\end{bmatrix}$$

$e^{-1}[1,\,1,\,-3]^\top$

model = torch.nn.Sequential(
    torch.nn.Linear(2, 16),
    torch.nn.ELU(),
    torch.nn.Linear(16, 1),
    torch.nn.ELU()
)

Spørgsmål C.3

Hvad er værdiområdet (range) for netværkets output? Begrund ud fra ELU.

Vis svar Skjul svar

Svar C.3

Det lineære lag kan give $z\in(-\infty,+\infty)$. ELU mapper $z\ge 0$ til $[0,+\infty)$ og $z<0$ til $(-1,0)$. Samlet range: $(-1,+\infty)$.

$(-1,+\infty)$

Spørgsmål C.4

Ses der tegn på overfitting? Begrund ud fra loss-figuren (se PDF).

Vis svar Skjul svar

Svar C.4

Ja. Træningsloss falder gennem alle epoker, mens valideringsloss efter en periode stiger igen — tydeligt tegn på overfitting.

Ja — stigende validation loss.

Se også