Dec E: Labyrint
Grid-MDP A1–D4 med reward +1 fra D4 → A1; value-funktion og γ = 0.
16 tilstande A1–D4. Reward +1 ved ned fra D4 (hop til A1). $\gamma=0.9$, $V(B1)=0.781$. Optimal policy: korteste vej til D4, ned, gentag.
Spørgsmål E.1
Bestem $V(B2)$.
Vis svar Skjul svar
Svar E.1
$$V(B2)=\gamma V(B1)=0.9\cdot 0.781\approx 0.703$$
≈ 0.703
Spørgsmål E.2
Bestem $V(D4)$.
Vis svar Skjul svar
Svar E.2
$$V(D4)=1+\gamma^2 V(B1)=1+0.9^2\cdot 0.781\approx 1.633$$
Alternativt: $V(D4)=1/(1-\gamma^9)\approx 1.632$.
≈ 1.633
Spørgsmål E.3
Hvor mange unikke tilstandsværdier er der?
Vis svar Skjul svar
Svar E.3
Værdi afhænger kun af antal skridt til D4 (0…8 fra nærmeste / op til 9 fra A1) → 9 unikke værdier.
9
Spørgsmål E.4
Bestem værdien af alle tilstande når $\gamma=0$.
Vis svar Skjul svar
Svar E.4
Kun umiddelbar reward tæller: $V(D4)=1$, alle andre $V=0$.
$V(D4)=1$, øvrige $=0$
Se også