Jun D: Robot
MDP med fem tilstande — value-funktion, Q-tabel og γ = 0.
En robot navigerer i tilstande A–E. Op fra C eller højre fra E giver belønning $R=1$ og sender robotten til A. Øvrige transitioner: $R=0$. Discount $\gamma=0.9$. Oplyst: $v(C)\approx 3.69$.
Spørgsmål D.1
Bestem $v(E)$.
Vis svar Skjul svar
Svar D.1
$$v(s)=\max_a\big[R(s,a)+\gamma v(s')\big]$$
$Q(E,\mathrm{højre})=1+\gamma v(A)=v(C)=3.69$ (samme one-step reward som fra C). $Q(E,\mathrm{ned})=\gamma v(C)=0.9\cdot 3.69=3.321$.
$$v(E)=\max(3.69,\,3.321)=3.69$$
3.69 (optimal: højre)
Spørgsmål D.2
Beregn $v(D)$.
Vis svar Skjul svar
Svar D.2
Først $v(B)=\gamma v(C)=0.9\cdot 3.69=3.321$ (B kan gå til C eller E, begge med værdi 3.69).
$$q(D,\mathrm{højre})=\gamma v(E)=3.321,\quad q(D,\mathrm{ned})=\gamma v(B)=2.989$$
$$v(D)=\max(3.321,\,2.989)=3.321$$
3.321
Spørgsmål D.3
Hvor mange rækker (tilstand-handling par) indeholder q-tabellen?
Vis svar Skjul svar
Svar D.3
| Tilstand | Handlinger | Antal |
|---|---|---|
| A | højre, op | 2 |
| B | højre, op | 2 |
| C | op | 1 |
| D | højre, ned | 2 |
| E | højre, ned | 2 |
| I alt | 9 | |
9
Spørgsmål D.4
Hvad er q-værdien for de to handlinger fra E, hvis $\gamma=0$?
Vis svar Skjul svar
Svar D.4
$$Q(E,\mathrm{højre})=1,\qquad Q(E,\mathrm{ned})=0$$
Med $\gamma=0$ tæller kun den umiddelbare belønning.
højre: 1 · ned: 0
Se også