Dec E: Gitterverden

9-tilstands gitter, tabulær Q-læring med γ = 0.9, og value iteration.

Figuren viser en gitterverden med 9 tilstande (A–I). Pilene viser mulige transitioner; tal på pilen er belønning (manglende tal = reward 0). Tabellen viser Q-værdier fra tabulær q-læring med discount-faktor $\gamma=0.9$.

Forenklet 3×3-gitter B–A–C / D–E–F / G–H–I. Se PDF for nøjagtige pile og belønninger.

	Nord	Syd	Øst	Vest
A	—	6.66	8.23	—
B	—	?	8.03	7.40
C	—	7.81	—	7.23
D	7.40	6.00	6.50	—
E	7.23	6.30	6.81	6.66
F	7.03	7.57	—	6.50
G	6.66	—	6.30	—
H	6.50	—	6.57	7.00
I	6.81	—	—	7.30

Spørgsmål E.1

Hvad er den optimale handling (action) hvis vi står i tilstand E?

Vis svar Skjul svar

Svar E.1

Den optimale handling er den med højest Q-værdi. For E er højeste værdi $7.23$ for Nord.

Nord

Spørgsmål E.2

Beregn $q(B,\mathrm{Syd})$.

Vis svar Skjul svar

Svar E.2

At gå mod syd fra B leder til E. Derfor:

$$q(B,\mathrm{Syd})=R(B,\mathrm{Syd})+\gamma\cdot\max_a q(E,a)=0+0.9\cdot\max\{7.23,\,6.30,\,6.81,\,6.66\}=0.9\cdot 7.23\approx 6.51$$

$\approx 6.51$

Spørgsmål E.3

Hvis vi kørte q-lærings-algoritmen med $\gamma=0.99$, hvad ville der ske med tallene i q-tabellen? Ville de blive større, mindre, eller forblive uændret?

Vis svar Skjul svar

Svar E.3

Tallene betegner den discountede kumulative belønning. Hvis $\gamma$ øges til $0.99$, vægtes fremtidig belønning højere, og den kumulative belønning bliver større.

Større

Spørgsmål E.4

Hvis vi i stedet for q-læring havde benyttet value iteration, hvad ville værdien af tilstand A, $v(A)$, være?

Vis svar Skjul svar

Svar E.4

Tilstands-værdien er den højeste Q-værdi for tilstanden:

$$v(A)=\max\{6.66,\,8.23\}=8.23$$

Det følger af $q(s,a)=r(s,a)+\gamma\max_{a'}q(s',a')$; maksimering over $a$ giver value-definitionen $v(s)=\max_a q(s,a)$.

8.23

Se også

Markov decision processes · Policy and value · Q-learning · Value iteration