Dec E: Reinforcement learning

Otte tilstande A–H, value-funktion, Q-tabel og Q-learning-opdatering.

Eksamen (PDF) Løsning (PDF)

Otte tilstande A–H. I A: handlinger op, ned, højre. I de øvrige: kun højre. Fx A op → belønning 4, tilstand B.

Forenklet skitse af miljøet A–H. Se PDF for nøjagtige pile og belønninger.

Spørgsmål E.1

Med discount-factor $\gamma=0$, hvad er værdien af tilstand A?

Vis svar Skjul svar

Svar E.1

$$v(s)=\max_a\bigl(r(s,a)+\gamma\cdot v(s')\bigr)$$

$$v(A)=\max\{4,\,5,\,6\}=6$$

Herefter $\gamma=0.9$ og $v(H)=22.38$.

Spørgsmål E.2

Hvad er værdien af tilstand D?

Vis svar Skjul svar

Svar E.2

$$v(D)=4+\gamma\cdot v(H)=4+0.9\cdot 22.38\approx 24.14$$

≈ 24.14

Spørgsmål E.3

Når man kun medregner mulige state-action-par, hvor mange værdier skal læres i q-tabellen?

Vis svar Skjul svar

Svar E.3

Antal mulige state-action-par = antal pile i figuren → 10.

Spørgsmål E.4

Q-tabellen initialiseres til 0. Efter sekvensen $A\xrightarrow{4}B\xrightarrow{4}C\xrightarrow{4}D\xrightarrow{4}H\xrightarrow{0}A\xrightarrow{4}B$, hvordan er $q(A,\mathrm{op})$ blevet opdateret?

Vis svar Skjul svar

Svar E.4

$$q(s,a)=r(s,a)+\gamma\max_{a'}q(s',a')$$

Transitionen $A\xrightarrow{4}B$ observeres to gange. Første opdatering (mens $q(B,\cdot)=0$):

$$q(A,\mathrm{op})=4+0.9\cdot 0=4$$

Derefter opdateres $q(B,\mathrm{højre})=4$. Anden opdatering:

$$q(A,\mathrm{op})=4+0.9\cdot 4=7.6$$

7.6

Se også

Markov decision processes · Policy and value · Q-learning