Dec E: Reinforcement learning

Fem tilstande A–E, value-funktion med γ = 0.9, og optimal policy ved γ = 0.

Miljø med fem tilstande A–E. I hver tilstand: actions op eller højre. At gå op fører altid til tilstand A. Op fra A–D giver belønning 1; op fra E giver belønning 4. Alle andre belønninger er nul.

Forenklet skitse af miljøet A–E. Se PDF for nøjagtige pile og belønninger.

Spørgsmål E.1

Hvad er den optimale action, når man står i tilstand E?

Vis svar Skjul svar

Svar E.1

Højre i E: reward 0 og man ender i E igen → kumulativ discounted reward er 0. Op i E: reward 4 og man ender i A, hvorfra der kan opnås yderligere positiv reward. Da der ikke er negativ reward i miljøet, er den optimale action op.

Herefter $\gamma=0.9$. Det oplyses at $v(A)=10$ og $v(E)=13$, samt at den optimale action i B er op.

Spørgsmål E.2

Hvad er værdien af tilstand B, $v(B)$?

Vis svar Skjul svar

Svar E.2

$$v(B)=r(B,\mathrm{op})+\gamma\cdot v(A)=1+0.9\cdot 10=10$$

Spørgsmål E.3

Hvad er værdien af tilstand D, $v(D)$?

Vis svar Skjul svar

Svar E.3

$$v(s)=\max_a\bigl(r(s,a)+\gamma\,v(s')\bigr)$$

$$v(D)=\max\bigl(1+0.9\cdot 10,\; 0+0.9\cdot 13\bigr)=\max(10,\,11.7)=11.7$$

11.7

Spørgsmål E.4

Beskriv den optimale policy, hvis man i stedet anvender discount-faktor $\gamma=0$.

Vis svar Skjul svar

Svar E.4

Ved $\gamma=0$ vægtes kun den umiddelbare reward. Den optimale policy er derfor at tage den action der giver højest umiddelbar reward — ifølge figuren: altid gå op.

Altid gå op

Se også

Markov decision processes · Policy and value · Q-learning