Nov E: System med fem tilstande

Fem-tilstands MDP med γ = 0.9: value for C og A, optimal policy, og effekt af γ = 0.1.

Figuren illustrerer et system med fem mulige tilstande, A–E. Pilene angiver mulige transitioner; tallene på pilene er belønninger. Vi benytter discount-faktor $\gamma=0.9$, og får oplyst $v(D)=50.4$.

Forenklet MDP: B→C→D→E→A med A→B (r=3) og A→E (r=0). Se PDF for officiel figur.

Spørgsmål E.1

Hvad er værdien af tilstand C?

Vis svar Skjul svar

Svar E.1

Værdien følger den rekursive definition

$$v(s)=\max_a\bigl(r(s,a)+\gamma\,v(s')\bigr)$$

Da der kun er én mulig action fra C (belønning 3 til D):

$$v(C)=3+0.9\cdot v(D)=3+0.9\cdot 50.4\approx 48.4$$

$\approx 48.4$

Vi får yderligere oplyst $v(B)=46.5$ og $v(E)=52.6$.

Spørgsmål E.2

Hvad er værdien af tilstand A?

Vis svar Skjul svar

Svar E.2

Fra A er der to mulige actions: til B (belønning 3) eller til E (belønning 0):

$$v(A)=\max\bigl(3+\gamma v(B),\,0+\gamma v(E)\bigr)=\max(3+0.9\cdot 46.5,\,0+0.9\cdot 52.6)\approx\max(44.9,\,47.3)=47.3$$

$\approx 47.3$

Spørgsmål E.3

Hvad er den optimale policy?

Vis svar Skjul svar

Svar E.3

Kun i A er der mere end én mulig action. At gå A→B giver $\approx 44.9$; A→E giver $\approx 47.3$. Den optimale policy er dermed A→E og E→A.

A$\to$E og E$\to$A

Spørgsmål E.4

Hvad ville ændre sig, hvis vi i stedet benyttede en discount-faktor på $\gamma=0.1$?

Vis svar Skjul svar

Svar E.4

Værdien af alle states ville ændre sig. $\gamma$ bestemmer vægtningen mellem umiddelbar og langsigtet belønning; med lavere $\gamma$ søges i højere grad kortsigtet belønning, hvilket kan ændre den optimale policy (fx bliver A→B attraktivt relativt til A→E).

Alle $v(s)$ ændres; optimal policy kan ændre sig

Se også

Markov decision processes · Policy and value · Value iteration