A: Indholds-moderering
Fairness for en modereringsmodel — demografisk paritet og equalized opportunity.
En social medievirksomhed har lavet en machine-learning model som bruges til at screene opslag. Modellen beslutter enten at opslaget publiceres med det samme, eller at det sendes til review hos en menneskelig redaktør. Redaktøren vurderer derefter om opslaget er acceptabelt eller problematisk (sand og fair). Virksomheden ønsker at undersøge om modellen er fair over for to beskyttede grupper.
| M / R | Gruppe A | Gruppe B |
|---|---|---|
| Pub: Publicer | 4 500 | 8 000 |
| Rev: Review · Acc: Acceptabel | 250 | 1 800 |
| Rev: Review · Pro: Problematisk | 250 | 200 |
| Total | 5 000 | 10 000 |
$M$: model-beslutning · $R$: redaktør-beslutning · $G$: gruppe.
Beregn sandsynligheden for at et opslag sendes til review, givet at den er skrevet af Gruppe B. Med andre ord, beregn $P(M=\mathrm{Rev}\mid G=B)$.
Vis svar Skjul svar
20%
Beregn sandsynligheden for at et opslag vurderes som problematisk, givet at den er sendt til review. Med andre ord, beregn $P(R=\mathrm{Pro}\mid M=\mathrm{Rev})$.
Vis svar Skjul svar
18%
Opskriv kriteriet for “Demografisk paritet” i samme notation som ovenfor, og beregn om kriteriet er opfyldt.
Vis svar Skjul svar
Kriteriet “Demografisk paritet” kan skrives som
eller ækvivalent $P(M=\mathrm{Pub}\mid G=A)=P(M=\mathrm{Pub}\mid G=B)$.
Nej — demografisk paritet er ikke opfyldt (10% ≠ 20%).
Opskriv kriteriet for “Equalized opportunity” i samme notation som ovenfor, og beregn om kriteriet er opfyldt.
Vis svar Skjul svar
Kriteriet “Equalized opportunity” kan skrives som
Nej — equalized opportunity er ikke opfyldt (50% ≠ 10%).