Dec A: Chatbot
Pilotstudie, stikprøvestørrelse og sammenligning af succesrater via konfidensintervaller.
Eksisterende kundeservice har succesrate 86%. Pilotstudie: chatbot testet på 50 henvendelser, hvoraf 45 korrekte.
Spørgsmål A.1
Kan du på baggrund af pilotstudiet konkludere at chatbotten fungerer bedre end den eksisterende kundeservice?
Vis svar Skjul svar
Svar A.1
$$\hat{p}=\frac{45}{50}=0.90$$
$$0.90\pm 1.96\sqrt{\frac{0.9\cdot 0.1}{50}}\approx 0.90\pm 0.08 \Rightarrow [82\%,\,98\%]$$
86% ligger inde i intervallet, så vi kan ikke konkludere at chatbotten er bedre.
Nej
Spørgsmål A.2
Hvilken stikprøvestørrelse $n$ anbefaler du til et 95% CI med fejlmargin $\pm 2$ procentpoint?
Vis svar Skjul svar
Svar A.2
$$n=\frac{1.96^2\cdot 0.9\cdot 0.1}{0.02^2}\approx 864$$
≈ 864
| Information | Problemløsning | Total | |
|---|---|---|---|
| Succes | 760 | 170 | 930 |
| Ikke succes | 40 | 30 | 70 |
| Total | 800 | 200 | 1000 |
Spørgsmål A.3
Er der statistisk belæg for at chatbotten klarer sig bedre på Information end på Problemløsning?
Vis svar Skjul svar
Svar A.3
$$\text{Info: }0.95\pm 0.015,\qquad \text{Problem: }0.85\pm 0.05$$
Intervallerne overlapper ikke → statistisk belæg for forskel.
Ja
Spørgsmål A.4
Konfidensintervallet er [91%, 95%]. Hvad er fejlmarginen?
Vis svar Skjul svar
Svar A.4
$$e=\frac{0.95-0.91}{2}=0.02$$
0.02 (2 procentpoint)