Dec B: Jane Austen
TF, IDF og TF-IDF på sætninger fra Sense and Sensibility.
Korpus: $N=4999$ sætninger. Sætning 1 har 46 tokens; wife og the optræder hver 1 gang.
| Ord | Antal sætninger |
|---|---|
| and | 2228 |
| the | 2168 |
| wife | 48 |
| grief | 12 |
Spørgsmål B.1
Beregn TF for wife i Sætning 1.
Vis svar Skjul svar
Svar B.1
$$\mathrm{TF}=\frac{1}{46}\approx 0.022$$
≈ 0.022
Spørgsmål B.2
Beregn IDF for wife (naturlig logaritme).
Vis svar Skjul svar
Svar B.2
$$\mathrm{IDF}=\ln\frac{4999}{48}\approx 4.65$$
≈ 4.65
Spørgsmål B.3
Beregn TF-IDF for søgestrengen the wife i Sætning 1.
Vis svar Skjul svar
Svar B.3
$$\mathrm{TF\text{-}IDF}=\frac{1}{46}\ln\frac{4999}{2168}+\frac{1}{46}\ln\frac{4999}{48}\approx 0.12$$
≈ 0.12
Spørgsmål B.4
I Sætning 2: hvilken af “and”, “the”, “wife” eller “grief” giver højest TF-IDF?
Vis svar Skjul svar
Svar B.4
wife optræder ikke (TF-IDF = 0). De tre andre har samme TF; lavest DF → højest IDF → grief.
grief
Se også