Redacteuren hebben een zoekhulpmiddel nodig dat artikelen retourneert waarin de gezochte woorden het belangrijkst en meest representatief zijn in het documentcorpus. Het initiële hulpmiddel retourneert algemene woordovereenkomsten en vereist handmatige filtering. Welke oplossing legt de woordbelangrijkheid en -frequentie per document vast, zodat het hulpmiddel artikelen markeert waarin de gezochte woorden het meest relevant zijn?

De correcte optie beschrijft TF-IDF (Term Frequency-Inverse Document Frequency). TF-IDF is een statistische maat die de belangrijkheid van een woord in een document binnen een corpus evalueert. Een hoge TF-IDF-score voor een zoekwoord in een artikel betekent dat het woord vaak voorkomt in dat specifieke artikel (hoge TF) maar relatief zeldzaam is in het hele corpus (hoge IDF), wat duidt op een hoge relevantie. Dit is precies wat nodig is om artikelen te vinden waarin gezochte woorden het meest representatief zijn. LDA is geschikt voor het ontdekken van onderwerpen, maar niet direct voor het scoren van individuele woordrelevantie op de manier die hier gevraagd wordt. Word embeddings met gemiddelde titel embeddings en afstandsberekeningen zijn complexer en minder direct gericht op de frequentie en zeldzaamheid van specifieke zoekwoorden in de context van het hele document. Een simpele termfrequentietabel negeert de zeldzaamheid van woorden in het corpus, waardoor veelvoorkomende, maar minder informatieve woorden onterecht hoog kunnen scoren.