Redaktorzy potrzebują narzędzia wyszukiwania, które zwraca artykuły, w których wyszukiwane słowa są najważniejsze i najbardziej reprezentatywne w korpusie dokumentów. Początkowe narzędzie zwraca ogólne dopasowania słów i wymaga ręcznego filtrowania. Które rozwiązanie uchwyci ważność i częstotliwość słów w poszczególnych dokumentach, tak aby narzędzie wyróżniało artykuły, w których wyszukiwane słowa mają największe znaczenie?

Prawidłowa odpowiedź opisuje metodę TF-IDF (Term Frequency-Inverse Document Frequency). TF-IDF oblicza ważność słowa w dokumencie (częstotliwość termu) w połączeniu z jego rzadkością w całym korpusie (odwrotna częstotliwość dokumentów). Słowa, które często występują w danym artykule, ale rzadko w innych, otrzymują wysoki wynik, co wskazuje na ich znaczenie dla tego konkretnego artykułu. To podejście skutecznie identyfikuje artykuły, w których wyszukiwane słowa są najbardziej reprezentatywne i ważne. Pozostałe opcje są mniej odpowiednie: LDA (Latent Dirichlet Allocation) jest używane do odkrywania tematów, a nie do bezpośredniego oceniania ważności pojedynczych słów w kontekście wyszukiwania. Użycie wstępnie wytrenowanych osadzeń słów i uśrednianie osadzeń tytułowych może pomóc w zrozumieniu kontekstu, ale nie bezpośrednio mierzy ważności słów w dokumencie w sposób, który TF-IDF. Surowa częstotliwość termów, nawet z usunięciem słów stop, nie uwzględnia rzadkości słowa w całym korpusie, co oznacza, że często występujące, ale mało znaczące słowa mogą nadal uzyskiwać wysokie wyniki.