Firma używa sieci LSTM do oznaczania każdego zdania w wielostronicowych dokumentach jako „ryzyko” lub „brak ryzyka”. Pomimo wypróbowania wielu struktur sieciowych i ustawień hiperparametrów, wydajność jest słaba. Która zmiana prawdopodobnie przyniesie NAJWIĘKSZĄ poprawę wydajności?

Inicjalizacja danych wejściowych słów za pomocą wstępnie wytrenowanych osadzeń word2vec, wytrenowanych na dużej kolekcji artykułów prasowych z sektora energetycznego, jest najskuteczniejsza, ponieważ word2vec tworzy gęste reprezentacje wektorowe słów, które oddają ich znaczenie semantyczne i relacje kontekstowe. Wstępne trenowanie na dużej, domenowo-specyficznej kolekcji (artykuły z sektora energetycznego) zapewnia, że osadzenia są dobrze dopasowane do słownictwa i kontekstów używanych w dokumentach firmy, co znacznie poprawia zdolność modelu do rozumienia i klasyfikowania zdań. Inicjowanie danymi TF-IDF jest mniej skuteczne, ponieważ TF-IDF mierzy jedynie ważność słów w dokumencie, nie oddając relacji semantycznych między nimi. Zastąpienie LSTM jednostkami GRU może przynieść niewielką poprawę wydajności lub szybkości trenowania, ale nie rozwiązuje podstawowego problemu braku bogatej reprezentacji słów. Obniżenie współczynnika uczenia i kontynuowanie trenowania może pomóc w konwergencji, ale nie zrekompensuje słabych reprezentacji wejściowych, jeśli model nie ma wystarczającej wiedzy o znaczeniu słów.