Een dataset bevat documenten met ontbrekende woorden als gevolg van een databasefout. Het bedrijf wil een ML-model dat waarschijnlijke woorden kan voorstellen om die gaten op te vullen. Welk type model is hiervoor geschikt?

BERT-gebaseerde modellen (Bidirectional Encoder Representations from Transformers) zijn uitstekend geschikt voor het invullen van ontbrekende woorden in tekst. Ze zijn getraind op grote hoeveelheden tekst en kunnen de context aan beide zijden van een ontbrekend woord analyseren om het meest waarschijnlijke woord te voorspellen. Dit maakt ze ideaal voor taken zoals maskeertaalmodellering, wat direct overeenkomt met de behoefte om gaten in documenten op te vullen. Topic modeling identificeert hoofdthema's in een verzameling documenten, maar vult geen ontbrekende woorden aan. Clustering modellen groeperen vergelijkbare documenten of gegevenspunten, wat niet de taak is. Prescriptive ML-modellen bevelen acties aan op basis van voorspellingen, wat verder gaat dan het simpelweg invullen van ontbrekende woorden.