L'LLM di un'azienda produce output allucinati (non corretti). Quale azione può ridurre le allucinazioni durante l'inferenza?

Diminuire il parametro di inferenza temperature è corretto perché temperature controlla la casualità dell'output del modello. Un valore più basso (più vicino a 0) rende l'output più deterministico e meno creativo, riducendo la probabilità di generare informazioni inesatte o allucinate. Configurare Agents for Amazon Bedrock per supervisionare l'addestramento del modello è errato perché gli agenti sono usati per orchestrare flussi di lavoro complessi e non influenzano direttamente le allucinazioni durante l'inferenza di un modello già addestrato. Utilizzare la pre-elaborazione dei dati e rimuovere tutti i dati che causano allucinazioni è errato perché la rimozione di dati "causa allucinazioni" è difficile da identificare a priori e non è una soluzione pratica per l'inferenza di un modello già addestrato. Utilizzare un modello di base (FM) addestrato per non allucinare è errato perché nessun FM è completamente immune dalle allucinazioni; è una caratteristica intrinseca dei modelli linguistici.