Une banque affine un LLM sur Amazon Bedrock pour répondre aux questions de ses clients concernant les prêts. Pour s'assurer que le modèle n'expose pas d'informations privées sur les clients, quelle action la banque devrait-elle entreprendre ?

La suppression des informations personnellement identifiables (PII) des données client avant l'affinement est cruciale pour garantir la confidentialité. L'affinement expose le modèle à ces données, et si les PII sont incluses, le modèle pourrait les mémoriser et les révéler lors de futures interactions, même involontairement. Amazon Bedrock Guardrails est utile pour filtrer les sorties du modèle en temps réel, mais il ne garantit pas que le modèle n'a pas appris ou ne peut pas générer des PII s'il a été entraîné avec. Augmenter le paramètre Top-K affecte la diversité de la génération du modèle, pas sa capacité à protéger les PII. Le stockage des données dans Amazon S3 et leur chiffrement protègent les données au repos et en transit, mais ne les suppriment pas de l'ensemble d'entraînement du LLM, ce qui est la source du risque de fuite.