Détection d'Hallucinations dans le Cadre de la Tâche 6 SemEval-SHROOM - Université Toulouse III - Paul Sabatier - Toulouse INP
Communication Dans Un Congrès Année : 2024

Détection d'Hallucinations dans le Cadre de la Tâche 6 SemEval-SHROOM

Résumé

Cet article présente notre participation à la tâche 6 de SemEval-2024, nommée SHROOM (a Shared-task on Hallucinations and Related Observable Overgeneration Mistakes). L'objectif de la tâche est de détecter des hallucinations. Nous avons proposé deux types d'approches pour la tâche: une première basée sur des embeddings (ou plongements) de phrases, et une seconde basée sur des LLMs (Large Language Model). Nous observons que les LLMs ne parviennent pas à améliorer les performances obtenues par les modèles de génération de plongements de phrases. Ces derniers surpassent la baseline fournie par les organisateurs, et notre meilleure approche obtient 78% de précision.
Fichier principal
Vignette du fichier
mainNB.pdf (530.63 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04716967 , version 1 (01-10-2024)

Identifiants

  • HAL Id : hal-04716967 , version 1

Citer

Nihed Bendahman, Karen Pinel-Sauvagnat, Gilles Hubert, Mokhtar Boumedyen Billami. Détection d'Hallucinations dans le Cadre de la Tâche 6 SemEval-SHROOM. 19ème COnférence en Recherche d’Information et Applications (CORIA 2024), Jun 2024, La rochelle, France. ⟨hal-04716967⟩
33 Consultations
3 Téléchargements

Partager

More