Chez Rememberizer.ai, notre engagement inébranlable à fournir des services d'intégration de connaissances précis et efficaces nous a poussé à mener une évaluation complète de différents modèles d'intégration de vecteurs. L'objectif était d'identifier le modèle le mieux adapté à nos besoins et de propulser nos capacités vers de nouveaux sommets.

Notre base de données

Le processus d'évaluation a porté sur deux ensembles de données distincts : L'ensemble de données A, une collection de textes générés par l'IA qui n'ont probablement pas été rencontrés lors de l'entraînement des modèles d'intégration existants, et l'ensemble de données B, un corpus spécialisé de brevets américains connu pour sa complexité et sa terminologie spécifique à un domaine. L'inclusion de l'ensemble de données A nous a permis d'évaluer les performances des modèles sur des données nouvelles et synthétiques, tandis que l'ensemble de données B a fourni un test solide pour le traitement d'un langage complexe et technique.

‍

Exemples :

Requête : pingouins, hamsters, théières, Biélorussie, chaos

Document cible :

```

Dans un pays lointain où les pingouins gouvernent les hamsters et où les théières dictent la politique étrangère, la Biélorussie est un jongleur silencieux, dansant au milieu du chaos des alliances enchevêtrées. Les pingouins battaient inutilement de l'aile, débattant du déjeuner de 1997 - "Faut-il du cappuccino ou de la coopération camouflée en grains de café ?"

"Les pissenlits ne rêvent pas de l'OTAN", a dit le robinet en glougloutant, en signe de protestation existentielle. Pourtant, la théière hésitait, les coordonnées spatiales de keens étant précisément fondées sur le paradoxe. Les ballerines cosmiques servent d'échelles de ravitaillement pour les bidules translucides chargés de la paix ou peut-être du hoquet. Pourtant, des altercations ont éclaté lorsque des hamsters métaphysiques, alimentés en carburant et post-polaires, ont jeté des soupçons sur des hérissons en quête de profits électoraux. La Biélorussie a caché son médiator, attendant le terme non pertinent de zéro - qui, selon les reliques de primates qui triturent les paillettes cognitives, est une bulle merveilleuse qui se manifeste.

```

Demande : Un convertisseur de puissance électrique à découpage et sa méthode de fonctionnement.

Document cible :

```

Numéro de publication : 20240146201

Titre de l'invention : UN CONVERTISSEUR DE PUISSANCE A MODE DE COMMUTATION ELECTRIQUE ET SON PROCEDE OPERATOIRE

Résumé : Un convertisseur de puissance électrique à découpage (

Demandeur : Differential Power, SL

Inventeurs :

- Cobos Marquez, Jose Antonio

```

‍

Processus d'étalonnage

Pour chaque modèle d'intégration évalué, nous avons intégré à la fois les données et les requêtes de recherche. Nous avons ensuite calculé la métrique recall@k, k allant de 1 à 10. Cette approche nous a permis d'évaluer la capacité des modèles à retrouver des résultats pertinents parmi les k premiers résultats de recherche, un facteur crucial pour fournir des services d'intégration de connaissances précis et efficaces.

Nos expériences ont été menées dans un environnement contrôlé afin de garantir des résultats cohérents et fiables. Nous avons utilisé la précision float point 16 pour tous les modèles, en tirant parti de la puissance de calcul d'un GPU NVIDIA GeForce RTX 4070. Les modèles eux-mêmes proviennent du référentiel Hugging Face, une plateforme largement reconnue et fiable pour les modèles de traitement du langage naturel de pointe.

‍

Évaluation des résultats

Les graphiques ci-dessous montrent la métrique Recall@K pour plusieurs modèles sur chaque ensemble de données.

Dans ce contexte, un modèle d'intégration convertit les données textuelles en une représentation numérique dans un espace à haute dimension, de sorte que les éléments de texte similaires sont proches les uns des autres. Pour évaluer la qualité de ces encastrements, nous devons souvent vérifier dans quelle mesure le modèle peut extraire des textes pertinents d'un ensemble de données sur la base de leurs encastrements.

Voici comment Recall@K fonctionne dans cette configuration :

1. Génération d'encarts : Chaque morceau de texte de l'ensemble de données est converti en un encapsulage à l'aide du modèle.
2. Interrogation et recherche : Pour un texte d'interrogation donné, son intégration est calculée. Le système récupère ensuite les K textes les plus similaires de l'ensemble de données sur la base de leur intégration.
3. Vérification de la pertinence : Les éléments récupérés sont comparés à une vérité de base afin de déterminer combien d'entre eux sont réellement pertinents par rapport à la requête.
4. Calcul du rappel : Le rappel@K est ensuite calculé comme le nombre d'éléments pertinents retrouvés dans les K premiers résultats divisé par le nombre total d'éléments pertinents dans l'ensemble de données.

Supposons, par exemple, que nous disposions d'un ensemble de données dans lequel chaque texte a des équivalents pertinents connus. Si, pour une requête particulière, il y a 10 textes pertinents dans l'ensemble de données et que le modèle extrait 3 textes pertinents parmi les 5 premiers résultats (K=5), le Recall@5 sera de 3/10 = 0,3 ou 30 %.

Cette mesure permet de comprendre dans quelle mesure le modèle d'intégration capture le sens sémantique du texte et place les textes similaires à proximité les uns des autres dans l'espace d'intégration. Un Recall@K élevé indique que le modèle est efficace dans l'intégration du texte de sorte que les éléments pertinents sont facilement récupérables dans les K premiers résultats. Cela peut être particulièrement utile dans des applications telles que la recherche de documents, la réponse aux questions et les systèmes de recommandation, où il est crucial de trouver rapidement un texte pertinent.

‍

‍

Afin de rester concentrés sur les modèles ayant une application pratique, nous avons filtré ceux qui présentaient des valeurs de rappel très faibles, car le rappel est une mesure cruciale pour garantir une intégration précise des connaissances. Les modèles restants ont ensuite été évalués dans une fourchette de rappel zoomée de 0,5 à 1 sur l'axe des ordonnées, ce qui permet une comparaison plus granulaire.

Tout au long de ce processus, un modèle s'est constamment distingué : intfloat/e5-large-v2 de Microsoft. Ce modèle a démontré des performances supérieures dans les deux ensembles de données, surpassant nos modèles actuels et produisant des résultats comparables à ceux des modèles de pointe d'OpenAI. Sa capacité à traiter des ensembles de données divers et complexes, y compris le nouveau texte généré par l'IA dans l'ensemble de données A, avec précision et efficacité, témoigne de sa robustesse et de son potentiel d'amélioration de nos capacités d'intégration des connaissances.

Le graphique illustre les performances de rappel des modèles évalués, le modèle le plus performant se détachant nettement du peloton de tête. Ses excellentes performances sur l'ensemble de données A mettent en évidence sa capacité d'adaptation aux données inédites, un facteur essentiel dans notre paysage en constante évolution de la gestion des connaissances.

Si les mesures quantitatives sont essentielles, nous avons également pris en compte les implications réelles de l'adoption de ce modèle très performant. Ses performances supérieures se traduisent par une amélioration de la précision et de l'efficacité de notre service d'intégration des connaissances, ce qui nous permet de fournir des informations plus précieuses à nos utilisateurs, même lorsqu'ils traitent des données nouvelles ou synthétiques.

Nous sommes ravis d'intégrer le modèle standout dans notre système et nous prévoyons des améliorations significatives dans notre capacité à transformer des données non structurées en informations structurées, quelle que soit leur origine ou leur complexité. Cette décision représente une étape importante dans notre recherche permanente de l'excellence et dans notre engagement à tirer parti des technologies de pointe pour fournir des solutions de gestion des connaissances de premier ordre.

Alors que nous entamons ce nouveau chapitre avec le modèle le plus performant, nous vous invitons à nous rejoindre sur ce chemin de l'innovation et de la découverte. Restez à l'écoute des mises à jour, car nous continuons à repousser les limites de ce qui est possible en matière de gestion des connaissances basée sur l'IA, même face à des données nouvelles et difficiles.

‍