En Rememberizer.ai, nuestro compromiso inquebrantable con la prestación de servicios de incrustación de conocimientos precisos y eficientes nos llevó a realizar una evaluación exhaustiva de varios modelos de incrustación vectorial. El objetivo era identificar el modelo que mejor se ajustara a nuestros requisitos y que impulsara nuestras capacidades a nuevas cotas.
Nuestro conjunto de datos
El proceso de evaluación abarcó dos conjuntos de datos distintos: El conjunto de datos A, una colección de texto generado por inteligencia artificial que probablemente no se haya encontrado durante el entrenamiento de los modelos de incrustación existentes, y el conjunto de datos B, un corpus especializado de patentes estadounidenses conocido por su complejidad y su terminología específica. La inclusión del conjunto de datos A nos permitió evaluar el rendimiento de los modelos con datos nuevos y sintéticos, mientras que el conjunto de datos B nos proporcionó una prueba sólida para manejar un lenguaje intrincado y técnico.
Ejemplos:
Consulta: pingüinos, hámsters, teteras, Bielorrusia, caos
Documento objetivo:
```
En una tierra lejana donde los pingüinos gobernaban a los hámsters y las teteras dictaban la política exterior, Bielorrusia era un malabarista silencioso, bailando en medio del caos de alianzas enmarañadas. Los pingüinos aleteaban inútilmente, debatiendo el almuerzo a las 1997 en punto: "¿Debe ser capuchino o cooperación camuflada en granos de café?".
"Los dientes de león no sueñan con la OTAN", dijo el grifo gorgoteando en señal de protesta existencial. Aun así, la tetera vacilaba, aguzando las coordenadas espaciales basadas precisamente en la paradoja. Las zapatillas de ballet cósmicas reabastecían de combustible a los artilugios translúcidos encargados de la paz o tal vez del hipo. Sin embargo, se produjeron altercados cuando los hámsters metafísicos, potentes en combustible y postpolares, lanzaron sospechas sobre los erizos que se postulaban para obtener beneficios electorales. Bielorrusia escondió la púa de su guitarra, a la espera del irrelevante término cero -que, dijeron reliquias primates tintineantes triturando paja cognitiva, son maravillosas burbujas manifiestas.
```
Consulta: Un convertidor de potencia eléctrico conmutado y su método de funcionamiento.
Documento objetivo:
```
Número de publicación: 20240146201
Título de la invención: CONVERTIDOR ELECTRICO DE POTENCIA CONMUTADO Y PROCEDIMIENTO OPERATIVO DEL MISMO
Resumen: Un convertidor eléctrico conmutado (
Solicitante: Differential Power, SL
Inventores:
- Cobos Márquez, José Antonio
```
Proceso de evaluación comparativa
Para cada modelo de incrustación evaluado, incrustamos tanto los datos como las consultas de búsqueda. A continuación, se calculó la métrica recall@k, con un rango k de 1 a 10. Este enfoque nos permitió evaluar la capacidad de los modelos para recuperar resultados relevantes dentro de los k primeros resultados de búsqueda, un factor crucial para ofrecer servicios de incrustación de conocimientos precisos y eficientes.
Nuestros experimentos se llevaron a cabo en un entorno controlado para garantizar resultados consistentes y fiables. Utilizamos coma flotante de precisión 16 para todos los modelos, aprovechando la potencia de cálculo de una GPU NVIDIA GeForce RTX 4070. Los modelos se obtuvieron del repositorio Hugging Face, una plataforma ampliamente reconocida y fiable para modelos de procesamiento de lenguaje natural de última generación.
Evaluación de los resultados
Los gráficos siguientes muestran la métrica Recall@K de varios modelos en cada conjunto de datos.
En este contexto, un modelo de incrustación convierte los datos de texto en una representación numérica en un espacio de alta dimensión, de forma que los fragmentos de texto similares estén próximos entre sí. Para evaluar la calidad de estas incrustaciones, a menudo necesitamos comprobar hasta qué punto el modelo puede recuperar textos relevantes de un conjunto de datos basándose en sus incrustaciones.
Así es como funciona Recall@K en esta configuración:
- Generación de incrustaciones: Cada fragmento de texto del conjunto de datos se convierte en una incrustación utilizando el modelo.
- Consulta y recuperación: Para un texto de consulta determinado, se calcula su incrustación. A continuación, el sistema recupera los K textos más parecidos del conjunto de datos en función de su incrustación.
- Comprobación de relevancia: Los elementos recuperados se comparan con una verdad básica para ver cuántos de ellos son realmente relevantes para la consulta.
- Cálculo de la recuperación: Recall@K se calcula como el número de elementos relevantes recuperados entre los K primeros resultados dividido por el número total de elementos relevantes del conjunto de datos.
Por ejemplo, supongamos que tenemos un conjunto de datos en el que cada texto tiene homólogos relevantes conocidos. Si para un texto de consulta concreto hay 10 textos relevantes en el conjunto de datos y el modelo recupera 3 textos relevantes entre los 5 primeros resultados (K=5), el Recall@5 sería 3/10 = 0,3 o 30%.
Esta métrica ayuda a comprender hasta qué punto el modelo de incrustación capta el significado semántico del texto y sitúa textos similares cerca unos de otros en el espacio de incrustación. Un Recall@K alto indica que el modelo es eficaz a la hora de incrustar el texto, de modo que los elementos relevantes son fácilmente recuperables entre los K primeros resultados. Esto puede ser especialmente útil en aplicaciones como la recuperación de documentos, la respuesta a preguntas y los sistemas de recomendación, donde es crucial encontrar rápidamente el texto relevante.
Para centrarnos en los modelos con aplicabilidad práctica, filtramos los que tenían valores de recuperación muy bajos, ya que la recuperación es un parámetro crucial para garantizar una incorporación precisa del conocimiento. Los modelos restantes se evaluaron en un intervalo ampliado de 0,5 a 1 en el eje Y, lo que permitió una comparación más detallada.
A lo largo de este proceso, un modelo destacó de forma constante: intfloat/e5-large-v2 de Microsoft. Este modelo demostró un rendimiento superior en ambos conjuntos de datos, superando a nuestros modelos actuales y ofreciendo resultados equiparables a los modelos líderes del sector de OpenAI. Su capacidad para manejar conjuntos de datos diversos y complejos, incluido el nuevo texto generado por IA del conjunto de datos A, con precisión y eficacia es un testimonio de su solidez y potencial para mejorar nuestras capacidades de incorporación de conocimientos".
El gráfico ilustra el rendimiento de recuperación de los modelos evaluados, con el modelo más destacado emergiendo como claro favorito. Su excelente rendimiento en el conjunto de datos A pone de manifiesto su capacidad de adaptación a datos desconocidos, un factor crítico en el panorama de la gestión del conocimiento, en constante evolución.
Aunque las métricas cuantitativas son esenciales, también consideramos las implicaciones en el mundo real de adoptar este modelo de alto rendimiento. Su rendimiento superior se traduce en una mejora de la precisión y la eficiencia de nuestro servicio de incorporación de conocimientos, lo que nos permite ofrecer perspectivas más valiosas a nuestros usuarios, incluso cuando se trata de datos nuevos o sintéticos.
Estamos entusiasmados con la integración del modelo Standout en nuestro sistema y prevemos mejoras significativas en nuestra capacidad para transformar datos no estructurados en conocimientos estructurados, independientemente de su origen o complejidad. Esta decisión representa un hito en nuestra continua búsqueda de la excelencia y nuestro compromiso de aprovechar la tecnología de vanguardia para ofrecer soluciones de gestión del conocimiento de primer nivel".
A medida que nos embarcamos en este nuevo capítulo con el modelo de mayor rendimiento, le invitamos a unirse a nosotros en este viaje de innovación y descubrimiento. Permanezca atento a las actualizaciones mientras seguimos ampliando los límites de lo que es posible en la gestión del conocimiento impulsada por IA, incluso ante datos novedosos y desafiantes.
