noticias

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Informe del corazón de la máquina

Editor: Panda W.

¡El gráfico de conocimiento nunca se retira del medio ambiente!

LLM es muy poderoso, pero también tiene algunas deficiencias obvias, como problemas de alucinaciones, mala interpretabilidad, falta de comprensión del foco del problema, problemas de privacidad y seguridad, etc. La generación de recuperación aumentada (RAG) puede mejorar significativamente la calidad de la generación y la utilidad de los resultados de LLM.

A principios de este mes, Microsoft lanzó GraphRAG, la solución de base de conocimientos RAG de código abierto más poderosa. El proyecto se hizo popular inmediatamente después de su lanzamiento y ahora el número de estrellas ha alcanzado las 10,5 mil.

• Dirección del proyecto: https://github.com/microsoft/graphrag
• Documentación oficial: https://microsoft.github.io/graphrag/

Algunas personas dicen que es más poderoso que el RAG común:

GraphRAG utiliza LLM para generar gráficos de conocimiento, lo que puede mejorar significativamente el rendimiento de preguntas y respuestas al realizar análisis de documentos sobre información compleja, especialmente cuando se trata de datos privados.

Resultados de comparación entre GraphRAG y RAG tradicional

Hoy en día, RAG es una técnica que utiliza información del mundo real para mejorar los resultados de LLM y es una parte importante de la mayoría de las herramientas basadas en LLM. En términos generales, RAG utiliza la similitud de vectores como búsqueda, llamada Baseline RAG. Pero Baseline RAG no funciona perfectamente en algunas situaciones. Por ejemplo:

• Baseline RAG lucha por conectar los puntos. Esto ocurre cuando responder una pregunta requiere atravesar diferentes piezas de información a través de atributos compartidos para proporcionar nuevos conocimientos combinados;
• Baseline RAG tiene un rendimiento deficiente cuando se le pide que comprenda de manera integral conceptos semánticos resumidos en grandes conjuntos de datos o incluso en un solo documento de gran tamaño.

GraphRAG propuesto por Microsoft utiliza LLM para crear un gráfico de conocimiento basado en la biblioteca de texto de entrada. Este gráfico combina resúmenes de la comunidad y el resultado del aprendizaje automático de gráficos para mejorar las sugerencias en el momento de la consulta. GraphRAG muestra mejoras significativas en la respuesta a ambos tipos de preguntas, lo que demuestra un rendimiento superior a los métodos anteriores en conjuntos de datos privados.

Sin embargo, a medida que todos adquirieron una comprensión más profunda de GraphRAG, descubrieron que sus principios y contenido eran realmente difíciles de entender.

Recientemente, Philip Rathle, CTO de Neo4j Company, publicó un artículo de blog titulado "Manifiesto GraphRAG: Agregar conocimiento a la IA generativa". Rathle presentó los principios de GraphRAG, la diferencia con el RAG tradicional, las ventajas de GraphRAG y más.

Dijo: "Su próxima aplicación de IA generativa probablemente utilizará un gráfico de conocimiento".

Philip Rathle, director técnico de Neo4j

Lea este artículo a continuación.

Nos estamos dando cuenta de esto: para hacer algo realmente significativo con la IA generativa, no se puede confiar simplemente en LLM autorregresivos para que tomen decisiones por usted.

Sé lo que estás pensando: "Usa RAG". O afina, o espera a GPT-5.

Sí. Técnicas como la generación de aumento de recuperación basada en vectores (RAG) y el ajuste fino pueden ayudarle. Y resuelven bastante bien ciertos casos de uso. Pero hay un tipo de caso de uso que detendrá todas estas tecnologías.

Para muchos problemas, la solución al RAG basado en vectores (y el ajuste fino) es esencialmente aumentar la probabilidad de obtener la respuesta correcta. Pero ninguna de las técnicas proporciona un nivel de certeza sobre la respuesta correcta. A menudo carecen de contexto y dificultan la conexión con algo que ya sabes. Además, estas herramientas no proporcionan pistas sobre por qué se tomó una decisión en particular.

Volvamos nuestra atención a 2012, cuando Google lanzó su motor de búsqueda de segunda generación y publicó una publicación de blog icónica "Presentación del gráfico de conocimiento: cosas, no cadenas". Descubrieron que si, además de realizar varios procesamientos de cadenas, utilizaban un gráfico de conocimiento para organizar todas las cosas representadas como cadenas en una página web, esto podría conducir a una gran mejora en la búsqueda.

Ahora está surgiendo un patrón similar en el campo de la IA generativa. Muchos proyectos de IA generativa chocan contra un muro, donde la calidad de sus resultados está limitada por el hecho de que la solución trata con cadenas, no con cosas.

Un avance rápido hasta el día de hoy, ingenieros de inteligencia artificial e investigadores académicos de vanguardia han redescubierto lo que Google descubrió una vez: el secreto para romper este cuello de botella es el gráfico de conocimiento. En otras palabras, se trata de introducir conocimientos sobre cosas en la tecnología de texto basada en estadísticas. La forma en que funciona es similar a la de otros RAG, excepto que además de la indexación de vectores, también llama al gráfico de conocimiento. Es decir: GraphRAG! (GraphRAG = Gráfico de conocimiento + RAG)

El objetivo de este artículo es proporcionar una introducción completa y comprensible a GraphRAG. Las investigaciones muestran que incorporar sus datos en un gráfico de conocimiento y utilizarlos a través de RAG puede brindarle varias ventajas poderosas. Hay muchas investigaciones que demuestran que GraphRAG puede responder la mayoría o todas las preguntas que hace LLM mejor que RAG que solo usa vectores ordinarios.

Esta ventaja por sí sola es suficiente para promover en gran medida la adopción de GraphRAG.

Pero la cosa no termina ahí; dado que los datos son visibles al crear una aplicación, también es más sencillo de desarrollar.

Una tercera ventaja de GraphRAG es que tanto los humanos como las máquinas pueden comprender bien los gráficos y realizar inferencias basadas en ellos. Como resultado, crear aplicaciones con GraphRAG es más simple y produce mejores resultados, además de ser más fácil de interpretar y auditar (lo cual es fundamental para muchas industrias).

Creo que GraphRAG reemplazará al RAG de solo vector como la arquitectura RAG predeterminada para la mayoría de los casos de uso. Este artículo explica por qué.

¿Qué es un mapa?

Primero tenemos que aclarar qué es una gráfica.

Gráfico, también conocido como gráfico, a menudo se traduce como "gráfico", pero por lo tanto se confunde fácilmente con conceptos como imagen e imagen. Para facilitar la distinción, este artículo sólo utiliza el método de traducción "图图".

El gráfico probablemente se vea así:

Ejemplo de mapa

Aunque esta imagen se utiliza a menudo como ejemplo de gráfico de conocimiento, ya no se conocen su fuente ni su autor.

o esto:

Mapa de relaciones de personajes de "Juego de Tronos", de William Lyon

o esto:

Mapa del metro de Londres. Dato curioso: Transport for London implementó recientemente una aplicación de gemelo digital basada en gráficos para mejorar las capacidades de respuesta a incidentes y reducir la congestión.

En otras palabras, un mapa no es un diagrama.

Aquí no nos detendremos demasiado en cuestiones de definición, suponiendo que ya comprenda qué es un mapa.

Si comprende las imágenes anteriores, probablemente pueda ver cómo los datos del gráfico de conocimiento subyacente (almacenados en la base de datos del gráfico) se pueden consultar y utilizar como parte de un flujo de trabajo RAG. Eso es GraphRAG.

Dos formas de presentar el conocimiento: vectores y gráficos.

El núcleo de un RAG típico es la búsqueda vectorial, que consiste en buscar y devolver textos conceptualmente similares a partir de materiales escritos candidatos basándose en bloques de texto de entrada. Este tipo de automatización funciona muy bien e incluso las búsquedas básicas son útiles.

Pero cada vez que realiza una búsqueda, es posible que no haya pensado en qué es un vector o cómo se implementa el cálculo de similitud. A continuación, echemos un vistazo a Apple. Presenta diferentes formas desde la perspectiva humana, perspectiva vectorial y perspectiva gráfica:

Apple desde la perspectiva humana, perspectiva vectorial y perspectiva cartográfica

Para los humanos, la representación de una manzana es compleja y multidimensional, y sus características no pueden describirse completamente en el papel. Aquí podemos imaginar poéticamente que esta fotografía roja puede representar una manzana desde el punto de vista perceptivo y conceptual.

La representación vectorial de esta manzana es una matriz. La magia de los vectores es que cada uno captura la esencia de su texto correspondiente en forma codificada. Pero en el contexto de RAG, los vectores sólo son necesarios cuando es necesario determinar qué tan similar es un fragmento de texto a otro fragmento de texto. Para hacer esto, simplemente realice un cálculo de similitud y verifique la coincidencia. Pero si desea comprender el significado dentro de un vector, comprender lo que se representa en el texto y obtener una idea de su relación con el contexto más amplio, entonces utilizar la representación vectorial no le ayudará.

Por el contrario, los gráficos de conocimiento representan el mundo en forma declarativa, en la terminología del campo de la IA, es decir, simbólica. Por lo tanto, tanto los humanos como las máquinas pueden comprender el gráfico de conocimiento y realizar razonamientos basados ​​en él. Esto es importante y se mencionará más adelante.

Además, podrás consultar, visualizar, anotar, modificar y ampliar el gráfico de conocimiento. Un gráfico de conocimiento es un modelo mundial que puede representar el mundo en su campo de trabajo actual.

GraphRAG y RAG

Los dos no están en competencia. Para RAG, tanto las consultas vectoriales como las consultas gráficas son útiles. Como señala Jerry Liu, fundador de LlamaIndex: Cuando se piensa en GraphRAG, es útil incluir vectores. Esto es diferente del "RAG de sólo vectores", que se basa completamente en la similitud entre incrustaciones de texto.

Básicamente, GraphRAG es una especie de RAG, excepto que su ruta de búsqueda incluye el gráfico de conocimiento. Como verá a continuación, el esquema central de GraphRAG es muy simple. Su arquitectura es la misma que la de RAG que usa vectores, pero incluye una capa de gráfico de conocimiento.

Modo GraphRAG

Un patrón común para GraphRAG

Como puede ver, se activó una consulta de gráfico en la imagen de arriba. Opcionalmente puede incluir un componente de similitud vectorial. Puede optar por almacenar el gráfico y los vectores en dos bases de datos diferentes, o utilizar una base de datos de gráficos como Neo4j que admita la búsqueda de vectores.

A continuación se proporciona un patrón común para usar GraphRAG:

1. Realice una búsqueda de vectores o de palabras clave para encontrar un conjunto de nodos iniciales;

2. Recorrer el gráfico y recuperar información sobre los nodos relevantes;

3. (Opcional) Utilice algoritmos de clasificación basados ​​en gráficos, como PageRank, para volver a clasificar los documentos.

Diferentes casos de uso conducirán a diferentes patrones de uso. Como todas las direcciones de investigación en el campo de la IA actual, GraphRAG también es un campo rico en investigación, con nuevos descubrimientos que surgen cada semana.

Ciclo de vida de GraphRAG

La IA generativa que utiliza GraphRAG también sigue el patrón de cualquier otra aplicación RAG. Hay un paso de "crear gráfico" al principio:

Ciclo de vida de GraphRAG

Crear un gráfico es similar a fragmentar un documento y cargarlo en una base de datos vectorial. Los avances en las herramientas han facilitado bastante la creación de mapas. Aquí hay tres buenas noticias:

1. Los mapas son muy iterativos: puedes comenzar con un "mapa mínimo viable" y luego expandirlo según él.

2. Una vez que se agregan datos al gráfico de conocimiento, se puede evolucionar fácilmente. Puede agregar más tipos de datos para obtener y aprovechar los efectos de la red de datos. También puede mejorar la calidad de sus datos para aumentar el valor de su aplicación.

3. El campo está evolucionando rápidamente, lo que significa que a medida que las herramientas se vuelvan más sofisticadas, la creación de mapas será cada vez más fácil.

Agregar los pasos de creación del mapa a la imagen anterior dará como resultado un flujo de trabajo como se muestra a continuación:

Agregar pasos de creación de mapas

Echemos un vistazo a los beneficios que puede aportar GraphRAG.

¿Por qué utilizar GraphRAG?

En comparación con RAG de solo vector, las ventajas de GraphRAG se dividen principalmente en tres categorías:

1. Mayor precisión y respuestas más completas (ventaja de tiempo de ejecución/producción)

2. Una vez creado el gráfico de conocimiento, será más fácil crear y mantener aplicaciones RAG (ventaja del tiempo de desarrollo)

3. Mejor explicabilidad, trazabilidad y control de acceso (ventajas de gobernanza)

A continuación se ofrece un análisis en profundidad de estos beneficios.

1. Más precisión y respuestas más útiles

La primera ventaja de GraphRAG (y la más inmediatamente visible) es la mayor calidad de sus respuestas. Ya sea en el mundo académico o en la industria, podemos ver mucha evidencia que respalda esta observación.

Como este ejemplo de la empresa de catálogos de datos Data.world. A finales de 2023, publicaron un informe de investigación que mostraba que GraphRAG podría mejorar la precisión de las respuestas de LLM en un promedio de 3 veces en 43 preguntas comerciales. Este estudio de referencia proporciona evidencia de que los gráficos de conocimiento pueden mejorar significativamente la precisión de la respuesta.

El gráfico de conocimiento mejora la precisión de la respuesta LLM en 54,2 puntos porcentuales, que es aproximadamente 3 veces.

Microsoft también proporcionó una serie de pruebas, incluido un blog de investigación de febrero de 2024 "GraphRAG: Desbloqueo del descubrimiento de LLM en datos privados narrativos" y un artículo de investigación relacionado "De local a global: un enfoque Graph RAG para el resumen centrado en consultas" 》Y software: https://github.com/microsoft/graphrag (el GraphRAG mencionado al principio arriba).

Entre ellos, observaron los dos problemas siguientes con el RAG de referencia utilizando vectores:

• Baseline RAG dificulta conectar los puntos. Para sintetizar información diferente para obtener nuevos conocimientos, es necesario atravesar diferentes fragmentos de información a través de atributos compartidos. En este momento, es difícil para el RAG de referencia conectar diferentes fragmentos de información.
• Baseline RAG tiene un desempeño deficiente cuando se le pide que comprenda de manera integral conceptos semánticos resumidos de manera inductiva en grandes colecciones de datos o incluso en documentos únicos de gran tamaño.

Microsoft descubrió: “Al utilizar el gráfico de conocimiento generado por LLM, GraphRAG puede mejorar significativamente la parte de “recuperación” de RAG, completando contenido más relevante para la ventana de contexto, obteniendo así mejores respuestas y fuentes de evidencia. También descubrieron que, en comparación con otros métodos alternativos, GraphRAG requiere entre un 26% y un 97% menos de tokens, por lo que no solo ofrece mejores respuestas, sino que también tiene un costo menor y una mejor escalabilidad.

Profundizando un poco más en la precisión, sabemos que si bien es importante que la respuesta sea correcta, también debe ser útil. Se ha descubierto que GraphRAG no solo hace que las respuestas sean más precisas, sino también más ricas, más completas y más útiles.

El artículo reciente de LinkedIn "Generación aumentada de recuperación con gráficos de conocimiento para responder preguntas de servicio al cliente" es un excelente ejemplo del impacto de GraphRAG en sus aplicaciones de servicio al cliente. GraphRAG mejoró la precisión y la riqueza de sus respuestas de servicio al cliente, haciéndolas más útiles y redujo el tiempo medio que le llevó a su equipo de servicio al cliente resolver cada problema en un 28,6 %.

El taller de IA generativa de Neo4j tiene un ejemplo similar. Como se muestra a continuación, esta es la respuesta obtenida por los métodos "vector + GraphRAG" y "solo vector" para un conjunto de presentaciones ante la SEC:

Comparación de los métodos "sólo vector" y "vector + GraphRAG"

Tenga en cuenta la diferencia entre "describir las características de las empresas que pueden verse afectadas por la escasez de litio" y "enumerar las empresas específicas que pueden verse afectadas". Si usted es un inversionista que busca reequilibrar una cartera en respuesta a los cambios del mercado, o una empresa que busca realinear su cadena de suministro en respuesta a un desastre natural, la información en el lado derecho del gráfico anterior es sin duda mucho más importante que la información a la izquierda. Aquí, ambas respuestas son precisas. Pero la respuesta de la derecha es claramente más útil.

El episodio 23 de Going Meta de Jesús Barrasa ofrece otro gran ejemplo: comenzar con un mapa de palabras para trabajar con documentos legales.

También vemos nuevos ejemplos de la academia y la industria de vez en cuando. Por ejemplo, Charles Borderie de Lettria dio un ejemplo comparativo de los métodos "solo vector" y "vector + GraphRAG"; GraphRAG se basa en un flujo de trabajo de texto a gráfico basado en LLM para organizar 10.000 artículos financieros en un gráfico de conocimiento:

Métodos exclusivos de búsqueda frente a métodos de búsqueda de gráficos

Se puede ver que, en comparación con el uso de RAG normal, el uso de GraphRAG no solo puede mejorar la calidad de las respuestas, sino que también puede reducir la cantidad de tokens en sus respuestas en un tercio.

Tomemos otro ejemplo de Writer. Recientemente publicaron un informe de referencia RAG basado en el marco RobustQA, que comparó su método basado en GraphRAG con otras herramientas similares. La puntuación obtenida por GraphRAG es del 86%, que es significativamente mejor que otros métodos (que van del 33% al 76%), al tiempo que tiene un rendimiento de latencia similar o mejor.

Resultados de la evaluación de precisión y tiempo de respuesta del método RAG

GraphRAG está ayudando a una variedad de aplicaciones de IA generativa. Los gráficos de conocimiento abren el camino para hacer que los resultados de la IA generativa sean más precisos y útiles.

2. Comprensión de datos mejorada e iteración más rápida

Los gráficos de conocimiento son intuitivos, tanto conceptual como visualmente. La exploración de gráficos de conocimiento a menudo conduce a nuevos conocimientos.

Muchos usuarios de gráficos de conocimiento han compartido este resultado inesperado: una vez que invierten en completar su propio gráfico de conocimiento, puede ayudarlos a construir y depurar sus propias aplicaciones de IA generativa de una manera inesperada. Parte de la razón es que si se pueden observar los datos en forma de gráfico, se puede ver que los datos subyacentes a estas aplicaciones presentan una imagen vívida.

Los gráficos le permiten rastrear respuestas, encontrar datos y rastrear la cadena causal a lo largo del camino.

Veamos el ejemplo anterior sobre la escasez de litio. Si visualiza su vector, obtendrá algo como la imagen de abajo, pero con más filas y columnas.

Visualización vectorial

Y si convierte los datos en un gráfico, podrá entenderlos de una manera que una representación vectorial no puede.

El siguiente es un ejemplo de un seminario web reciente de LlamaIndex, que muestra cómo usan la relación "MENCIONES" para extraer fragmentos de palabras vectorizadas (gráfico de vocabulario) y LLM para extraer un gráfico de entidades (gráfico de dominio) y conectar las dos Habilidades:

Extraer mapa de vocabulario y mapa de dominio.

(También hay muchos ejemplos que utilizan herramientas como Langchain, Haystack y SpringAI).

Puede ver la rica estructura de los datos en este diagrama e imaginar las nuevas posibilidades de desarrollo y depuración que permite. Cada dato tiene su propio valor y la estructura misma almacena y transmite un significado adicional que puede utilizar para hacer que su aplicación sea más inteligente.

No es sólo visualización. También se trata de permitir que sus estructuras de datos transmitan y almacenen significado. Aquí está la reacción de un desarrollador de una conocida empresa de tecnología financiera, apenas una semana después de que introdujeron gráficos de conocimiento en el flujo de trabajo de RAG:

Reacción de los desarrolladores a GraphRAG

La reacción de este desarrollador es muy consistente con la hipótesis del "desarrollo basado en pruebas", que consiste en verificar (pero no confiar) si la respuesta es correcta. Personalmente, me horrorizaría si me pidieran ceder el 100% de mi autonomía a una IA cuya toma de decisiones es completamente opaca. Más específicamente, incluso si no cree en el fin del mundo de la IA, estará de acuerdo: si no puede asignar las palabras o documentos relacionados con "Apple, Inc." a la empresa "Apple Corps" (que son dos cosas completamente diferentes), de hecho será de gran valor. Dado que, en última instancia, son los datos los que impulsan las decisiones generativas de IA, podría decirse que lo más crítico es evaluar y garantizar la exactitud de los datos.

3. Gobernanza: explicabilidad, seguridad y más

Cuanto mayor sea el impacto de una decisión de IA generativa, más será necesario convencer a las personas responsables en última instancia si la decisión sale mal. Por lo general, esto implica auditar cada decisión. Esto requiere un registro confiable y repetible de buenas decisiones. Pero esto no es suficiente. Al adoptar o abandonar una decisión, también es necesario explicar las razones que la sustentan.

LLM en sí no hace esto bien. Sí, puede consultar la documentación utilizada para llegar a esta decisión. Pero estos documentos no explican la decisión en sí, sin mencionar que LLM inventó las fuentes. Los gráficos de conocimiento están en otro nivel completamente, lo que hace que la lógica de razonamiento de la IA generativa sea más clara y facilita la interpretación de las entradas.

Continuamos con el ejemplo anterior: Charles de Lettria cargó entidades extraídas de 10,000 artículos financieros en un gráfico de conocimiento y usó un LLM para ejecutar GraphRAG. Vemos que esto proporciona mejores respuestas. Echemos un vistazo a los datos:

Cargue entidades extraídas de 10.000 artículos financieros en el gráfico de conocimiento

Primero, piense en sus datos como un gráfico. Además, podremos navegar y consultar los datos, así como revisarlos y actualizarlos en cualquier momento. La ventaja de la gobernanza es que resulta mucho más sencillo ver y auditar el "modelo mundial" de estos datos. El uso de un gráfico hace que sea más probable que la persona responsable en última instancia comprenda el razonamiento detrás de la decisión que el uso de una versión vectorial de los mismos datos.

Cuando se trata de garantizar la calidad, si puede colocar sus datos en un gráfico de conocimiento, será más fácil encontrar errores y sorpresas y rastrearlos hasta su fuente. También puede obtener información de procedencia y confianza en el gráfico, que luego puede usarse en cálculos e interpretaciones. Simplemente no se puede hacer esto con una versión vectorial de los mismos datos y, como comentamos anteriormente, los datos vectorizados son difíciles de entender para la gente promedio (e incluso para las no promedio).

Los gráficos de conocimiento también pueden mejorar significativamente la seguridad y la privacidad.

La seguridad y la privacidad a menudo no son muy importantes cuando se construye un prototipo, pero son fundamentales si se van a integrar en un producto. En industrias reguladas como la banca o la atención médica, el acceso a los datos de cualquier empleado depende de su puesto de trabajo.

Ya sea un LLM o una base de datos vectorial, no existe una buena manera de limitar el alcance del acceso a los datos. Los gráficos de conocimiento pueden proporcionar una buena solución, utilizando el control de permisos para regular el alcance de las bases de datos a las que pueden acceder los participantes, evitando que vean datos que no pueden ver. La siguiente es una política de seguridad simple que puede implementar un control de permisos detallado en el gráfico de conocimiento:

Una estrategia de seguridad simple que se puede implementar en gráficos de conocimiento.

Crear un gráfico de conocimiento

¿Qué se necesita para construir un gráfico de conocimiento? El primer paso es comprender los dos gráficos más relevantes para las aplicaciones de IA generativa.

El gráfico de dominio representa el modelo mundial relevante para la aplicación actual. He aquí un ejemplo sencillo:

mapa de dominio

Un gráfico léxico es un gráfico de la estructura del documento. El gráfico de vocabulario más básico consta de nodos compuestos por fragmentos de palabras:

mapa de vocabulario

La gente suele ampliarlo para incluir relaciones entre fragmentos, objetos de documentos (como tablas), capítulos, párrafos, números de página, nombres o números de documentos, colecciones, fuentes, etc. También puede combinar mapas de dominio y mapas de vocabulario, como se muestra a continuación:

Combinar capa de dominio y capa de vocabulario

Crear un mapa de vocabulario es muy simple, principalmente un simple análisis y fragmentación. En cuanto al mapa de dominio, existen diferentes rutas de creación según la fuente de datos (desde fuentes de datos estructurados, fuentes de datos no estructurados o ambas). Afortunadamente, las herramientas para crear gráficos de conocimiento a partir de fuentes de datos no estructurados se están desarrollando rápidamente.

Por ejemplo, el nuevo Neo4j Knowledge Graph Builder puede crear automáticamente gráficos de conocimiento utilizando documentos PDF, páginas web, vídeos de YouTube y artículos de Wikipedia. Todo el proceso es tan simple como unos pocos clics en un botón, y puedes visualizar y consultar mapas de dominio y vocabulario del texto que ingresas. Esta herramienta es muy poderosa e interesante y puede reducir en gran medida el umbral para crear gráficos de conocimiento.

En cuanto a los datos estructurados (como los datos estructurados que su empresa almacena sobre clientes, productos, ubicaciones geográficas, etc.), se pueden asignar directamente a un gráfico de conocimiento. Por ejemplo, para datos estructurados, que comúnmente se almacenan en bases de datos relacionales, se pueden usar algunas herramientas estándar para mapear relaciones en gráficos basados ​​en reglas probadas y confiables.

Usar gráfico de conocimiento

Una vez que tenga un gráfico de conocimiento, puede crear GraphRAG. Hay muchos marcos para elegir, como LlamaIndex Property Graph Index, Langchain integrado Neo4j y la versión integrada de Haystack. Este campo se está desarrollando rápidamente, pero ahora el método de programación se está volviendo muy simple.

Lo mismo ocurre con la creación de gráficos. Ahora han aparecido herramientas como Neo4j Importer (que puede importar y asignar datos tabulares a gráficos a través de una interfaz gráfica) y el mencionado Neo4j Knowledge Graph Builder. La siguiente figura resume los pasos para construir un gráfico de conocimiento.

Cree automáticamente gráficos de conocimiento para la IA generativa

El uso de gráficos de conocimiento también puede asignar preguntas del lenguaje humano a consultas de bases de datos de gráficos. Neo4j ha lanzado una herramienta de código abierto, NeoConverse, que ayuda a utilizar el lenguaje natural para consultar gráficos de conocimiento: https://neo4j.com/labs/genai-ecosystem/neoconverse/

Si bien se necesita algo de aprendizaje para comenzar a usar gráficos, la buena noticia es que a medida que las herramientas evolucionan, se vuelve más fácil.

Resumen: GraphRAG es el futuro inevitable de RAG

Las habilidades lingüísticas y computacionales basadas en palabras inherentes de LLM combinadas con RAG basado en vectores pueden conducir a muy buenos resultados. Para obtener buenos resultados de manera estable, es necesario ir más allá del nivel de cadena y construir un modelo mundial por encima del modelo de palabra. De la misma manera, Google descubrió que para dominar la búsqueda, tenía que ir más allá del mero análisis de texto y trazar las relaciones entre las cosas que representan las cadenas. Estamos empezando a ver surgir el mismo patrón en el mundo de la IA. Este modo es GraphRAG.

La curva de desarrollo de la tecnología tiene forma de S: después de que una tecnología alcanza su punto máximo, otra tecnología promoverá el progreso y superará a la primera. A medida que se desarrolle la IA generativa, los requisitos para las aplicaciones relacionadas también aumentarán: desde respuestas de alta calidad hasta la explicabilidad y el control detallado de los derechos de acceso a los datos, la privacidad y la seguridad, también aumentará el valor de los gráficos de conocimiento.

La evolución de la IA generativa

Su próxima aplicación de IA generativa probablemente utilizará un gráfico de conocimiento.

Enlace de referencia: https://neo4j.com/blog/graphrag-manifesto/