nuntium

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Apparatus Cordis Report

Editor: Panda W

Scientiae lacinia purus numquam ab ambitu recedit!

LLM plurimum valet, sed habet etiam aliquas defectus manifestos, sicut hallucinatio problemata, pauper interpretabilitas, defectus ad umbilicum problematum, quaestiones secreti et securitatis, etc. Generatio retrieval aucta (RAG) signanter emendare potest generationis qualitatem et eventum utilitatis LLM.

Principio huius mensis, Microsoft GraphRAG dimisit, potentissimum fontem RAG cognitionis solutionis basi apertae.

• Project inscriptio: https://github.com/microsoft/graphrag
• Documenta officialis: https://microsoft.github.io/graphrag/

Quidam dicunt quod potentior est vulgaris RAG;

GraphRAG LLM utitur ad graphes scientiarum generandas, quae signanter emendare quaestionem et responsionem possunt perficiendi cum analysin documentum de multiplici informatione faciendo, praesertim cum de notitia privata agitur.

Comparatio proventus inter GraphRAG et traditionales RAG

Hodie, RAG ars est quae informationes reales mundi utitur ad LLM output emendandum et est pars maxima instrumentorum LLM fundatorum. Fere RAG utitur vector similitudine inquisitionis, nomine RAG Baseline. Sed baseline RAG perfecte in quibusdam adiunctis non facit. Exempli gratia:

• Baseline RAG certat punctis coniungere. Hoc evenit cum interrogationi respondet varias informationes percurrere per attributa communia ut novas pervestigationes coniunctas praebeant;
• Baseline RAG male agit, cum rogat ut comprehendat comprehendere notiones semanticas in magnis datasetis vel etiam in uno magno documento.

GraphRAG ab Microsoft propositae LLM utitur ad cognitionem graphi faciendam secundum in bibliotheca textui initus. Haec graphia summaria communitatis coniungit et adinventionem machinae graphiae discendi augendae innuit tempore interrogationis. GraphRAG emendationes significantes ostendit in utrisque quaestionibus respondendo, outperformationem demonstrans in methodis prioribus in actis privatis.

Sed, cum omnes GraphRAG altiorem cognitionem acquirerent, eius principia et argumenta re vera intellectu difficilia esse invenerunt.

Nuper Philippus Rathle, CTO Neo4J Societas, emisit articulum dialem cui titulus "GraphRAG Manifesto: Scientiam generativam AI addens" GraphRAG et plures.

Dixit: "Proximam applicationem generativam AI graph scientia verisimiliter utetur."

Neo4j CTO Philippus Rathle

Hunc articulum infra lege.

Hoc nos animadvertere venimus: aliquid revera significans cum generativo AI facere, non potes tantum confidere in autoregressivo LLMs ut tibi consilium capias.

Scio quid cogites: "RAG utere."

Ita. Technicae ut vector-substructio generationis retrievalis augmentationis (RAG) et bene-tuning adiuvare vos possunt. Quosdam casus satis bene faciunt. Sed unus est usus casus qui omnes has technologias ad consistit.

Pro multis quaestionibus, solutio vector-fundatur RAG (et bene-tunting) essentialiter probabilitatem rectam responsum augere est. Sed neutra ars parem certitudinem de recta responsione praebet. Saepe contextu carent et difficilem faciunt cum re iam nosti. Praeter haec instrumenta extare non provident cur particularis deliberatio facta sit.

Ad MMXII mentem Nostram convertamus, cum Google inquisitionis machinam suam generationis secundae induxit et post blog iconicum evulgavit "Cognitionem Graph introducendam: res, non chordas". Invenerunt si, praeter varios chordarum processus faciendos, graphi scientiam adhiberent ad omnia quae chordae in pagina interreti repraesentabantur componerent, ad ingentem emendationem quaerere posse.

Simile autem exemplar prodiit in agro generativae AI. Multa generativa AI incepta maceriam feriunt, ubi qualitas eventus eorum terminatur per solutionem chordarum, non rerum.

Ieiunium ad hodiernum diem progredientes fabrum AI fabrum et investigatores academicos detexerunt quod Google semel detexit: arcanum huius bottleneck graphi scientia frangendi est. Aliis verbis, scientia de rebus in statisticis textus technologiae fundatis introducere est. Via laborat similis aliis RAGs, excepto quod praeter vector indexing, etiam graph scientiam vocat. Id est: GraphRAG! (GraphRAG = Scientia Graph + RAG)

Propositum huius articuli est introductio comprehensiva et comprehensa ad GraphRAG. Investigatio ostendit quod notitias tuas in graphi scientia aedificas et per RAG eam utens pluribus commodis potioribus tibi afferre potest. Multum est investigationis probantis quod GraphRAG respondere potest pluribus vel omnibus quaestionibus quas petis LLM melius quam RAG uti vectoribus ordinariis.

Hoc solum commodum sufficit ad adoptionem GraphRAG valde promovendam.

Sed non ibi terminatur, quia visibilis notitia cum aedificatione app, etiam simplicior est evolvere.

Tertia utilitas GraphRAG est quod tam homines quam machinae graphes bene intelligere possunt, et coniecturas ex illis praestare. Quam ob rem usus GraphRAG in applicationibus aedificandis simplicior est et meliores fructus efficit, cum etiam facilior sit interpretatio et auditio (critica multarum industriarum).

Credo GraphRAG vectorem solum RAG restituturum esse sicut default RAG architecturae pro pluribus casibus utentibus. Hic articulus quare.

Quid est tabula geographica?

Primum declarandum est quid sit lacinia.

Aliquam lacinia purus, etiam graph notum, saepe "graph" interpretatur, sed facile confunditur cum notionibus sicut imago et imago. Ad distinctionem faciliorem, hic articulus translationis methodo tantum utitur "图图".

Aliquam lacinia purus verisimile vultus sic:

Map example

Etsi haec imago saepe ad exemplum cognitionis graphi adhibita est, eius fons et auctor iam non sunt notae.

vel hoc;

"Ludus Thronorum" tabula relationis characteris, ex Gulielmo Lyon

vel hoc;

Londinii sub tabula geographica. Fun fact: Transport for London nuper graphio fundatum digitali applicatione explicavit ad emendandas facultates responsionis incidentes et obstructiones minuendas.

Id est, tabula tabula non est.

Hic nimis in definitionibus quaestionibus non habitabimus, si iam intellegis quid sit charta.

Si tabulas superiores intellegis, tunc probabiliter videre potes quomodo notitiae graphiae subiectae (in datorum graphio conditarum) investigari possunt et uti in parte operis RAG. Id est GraphRAG.

Duae formae cognitionis praesentandi: vector et graphs

Core RAG typici est quaerendi vector, qui est invenire et reddere rationes similes textus e candidatis materiis scriptis innitentibus in textibus caudices. Hoc genus automationis magna operatur, et etiam inquisitiones fundamentales utiles sunt.

Quotienscumque autem inquisitionem feceris, non cogitasti quid vector sit vel quomodo similitudo calculi impleatur. Deinde inspice Apple. Varias formas exhibet ex prospectu humano, prospectu vectore et prospectu graphi;

Lacus ex prospectu humano, prospectus vector et prospectus map

Mali repraesentatio multiplex est et multi- dimensiva hominibus, cuius notae in charta plene describi non possunt. Hic possumus poetice fingere hanc photographicam rubram malum perceptualiter et ratione repraesentare posse.

Vector repraesentatio huius pomi est ordinata. Magica vectorum est ut singuli in forma encodili textui respondentis essentiam capiant. Sed in contextu RAG, vectores tantum opus sunt cum determinare debes quam similis pars textui sit alia particula textus. Ad hoc, simpliciter similitudinem calculum praestare et parem cohibere. Si vero vectoris sensum intellegere vis, ea quae in textu repraesentantur intellege et eius relationem ad ampliorem contextum perspicias, vector repraesentatio utens fraus non faciet.

E contra scientia graphi mundum repraesentant in forma declarativa - in terminologia campi AI, id est symbolica. Ergo tam homines quam machinis possunt intelligere graphi scientiam et ratiocinationem facere nititur. Hoc magni momenti est, et infra dicetur.

Praeterea interrogationem, visualizare, annotare, mutare et graphium cognitionis extendere potes. Cognitio lacinia purus exemplar est mundus qui in tuo opere campi currenti repraesentare potest mundum.

GraphRAG et RAG

Duo in elit nulla. Pro RAG, quaestionibus vectoris et quaestionibus graphio utiles sunt. Sicut Jerry Liu, conditor LlamaIndex, indicat: Cum de GraphRAG cogitans, vectors includere utile est. Hoc differt a "vector-tantum RAG" - innititur omnino similitudinis inter textus inembrationes.

Paucis loquendo, GraphRAG genus est RAG, nisi quod eius investigatio semitam graphiam scientiam includit. Ut infra videbis, nucleum GraphRAG valde simplex est. Architectura eius eadem est ac RAG utens vectoribus, sed scientiam graphi strati includit.

GraphRAG modus

Commune exemplum pro GraphRAG

Ut videre potes, quaestio graphia in pictura superiore utitur. Optionaliter vector similitudinem componentis includere potest. Potes eligere graphum et vectorem in duobus diversis databases condere, vel graphio datorum uti ut Neo4j qui vectorem inquisitionis sustinet.

Commune exemplum pro usu GraphRAG infra datur:

1. Praestare vectorem inquisitionis vel keyword inquisitionis ad inveniendum nodi initialem statutum;

2. Graphiam lustrare et informationes de nodis pertinentibus reducere;

3. (Libitum) Usus graph-fundatur ordo algorithms ut PageRank ad gradum re-litteras

Diversus usus casus ad diversos usus exempla ducet. Sicut omnes investigationes directiones in agro AI hodierno, GraphRAG est etiam campus pervestigationis dives, cum novis inventis singulis hebdomadibus emergentibus.

GraphRAG vita cycle

Generativa AI utens GraphRAG exemplum etiam sequitur cuiuslibet alterius applicationis RAG.

GraphRAG vita cycle

Graphum creando simile est documentum tundendo et illud in database vectore levantem. Progressus instrumentorum tabulae creationis satis faciles fecerunt. Ecce tres partes boni nuntii:

1. Tabulae valde iterativae sunt - incipere potes cum "mappa viable minima" et deinde in ea expand.

2. Cum notitia graphi cognitioni additur, facile evolvi potest. Plura genera notitiarum addere potes ad lucrandum et uti effectus retis notitiarum. Etiam amplio qualitatem notitiae tuae ad valorem applicationis augendum potes.

3. Ager celeriter evolvitur, quod significat ut instrumenta magis urbana fiunt, tabulae creationis facilior et facilior modo fiet.

Addens gradus tabulae creationis ad priorem picturam proveniet in workflow ut infra ostendetur:

Addere map gradus creationis

Videamus quae bona GraphRAG afferre possint.

Quare GraphRAG utuntur?

Cum vectore-tantum RAG comparata, commoda GraphRAG maxime in tria genera dividuntur;

1. Superiores accurate et plenius responsa (runtime / productio commodum)

2. Postquam scientia graphorum creata est, facilior erit applicationes RAG aedificandi et conservandi (progressio temporis utilitas)

3. Potius explainability, traceability and access control (regiminis commoda)

Haec beneficia hic altissima spectamus.

1. accuratius et utilius responsa

Prima utilitas GraphRAG (et proxime visibile) est altior responsionum qualitas. Utrum in academia vel industria, multa testimonia huic observationi favere videre possumus.

Simile hoc exemplum e notitia catalogi societatis Data.world. In fine anni 2023, relationem investigationis dimiserunt ostendens GraphRAG accurationem responsionum LLM emendare posse per mediocris 3 temporum in 43 negotiorum quaestionibus. Hoc accumsan studii evidentiam praebet cognitionem graphorum signanter responsionem accurate emendare posse.

Cognitio graphi accurationem LLM responsionis per 54.2 puncta recipis, quae fere 3 temporibus est melior.

Microsoft etiam seriem testimoniorum praebuit, inter quas investigationis diarii Februarii 2024 "GraphRAG: LLM inventionem narrandi privatae notitiae reserans" et chartam investigationis relatam "Ab Locus ad Global: A Graph RAG Accede ad Query-Focused Summarium" Et programmata: https://github.com/microsoft/graphrag (GraphRAG de quo in principio supra).

Inter eos, observaverunt duas sequentes difficultates cum vectoribus baseline RAG utentes:

• Baseline RAG difficilem punctis coniungere facit. Ut varias informationes ad novas pervestigationes componendas componamus, variae notitiae fragmenta per communes attributa pervagari oportet. Hoc tempore difficile est RAG baseline varias informationes fragmenta coniungere.
• Basilica RAG male facit, cum rogat ut notiones semanticae notiones comprehendendae comprehendantur inductive per magnas notitias collectiones vel etiam singula magna documenta.

Microsoft invenit: "Utendo scientia graphi ab LLM generato, GraphRAG partem RAG "retrieval" signanter emendare potest, magis contentus pro fenestra contextu contexta implens, melioribus responsa acquirendis et argumentis fontibus obtinendo. "Invenerunt etiam qui comparantur aliis modis, GraphRAG 26% ad 97% pauciora signa requirit, unde non solum meliora responsa dat, sed etiam minus sumptus et meliores scalas habet.

Aliquantum altius in accurationem fodientes, scimus quia, cum responsum verum sit amet, etiam utilem esse oportet. GraphRAG inventa est non solum ut accuratius respondeat, sed etiam ut uberius, plenius, utilius respondeat.

In charta recenti LinkedIn "Generatio Retrieval-Augmented cum Scientia Graphs pro Customer Service Quaeritur Respondens" optimum exemplum est impulsus GraphRAG in applicationibus suis operandi. GraphRAG subtilitatem et ubertatem servitutis suae responsabilitatis emendavit, ea utilia reddens et mediana tempora in suum ministerium quadrigis ad singulas proventus per 28.6% solvendas suscepit.

Simile exemplum habet officinam Neo4j generativus AI. Ut infra ostendetur, hoc responsum est per "vector + GraphRAG" et "vector tantum" modos pro statuto interretiali:

Comparatio "vectoris" et "vector + GraphRAG" methodi

Placere note differentiam inter "describere characteres societatum quae lithio penuria affici possunt" et "numerare societates specificas quae affici possunt". Si investor inspicis librarium in responsione ad mercatum mutationes, vel societas ad realignorum copiam catenam spectantes in responsione ad calamitatem naturalem, indicium in dextra parte chartulae superioris certe multo maius est quam percontationum a sinistris. Hic, utrumque refero accurate. Sed utilius plane responsio est.

Iesus Barrasa Procedens Meta Episode 23 aliud magnum praebet exemplum: incipiens a verbo tabula ad operandum documentis legalibus.

Etiam nova exempla de academia et industria subinde videmus. Exempli gratia, Carolus Borderie Lettriae exemplum comparativum modorum "vectoris" et "vectoris GraphRAG" dedit; GraphRAG innititur e textu-ad-grapho fundato, ut 10,000 vasa nummaria in graphi cognitionis ordinet;

Repertor soli modi vs. graph perscrutator modi

Videri potest quod comparati ad RAG adhibito ordinario, utens GraphRAG non solum qualitatem responsabilium emendare potest, sed etiam numerum signa in responsionibus tertia tertiae minuere.

Aliud exemplum a scriptore sumamus. Nuper ediderunt Probatio RAG relationem in RobustQA compage fundatam, quae methodum suam GraphRAG fundatam cum aliis similibus instrumentis comparavit. Octoginta per GraphRAG consecutus est 86%, quod insigniter aliis modis melior est (vndique a 33% ad 76%), dum similes vel meliores effectus latebras habent.

Accuratio et responsio temporis aestimationem eventorum methodi RAG

GraphRAG variis applicationibus generativae AI adiuvat. Scientia graphs aperiet viam ad efficiendos eventus generativos AI accuratiores et utiles.

2. Melior notitia intellectus et citius iteratio

Scientia graphs intuitiva est, tam ratione quam visibiliter. Scientiae graphs explorandae saepe ad novas indaginem ducit.

Multi utentes graph scientiarum hunc inopinatum eventum communicaverunt: semel collocant in graphe sua complendo scientiam, adiuvare potest eos aedificandi et debug applicationes suas generativas AI inopinato modo. Rationis pars est quia si notitias in graphi forma inspicere potes, notitias his applicationibus substratas vivam datam imaginem praebent videre potes.

Graphs responsa permittere te, data invenire, et causalem in via perscrutari.

Exemplum supra de lithio penuriae inspiciamus. Si vectorem insitum facias, aliquid simile habebis infra imaginem, sed pluribus ordinibus et columnis.

Vector visualisation

Et si notitias in graphum convertas, hoc modo intelligere potes quod repraesentatio vector non potest.

Exemplum est ex recenti LlamaIndex webinar, ostendens quomodo relationem "MENTIONUM" adhibeant ad vectorizatum verbi chunki (graphi vocabuli) et LLM ad extrahendi graphi entium (graphi domain) et duas Facultates connectere:

Extract vocabularium map

(Sunt etiam multa exempla instrumenta utentes Langchain, Haystack et SpringAI).

Potes videre locupletem notitiarum structuram in hoc schemate facere ac novam evolutionem ac debugging possibilitates fingere. Unaquaeque pars notitiarum suum valorem habet, et ipsa structura addit ac significationem addit additional qua uti potes ad applicationem intellegentiam tuam.

Etiam non lacinia justo. Hoc quoque est de structuris tuis notitias permittens significationem deferre ac thesaurum. Hic est reactionem e elit e comitatu fintech noto, septimana proxima postquam graphas scientiarum in RAG workflow invexerunt:

Elit reactionem est GraphRAG

Reactio haec elit valde congruit cum hypothesi "evolutionis testium", quod est cognoscere (sed non confido) num rectam responsum sit. Personaliter horrere vellem si interrogarem de autonomia meae autonomiae AI dare C cuius deliberationis omnino opaca est. Specialius, etsi non es AI credentem iudicium, consenties: si verba vel documenta ad "Apple, Inc" relata non potes. magni quidem pretii erunt. Cum notitia finalis sit quae decisiones generativas AI agit, maxime criticum est ut rectitudinem notitiarum perpendat et curet.

3. Regimen: Explicabilitas, Securitatis et More

Quo maiorem ictum decisionis generativae AI, eo magis persuadere debes homines, qui tandem responsales sunt, si iudicium erratum est. Hoc fere involvit auditing omnem decisionem. Hoc certum ac iterabile testimonium bonorum decisionum requirit. Sed hoc parum est. Cum adoptando vel deserendo sententiam, etiam rationes post opus exponere debes.

LLM hoc non bene facit. Imo, referre potes ad documenta quae ad hanc decisionem pervenire solebant. Sed haec documenta rem ipsam sententiam non explicant, nedum LLM fontes constituisse. Scientiae graphae plane in alio gradu sunt, ut logicae ratiocinationis generativae AI clariorem reddant et facilius inputationes interpretandas reddant.

Pergamus exemplo supra: Carolus e Lettria onustus entium 10,000 articulorum nummariorum extractorum in graphi cognitionis, et LLM usus est ad GraphRAG exequendum. Hoc videmus melius responsa praebere. Inspice notitia:

Onus entia extractum ex 10,000 vasa nummaria in graphi scientia

Primum, ut lacinia purus data tua cogita. Accedit, navigare et quaerere notitias possumus, easque retractare ac renovare aliquo tempore. Commodum gubernationis est ut multo simplicius fiat ad visum et audiendum "exemplar mundi" huius notitiae. Utens graphe magis efficit verisimile quod persona finaliter responsabilis intelleget rationem post decisionem quam utens vector versionem eiusdem notitiae.

Cum ad qualitatem obtinendam, si notitias tuas in graphi scientia ponere potes, facilior erit errores et admirationes invenire et ad suum principium reducere. Etiam proventum et confidentiam obtinere potes informationes in graphe, quae tunc in calculis et interpretationibus adhiberi possunt. Hoc solum facere non potes cum vector-tantum versionis eiusdem notitiae, et, ut antea disputavimus, notitia vectorisata mediocris (et etiam non mediocris) homines ad intellegendum difficile est.

Scientia graphs etiam signanter securitatem et secretum augere potest.

Securitas et secretum saepe non magni momenti sunt in prototypo aedificando, sed criticum est si in opus aedificatur. In industrias ordinatis ut fretus curationisve, accessus notitiae molestie cuiuslibet ex titulo operis dependet.

Utrum LLM vel vector datorum sit, nulla bona via est ad scopum datae aditum limitandi. Scientiae graphae bonam solutionem praebere possunt, permissione potestatem moderandi scopos datorum, qui participes accedere possunt, prohibendo ne notitias videndi eas videre non liceat. Sequens consilium securitatis simplex est, quod permissio subtilis permissionis in grapho cognitionis moderari potest:

Simplex securitas militaris, quae in scientia graphs impleri potest

Creare scientiam graph

Quid opus est graphi scientia condere? Primus gradus est intelligere duas graphs maxime pertinentes ad applicationes generativas AI.

graphio domain repraesentat mundum exemplar pertinens ad applicationem hodiernam. En simplex exemplum:

Domain map

Graphium lexicum est quoddam graphi documenti structuram. GRAPHIUM vocabularium principalissimum consistit in nodi composito ex verbo chunkis:

vocabulary map

Saepe id extendunt ut relationes inter chunkis, res documenti (ut tabulae), capita, paragraphos, numeros paginas, nomina documenta vel numeros, collectiones, fontes, etc. Coniungere etiam potes mappas domain et Vocabula simul, ut infra:

Coniunge domain accumsan et vocabularium lavacrum

Tabula vocabularium creans valde simplex, maxime solum simplex parsing et versans. Quod ad tabulam domain attinet, diversae sunt semitae creationis secundum fontem notitiarum (ex fontibus structuris, vel notitiae informes fontes, vel ambo). Fortunate instrumenta ad graphas scientiarum creandas ex fontibus informabilibus notitiis celeriter enucleantur.

Exempli gratia, novus Neo4j Scientia Graph conditor automatice potest graphes scientias creare utentes documenta PDF, paginas interretiales, YouTube, et Vicipaedia vasa. Totum processum tam simplex est quam paucae electronicae globuli, ac visibiles ac interrogationes ditiones ac tabulas vocabularias e textu quam intrant. Hoc instrumentum est valde potens et interesting, et multum potest demittere limen ad graphas scientias creandas.

Quod ad notitias structas (qualia sunt structa notitia societatum commeatuum de clientibus, productis, locis geographicis, etc.), potest directe in graphae cognitionis divisi. Exempli gratia, ad notitias structas, quae in relationibus databases communissime reponuntur, quaedam instrumenta normae ad relationes in graphs describendas, probatis et certis regulis fundatae, adhiberi possunt.

Scientia utere graph

Cum scientiam graphi habes, GraphRAG facere potes. Plures compages e seligendi sunt, ut Index LlamaIndex Proprietatis Graph, Langchain Neo4j et Versionem integralem Haystack. Hic campus celeriter crescit, nunc ratio programmandi valde simplex est.

Idem valet de graphi creatione. Figura infra summat gradus ad graphi cognitionem aedificandam.

Automatice aedificare scientiam graphs ad generativam AI

Utens graphs scientia potest etiam quaestiones in lingua humana scribere quaestiones datorum graphorum. Neo4j instrumentum apertum fontem dimisit, NeoConverse, qui adiuvat linguam naturalem ad cognitionem graphorum interrogationis utendam: https://neo4j.com/labs/genai-ecosystem/neoconverse/

Dum aliquid discendi facit ut graphis utatur incipere, bonum nuntium est quod instrumenta evolutionis facilior evadit.

Summarium: GraphRAG est inevitabilis futuri RAG

LLM inhaerens verbi subnixi computandi et linguae peritiae coniuncta cum vectore substructio RAG ad optimos fructus ducere potest. Ut stabiliter consequantur boni eventus, necesse est ut filo gradu excedat et mundum exemplar aedificet super exemplar verbi. Item, Google invenit se ad investigandum magistrum, extra meram analysin textum transgredi debere et relationes inter ea quae chordae repraesentant designare. Incipimus videre eandem formam in AI mundo emergentem. Hic modus est GraphRAG.

Progressio curva technologiae S informata est: postquam una technicae artis culmen attingit, alia technicae artis progressus promovebit et priorem superabit. Ut generativa AI progreditur, requisita applicationum relatarum etiam augebunt - ex GENERALI qualitate responsa ad explicabilitatem ad solutionem datarum accessuum permissionum, secreti et securitatis, valor cognitionis graphs augebit etiam.

Evolutio generativae AI

Proxima applicatio generationis AI tui graphio scientia verisimiliter utetur.

Relatio link: https://neo4j.com/blog/graphrag-manifesto/