Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Machine Heart

Επιμέλεια: Panda W

Το γράφημα της γνώσης δεν υποχωρεί ποτέ από το περιβάλλον!

Το LLM είναι πολύ ισχυρό, αλλά έχει επίσης ορισμένες προφανείς ελλείψεις, όπως προβλήματα παραισθήσεων, κακή ερμηνεία, αδυναμία κατανόησης της εστίασης του προβλήματος, ζητήματα ιδιωτικότητας και ασφάλειας κ.λπ. Η επαυξημένη παραγωγή ανάκτησης (RAG) μπορεί να βελτιώσει σημαντικά την ποιότητα παραγωγής και τη χρησιμότητα του αποτελέσματος του LLM.

Στις αρχές αυτού του μήνα, η Microsoft κυκλοφόρησε το GraphRAG, την πιο ισχυρή λύση βάσης γνώσεων ανοιχτού κώδικα.

• Διεύθυνση έργου: https://github.com/microsoft/graphrag
• Επίσημη τεκμηρίωση: https://microsoft.github.io/graphrag/

Μερικοί άνθρωποι λένε ότι είναι πιο ισχυρό από το συνηθισμένο RAG:

Το GraphRAG χρησιμοποιεί το LLM για τη δημιουργία γραφημάτων γνώσης, τα οποία μπορούν να βελτιώσουν σημαντικά την απόδοση ερωτήσεων και απαντήσεων κατά την εκτέλεση ανάλυσης εγγράφων σε σύνθετες πληροφορίες, ειδικά όταν ασχολούμαστε με ιδιωτικά δεδομένα.

Σύγκριση αποτελεσμάτων μεταξύ GraphRAG και παραδοσιακού RAG

Σήμερα, το RAG είναι μια τεχνική που χρησιμοποιεί πληροφορίες πραγματικού κόσμου για τη βελτίωση της παραγωγής LLM και αποτελεί σημαντικό μέρος των περισσότερων εργαλείων που βασίζονται σε LLM. Αλλά το Baseline RAG δεν αποδίδει τέλεια σε ορισμένες περιπτώσεις. Για παράδειγμα:

• Το Baseline RAG αγωνίζεται να συνδέσει τις τελείες. Αυτό συμβαίνει όταν η απάντηση σε μια ερώτηση απαιτεί τη διέλευση διαφορετικών τμημάτων πληροφοριών μέσω κοινών χαρακτηριστικών για την παροχή νέων συνδυασμένων πληροφοριών.
• Το Baseline RAG έχει κακή απόδοση όταν του ζητείται να κατανοήσει πλήρως τις συνοπτικές σημασιολογικές έννοιες σε μεγάλα σύνολα δεδομένων ή ακόμα και σε ένα μόνο μεγάλο έγγραφο.

Το GraphRAG που προτείνεται από τη Microsoft χρησιμοποιεί το LLM για να δημιουργήσει ένα γράφημα γνώσης που βασίζεται στη βιβλιοθήκη κειμένου εισόδου. Αυτό το γράφημα συνδυάζει συνόψεις κοινότητας και την έξοδο της μηχανικής εκμάθησης γραφημάτων για να βελτιώσει τις υποδείξεις κατά το χρόνο των ερωτημάτων. Το GraphRAG παρουσιάζει σημαντικές βελτιώσεις στην απάντηση και στους δύο τύπους ερωτήσεων, επιδεικνύοντας υπεραπόδοση σε σχέση με προηγούμενες μεθόδους σε ιδιωτικά σύνολα δεδομένων.

Ωστόσο, καθώς όλοι απέκτησαν μια βαθύτερη κατανόηση του GraphRAG, διαπίστωσαν ότι οι αρχές και το περιεχόμενό του ήταν πραγματικά δύσκολο να κατανοηθούν.

Πρόσφατα, ο Philip Rathle, CTO της Neo4j Company, δημοσίευσε ένα άρθρο στο blog με τίτλο "GraphRAG Manifesto: Adding Knowledge to Generative AI".

Είπε: «Η επόμενη γενετική σας εφαρμογή τεχνητής νοημοσύνης πιθανότατα θα χρησιμοποιεί ένα γράφημα γνώσης».

Neo4j CTO Philip Rathle

Διαβάστε αυτό το άρθρο παρακάτω.

Καταλαβαίνουμε αυτό: για να κάνετε κάτι πραγματικά ουσιαστικό με τη γενετική τεχνητή νοημοσύνη, δεν μπορείτε να βασίζεστε μόνο σε αυτοπαλινδρομικά LLM για να λαμβάνετε αποφάσεις για εσάς.

Ξέρω τι σκέφτεστε: "Χρησιμοποιήστε το RAG ή ρυθμίστε με ακρίβεια ή περιμένετε για το GPT-5".

Ναί. Τεχνικές όπως η δημιουργία επαύξησης ανάκτησης βάσει διανύσματος (RAG) και η λεπτομέρεια μπορούν να σας βοηθήσουν. Και όντως λύνουν ορισμένες περιπτώσεις χρήσης αρκετά καλά. Αλλά υπάρχει ένας τύπος περίπτωσης χρήσης που θα σταματήσει όλες αυτές τις τεχνολογίες.

Για πολλά προβλήματα, η λύση στο RAG που βασίζεται σε διανύσματα (και τη λεπτομέρεια) είναι ουσιαστικά η αύξηση της πιθανότητας της σωστής απάντησης. Αλλά καμία τεχνική δεν παρέχει ένα επίπεδο βεβαιότητας για τη σωστή απάντηση. Συχνά δεν έχουν πλαίσιο και δυσκολεύουν τη σύνδεση με κάτι που ήδη γνωρίζετε. Επιπλέον, αυτά τα εργαλεία δεν παρέχουν ενδείξεις για το γιατί ελήφθη μια συγκεκριμένη απόφαση.

Ας στρέψουμε την προσοχή μας πίσω στο 2012, όταν η Google κυκλοφόρησε τη δεύτερη γενιά της μηχανής αναζήτησής της και δημοσίευσε μια εμβληματική ανάρτηση ιστολογίου «Εισαγωγή στο Γράφημα Γνώσης: πράγματα, όχι χορδές». Διαπίστωσαν ότι εάν, εκτός από την εκτέλεση διαφόρων επεξεργασίας συμβολοσειρών, χρησιμοποιούσαν ένα γράφημα γνώσης για να οργανώσουν όλα τα πράγματα που αντιπροσωπεύονται ως συμβολοσειρές σε μια ιστοσελίδα, θα μπορούσε να οδηγήσει σε τεράστια βελτίωση στην αναζήτηση.

Τώρα, ένα παρόμοιο μοτίβο αναδύεται στον τομέα της γενετικής τεχνητής νοημοσύνης. Πολλά παραγωγικά έργα τεχνητής νοημοσύνης χτύπησαν έναν τοίχο, όπου η ποιότητα των αποτελεσμάτων τους περιορίζεται από το γεγονός ότι η λύση ασχολείται με χορδές, όχι με πράγματα.

Γρήγορα στο σήμερα, μηχανικοί τεχνητής νοημοσύνης αιχμής και ακαδημαϊκοί ερευνητές ανακάλυψαν εκ νέου αυτό που ανακάλυψε κάποτε η Google: το μυστικό για να σπάσετε αυτό το στενό είναι το γράφημα γνώσης. Με άλλα λόγια, είναι η εισαγωγή γνώσης για τα πράγματα στην τεχνολογία κειμένου που βασίζεται σε στατιστικά στοιχεία. Ο τρόπος που λειτουργεί είναι παρόμοιος με άλλα RAG, εκτός από το ότι εκτός από τη διανυσματική ευρετηρίαση, καλεί και το γράφημα γνώσης. Δηλαδή: GraphRAG! (GraphRAG = Γράφημα γνώσης + RAG)

Ο στόχος αυτού του άρθρου είναι να παρέχει μια ολοκληρωμένη και κατανοητή εισαγωγή στο GraphRAG. Η έρευνα δείχνει ότι η δημιουργία των δεδομένων σας σε ένα γράφημα γνώσης και η χρήση τους μέσω του RAG μπορεί να σας φέρει πολλά ισχυρά πλεονεκτήματα. Υπάρχει πολλή έρευνα που αποδεικνύει ότι το GraphRAG μπορεί να απαντήσει στις περισσότερες ή σε όλες τις ερωτήσεις που κάνετε στο LLM καλύτερα από το RAG που χρησιμοποιεί απλώς συνηθισμένα διανύσματα.

Αυτό το πλεονέκτημα από μόνο του είναι αρκετό για να προωθήσει σε μεγάλο βαθμό την υιοθέτηση του GraphRAG.

Αλλά δεν τελειώνει εκεί, καθώς τα δεδομένα είναι ορατά κατά τη δημιουργία μιας εφαρμογής, είναι επίσης πιο εύκολο να αναπτυχθεί.

Ένα τρίτο πλεονέκτημα του GraphRAG είναι ότι τόσο οι άνθρωποι όσο και οι μηχανές μπορούν να κατανοήσουν καλά τα γραφήματα και να κάνουν συμπεράσματα με βάση αυτά. Ως αποτέλεσμα, η δημιουργία εφαρμογών με χρήση GraphRAG είναι απλούστερη και αποφέρει καλύτερα αποτελέσματα, ενώ είναι επίσης πιο εύκολη στην ερμηνεία και τον έλεγχο (κρίσιμης σημασίας για πολλούς κλάδους).

Πιστεύω ότι το GraphRAG θα αντικαταστήσει το RAG μόνο για διανύσματα ως την προεπιλεγμένη αρχιτεκτονική RAG για τις περισσότερες περιπτώσεις χρήσης. Αυτό το άρθρο εξηγεί γιατί.

Τι είναι ένας χάρτης;

Πρώτα πρέπει να διευκρινίσουμε τι είναι ένα γράφημα.

Το γράφημα, γνωστό και ως γράφημα, μεταφράζεται συχνά ως "γράφημα", αλλά επομένως συγχέεται εύκολα με έννοιες όπως εικόνα και εικόνα. Προκειμένου να διευκολυνθεί η διάκριση, αυτό το άρθρο χρησιμοποιεί μόνο τη μέθοδο μετάφρασης "图图".

Το γράφημα μάλλον μοιάζει με αυτό:

Παράδειγμα χάρτη

Αν και αυτή η εικόνα χρησιμοποιείται συχνά ως παράδειγμα γραφήματος γνώσης, η πηγή και ο συγγραφέας της δεν είναι πλέον γνωστοί.

ή αυτό:

Χάρτης σχέσεων χαρακτήρων «Game of Thrones», από τον William Lyon

ή αυτό:

Χάρτης του μετρό του Λονδίνου. Διασκεδαστικό γεγονός: Η Transport for London ανέπτυξε πρόσφατα μια ψηφιακή διπλή εφαρμογή που βασίζεται σε γραφήματα για τη βελτίωση των δυνατοτήτων απόκρισης περιστατικών και τη μείωση της συμφόρησης.

Με άλλα λόγια, ένας χάρτης δεν είναι διάγραμμα.

Εδώ δεν θα σταθούμε πολύ σε ζητήματα ορισμού, υποθέτοντας ότι έχετε ήδη καταλάβει τι είναι ένας χάρτης.

Εάν κατανοείτε τις παραπάνω εικόνες, τότε πιθανότατα μπορείτε να δείτε πώς τα υποκείμενα δεδομένα γραφήματος γνώσης (αποθηκευμένα στη βάση δεδομένων γραφημάτων) μπορούν να αναζητηθούν και να χρησιμοποιηθούν ως μέρος μιας ροής εργασίας RAG. Αυτό είναι το GraphRAG.

Δύο μορφές παρουσίασης της γνώσης: διανύσματα και γραφικές παραστάσεις

Ο πυρήνας ενός τυπικού RAG είναι η διανυσματική αναζήτηση, η οποία είναι να βρει και να επιστρέψει εννοιολογικά παρόμοια κείμενα από υποψήφια γραπτά υλικά που βασίζονται σε μπλοκ κειμένου εισαγωγής. Αυτό το είδος αυτοματισμού λειτουργεί εξαιρετικά και ακόμη και οι βασικές αναζητήσεις είναι χρήσιμες.

Αλλά κάθε φορά που εκτελείτε μια αναζήτηση, μπορεί να μην έχετε σκεφτεί τι είναι ένα διάνυσμα ή πώς εφαρμόζεται ο υπολογισμός ομοιότητας. Στη συνέχεια, ας ρίξουμε μια ματιά στην Apple. Παρουσιάζει διαφορετικές μορφές από την ανθρώπινη προοπτική, τη διανυσματική προοπτική και την προοπτική γραφήματος:

Apple από ανθρώπινη προοπτική, διανυσματική προοπτική και προοπτική χάρτη

Για τους ανθρώπους, η αναπαράσταση ενός μήλου είναι πολύπλοκη και πολυδιάστατη και τα χαρακτηριστικά του δεν μπορούν να περιγραφούν πλήρως σε χαρτί. Εδώ μπορούμε να φανταστούμε ποιητικά ότι αυτή η κόκκινη φωτογραφία μπορεί να αντιπροσωπεύει ένα μήλο αντιληπτικά και εννοιολογικά.

Η διανυσματική αναπαράσταση αυτού του μήλου είναι ένας πίνακας. Η μαγεία των διανυσμάτων είναι ότι το καθένα αποτυπώνει την ουσία του αντίστοιχου κειμένου τους σε κωδικοποιημένη μορφή. Αλλά στο πλαίσιο του RAG, τα διανύσματα χρειάζονται μόνο όταν χρειάζεται να προσδιορίσετε πόσο παρόμοιο είναι ένα κομμάτι κειμένου με ένα άλλο κομμάτι κειμένου. Για να το κάνετε αυτό, απλώς εκτελέστε έναν υπολογισμό ομοιότητας και ελέγξτε την αντιστοίχιση. Αλλά αν θέλετε να κατανοήσετε το νόημα μέσα σε ένα διάνυσμα, να κατανοήσετε τι αναπαριστάται στο κείμενο και να αποκτήσετε μια εικόνα για τη σχέση του με το ευρύτερο πλαίσιο, τότε η χρήση της διανυσματικής αναπαράστασης δεν θα σας βοηθήσει.

Αντίθετα, τα γραφήματα γνώσης αντιπροσωπεύουν τον κόσμο σε δηλωτική μορφή - με την ορολογία του πεδίου AI, δηλαδή συμβολική. Επομένως, τόσο οι άνθρωποι όσο και οι μηχανές μπορούν να κατανοήσουν το γράφημα της γνώσης και να εκτελέσουν συλλογισμούς με βάση αυτό. Αυτό είναι σημαντικό και θα αναφερθεί αργότερα.

Επιπλέον, μπορείτε να κάνετε ερωτήσεις, να απεικονίσετε, να σχολιάσετε, να τροποποιήσετε και να επεκτείνετε το γράφημα γνώσης. Ένα γράφημα γνώσης είναι ένα παγκόσμιο μοντέλο που μπορεί να αντιπροσωπεύει τον κόσμο στον τρέχοντα τομέα εργασίας σας.

GraphRAG και RAG

Οι δυο τους δεν είναι ανταγωνιστικοί. Για το RAG, τόσο τα διανυσματικά ερωτήματα όσο και τα ερωτήματα γραφήματος είναι χρήσιμα. Όπως επισημαίνει ο Jerry Liu, ιδρυτής της LlamaIndex: Όταν σκέφτεστε το GraphRAG, είναι χρήσιμο να συμπεριλάβετε διανύσματα. Αυτό είναι διαφορετικό από το "RAG μόνο για διάνυσμα" - το οποίο βασίζεται εξ ολοκλήρου στην ομοιότητα μεταξύ των ενσωματώσεων κειμένου.

Βασικά, το GraphRAG είναι ένα είδος RAG, εκτός από το ότι η διαδρομή αναζήτησής του περιλαμβάνει το γράφημα γνώσης. Όπως θα δείτε παρακάτω, το βασικό σχήμα του GraphRAG είναι πολύ απλό. Η αρχιτεκτονική του είναι ίδια με το RAG χρησιμοποιώντας διανύσματα, αλλά περιλαμβάνει ένα επίπεδο γραφήματος γνώσης.

Λειτουργία GraphRAG

Ένα κοινό μοτίβο για το GraphRAG

Όπως μπορείτε να δείτε, ένα ερώτημα γραφήματος ενεργοποιήθηκε στην παραπάνω εικόνα. Μπορεί προαιρετικά να περιλαμβάνει ένα στοιχείο ομοιότητας διανυσμάτων. Μπορείτε να επιλέξετε να αποθηκεύσετε το γράφημα και τα διανύσματα σε δύο διαφορετικές βάσεις δεδομένων ή να χρησιμοποιήσετε μια βάση δεδομένων γραφημάτων όπως το Neo4j που υποστηρίζει διανυσματική αναζήτηση.

Ένα κοινό μοτίβο για τη χρήση του GraphRAG δίνεται παρακάτω:

1. Εκτελέστε μια διανυσματική αναζήτηση ή αναζήτηση λέξεων-κλειδιών για να βρείτε ένα σύνολο αρχικών κόμβων.

2. Διασχίστε το γράφημα και επαναφέρετε πληροφορίες σχετικά με τους σχετικούς κόμβους.

3. (Προαιρετικό) Χρησιμοποιήστε αλγόριθμους κατάταξης που βασίζονται σε γραφήματα, όπως το PageRank για να αναβαθμίσετε έγγραφα

Διαφορετικές περιπτώσεις χρήσης θα οδηγήσουν σε διαφορετικά μοτίβα χρήσης. Όπως όλες οι ερευνητικές κατευθύνσεις στο σημερινό πεδίο της τεχνητής νοημοσύνης, το GraphRAG είναι επίσης ένα πεδίο πλούσιο σε έρευνα, με νέες ανακαλύψεις να αναδύονται κάθε εβδομάδα.

Κύκλος ζωής GraphRAG

Η γενετική τεχνητή νοημοσύνη που χρησιμοποιεί το GraphRAG ακολουθεί επίσης το μοτίβο οποιασδήποτε άλλης εφαρμογής RAG. Υπάρχει ένα βήμα "δημιουργία γραφήματος" στην αρχή:

Κύκλος ζωής GraphRAG

Η δημιουργία ενός γραφήματος είναι παρόμοια με την αποκοπή ενός εγγράφου και τη φόρτωσή του σε μια διανυσματική βάση δεδομένων. Η πρόοδος στα εργαλεία έχει κάνει τη δημιουργία χαρτών αρκετά εύκολη. Εδώ είναι τρία καλά νέα:

1. Οι χάρτες είναι πολύ επαναληπτικοί - μπορείτε να ξεκινήσετε με έναν "ελάχιστο βιώσιμο χάρτη" ​​και στη συνέχεια να επεκταθείτε βάσει αυτού.

2. Μόλις προστεθούν δεδομένα στο γράφημα γνώσης, μπορούν εύκολα να εξελιχθούν. Μπορείτε να προσθέσετε περισσότερους τύπους δεδομένων για να κερδίσετε και να επωφεληθείτε από τα εφέ δικτύου δεδομένων. Μπορείτε επίσης να βελτιώσετε την ποιότητα των δεδομένων σας για να αυξήσετε την αξία της εφαρμογής σας.

3. Το πεδίο εξελίσσεται ραγδαία, πράγμα που σημαίνει ότι καθώς τα εργαλεία γίνονται πιο εξελιγμένα, η δημιουργία χαρτών θα γίνεται όλο και πιο εύκολη.

Η προσθήκη των βημάτων δημιουργίας χάρτη στην προηγούμενη εικόνα θα έχει ως αποτέλεσμα μια ροή εργασίας όπως φαίνεται παρακάτω:

Προσθήκη βημάτων δημιουργίας χάρτη

Ας ρίξουμε μια ματιά στα οφέλη που μπορεί να προσφέρει το GraphRAG.

Γιατί να χρησιμοποιήσετε το GraphRAG;

Σε σύγκριση με το RAG μόνο για διανύσματα, τα πλεονεκτήματα του GraphRAG χωρίζονται κυρίως σε τρεις κατηγορίες:

1. Μεγαλύτερη ακρίβεια και πληρέστερες απαντήσεις (προνόμιο χρόνου εκτέλεσης/παραγωγής)

2. Μόλις δημιουργηθεί το γράφημα γνώσης, θα είναι ευκολότερο να δημιουργηθούν και να διατηρηθούν εφαρμογές RAG (πλεονέκτημα χρόνου ανάπτυξης)

3. Καλύτερη επεξήγηση, ιχνηλασιμότητα και έλεγχος πρόσβασης (πλεονεκτήματα διακυβέρνησης)

Ακολουθεί μια εις βάθος ματιά σε αυτά τα οφέλη.

1. Μεγαλύτερη ακρίβεια και πιο χρήσιμες απαντήσεις

Το πρώτο πλεονέκτημα του GraphRAG (και το πιο άμεσα ορατό) είναι η υψηλότερη ποιότητα των αποκρίσεών του. Είτε στον ακαδημαϊκό χώρο είτε στον κλάδο, μπορούμε να δούμε πολλά στοιχεία που υποστηρίζουν αυτήν την παρατήρηση.

Όπως αυτό το παράδειγμα από την εταιρεία καταλόγου δεδομένων Data.world. Στα τέλη του 2023, κυκλοφόρησαν μια ερευνητική έκθεση που δείχνει ότι το GraphRAG θα μπορούσε να βελτιώσει την ακρίβεια των απαντήσεων LLM κατά μέσο όρο 3 φορές σε 43 επιχειρηματικές ερωτήσεις. Αυτή η μελέτη αναφοράς παρέχει στοιχεία ότι τα γραφήματα γνώσης μπορούν να βελτιώσουν σημαντικά την ακρίβεια απόκρισης.

Το γράφημα γνώσης βελτιώνει την ακρίβεια της απόκρισης LLM κατά 54,2 ποσοστιαίες μονάδες, που είναι περίπου 3 φορές.

Η Microsoft παρείχε επίσης μια σειρά αποδεικτικών στοιχείων, όπως ένα ερευνητικό ιστολόγιο του Φεβρουαρίου 2024 "GraphRAG: Unlocking LLM discovery on narrative private data" και μια σχετική ερευνητική εργασία "From Local to Global: A Graph RAG Approach to Query-Focused Summarization" 》Και λογισμικό: https://github.com/microsoft/graphrag (το GraphRAG που αναφέρθηκε στην αρχή παραπάνω).

Μεταξύ αυτών, παρατήρησαν τα ακόλουθα δύο προβλήματα με το βασικό RAG χρησιμοποιώντας διανύσματα:

• Το Baseline RAG καθιστά δύσκολη τη σύνδεση των κουκκίδων. Προκειμένου να συντεθούν διαφορετικές πληροφορίες για τη λήψη νέων πληροφοριών, διαφορετικά τμήματα πληροφοριών πρέπει να διασχίζονται μέσω κοινών χαρακτηριστικών Αυτή τη στιγμή, είναι δύσκολο για το βασικό RAG να συνδέσει διαφορετικά τμήματα πληροφοριών.
• Το Baseline RAG έχει κακή απόδοση όταν του ζητείται να κατανοήσει πλήρως τις σημασιολογικές έννοιες που συνοψίζονται επαγωγικά σε μεγάλες συλλογές δεδομένων ή ακόμα και μεμονωμένα μεγάλα έγγραφα.

Η Microsoft διαπίστωσε: «Χρησιμοποιώντας το γράφημα γνώσης που δημιουργείται από το LLM, το GraphRAG μπορεί να βελτιώσει σημαντικά το τμήμα «ανάκτησης» του RAG, συμπληρώνοντας πιο σχετικό περιεχόμενο για το παράθυρο περιβάλλοντος, λαμβάνοντας έτσι καλύτερες απαντήσεις και αποκτώντας πηγές αποδεικτικών στοιχείων. Βρήκαν επίσης ότι σε σύγκριση με άλλες εναλλακτικές μεθόδους, το GraphRAG απαιτεί 26% έως 97% λιγότερα token, επομένως όχι μόνο δίνει καλύτερες απαντήσεις, αλλά έχει και χαμηλότερο κόστος και καλύτερη επεκτασιμότητα.

Ψάχνοντας λίγο βαθύτερα στην ακρίβεια, γνωρίζουμε ότι ενώ είναι σημαντικό η απάντηση να είναι σωστή, πρέπει επίσης να είναι χρήσιμη. Έχει βρεθεί ότι το GraphRAG όχι μόνο κάνει τις απαντήσεις πιο ακριβείς, αλλά και ότι κάνει τις απαντήσεις πλουσιότερες, πληρέστερες και πιο χρήσιμες.

Η πρόσφατη εργασία του LinkedIn "Αυξημένη γενιά ανάκτησης με γραφήματα γνώσης για απάντηση ερωτήσεων εξυπηρέτησης πελατών" είναι ένα εξαιρετικό παράδειγμα της επίδρασης του GraphRAG στις εφαρμογές εξυπηρέτησης πελατών του. Η GraphRAG βελτίωσε την ακρίβεια και τον πλούτο των απαντήσεων εξυπηρέτησης πελατών της, καθιστώντας τις πιο χρήσιμες και μείωσε τον διάμεσο χρόνο που χρειάστηκε η ομάδα εξυπηρέτησης πελατών της για να επιλύσει κάθε ζήτημα κατά 28,6%.

Το εργαστήριο Generative AI του Neo4j έχει ένα παρόμοιο παράδειγμα. Όπως φαίνεται παρακάτω, αυτή είναι η απάντηση που λαμβάνεται από τις μεθόδους "vector + GraphRAG" και "vector only" για ένα σύνολο αρχειοθετήσεων SEC:

Σύγκριση μεθόδων "μόνο διάνυσμα" και "διάνυσμα + GraphRAG".

Σημειώστε τη διαφορά μεταξύ "περιγράψτε τα χαρακτηριστικά των εταιρειών που μπορεί να επηρεαστούν από την έλλειψη λιθίου" και "αναφέρετε τις συγκεκριμένες εταιρείες που μπορεί να επηρεαστούν". Εάν είστε επενδυτής που θέλει να εξισορροπήσει εκ νέου ένα χαρτοφυλάκιο ως απάντηση στις αλλαγές της αγοράς ή μια εταιρεία που θέλει να ευθυγραμμίσει εκ νέου την αλυσίδα εφοδιασμού της ως απάντηση σε μια φυσική καταστροφή, οι πληροφορίες στη δεξιά πλευρά του παραπάνω γραφήματος είναι σίγουρα πολύ πιο σημαντικές από τις πληροφορίες στα αριστερά. Εδώ, και οι δύο απαντήσεις είναι ακριβείς. Αλλά η απάντηση στα δεξιά είναι σαφώς πιο χρήσιμη.

Το Going Meta Επεισόδιο 23 του Jesus Barrasa δίνει ένα άλλο εξαιρετικό παράδειγμα: ξεκινώντας με έναν χάρτη λέξεων για να εργαστείτε με νομικά έγγραφα.

Βλέπουμε επίσης νέα παραδείγματα από τον ακαδημαϊκό χώρο και τη βιομηχανία κατά καιρούς. Για παράδειγμα, ο Charles Borderie της Lettria έδωσε ένα συγκριτικό παράδειγμα μεθόδων "μόνο διάνυσμα" και "διάνυσμα + GraphRAG" Το GraphRAG βασίζεται σε μια ροή εργασίας κειμένου σε γράφημα που βασίζεται σε LLM για να οργανώσει 10.000 οικονομικά άρθρα σε ένα γράφημα γνώσης:

Μέθοδοι αναζήτησης μόνο έναντι μεθόδων αναζήτησης γραφημάτων

Μπορεί να φανεί ότι σε σύγκριση με τη χρήση του συνηθισμένου RAG, η χρήση του GraphRAG όχι μόνο μπορεί να βελτιώσει την ποιότητα των απαντήσεων, αλλά και να μειώσει τον αριθμό των διακριτικών στις απαντήσεις του κατά το ένα τρίτο.

Ας πάρουμε ένα άλλο παράδειγμα από το Writer. Πρόσφατα δημοσίευσαν μια αναφορά αναφοράς RAG που βασίζεται στο πλαίσιο RobustQA, η οποία συνέκρινε τη μέθοδο που βασίζεται στο GraphRAG με άλλα παρόμοια εργαλεία. Η βαθμολογία που έλαβε η GraphRAG είναι 86%, η οποία είναι σημαντικά καλύτερη από άλλες μεθόδους (που κυμαίνεται από 33% έως 76%), ενώ έχει παρόμοια ή καλύτερη απόδοση λανθάνουσας κατάστασης.

Αποτελέσματα αξιολόγησης ακρίβειας και χρόνου απόκρισης της μεθόδου RAG

Το GraphRAG βοηθά μια ποικιλία παραγωγικών εφαρμογών AI. Τα γραφήματα γνώσης ανοίγουν τον δρόμο για να γίνουν τα αποτελέσματα της γενετικής τεχνητής νοημοσύνης πιο ακριβή και χρήσιμα.

2. Βελτιωμένη κατανόηση δεδομένων και ταχύτερη επανάληψη

Τα γραφήματα γνώσης είναι διαισθητικά, τόσο εννοιολογικά όσο και οπτικά. Η διερεύνηση γραφημάτων γνώσης οδηγεί συχνά σε νέες ιδέες.

Πολλοί χρήστες γραφημάτων γνώσης έχουν μοιραστεί αυτό το απροσδόκητο αποτέλεσμα: μόλις επενδύσουν στην ολοκλήρωση του δικού τους γραφήματος γνώσης, μπορεί να τους βοηθήσει να δημιουργήσουν και να διορθώσουν τις δικές τους παραγωγικές εφαρμογές τεχνητής νοημοσύνης με απροσδόκητο τρόπο. Μέρος του λόγου είναι ότι εάν μπορείτε να δείτε τα δεδομένα με τη μορφή γραφήματος, μπορείτε να δείτε ότι τα δεδομένα που βρίσκονται κάτω από αυτές τις εφαρμογές παρουσιάζουν μια ζωντανή εικόνα δεδομένων.

Τα γραφήματα σάς επιτρέπουν να εντοπίζετε απαντήσεις, να βρίσκετε δεδομένα και να ανιχνεύετε την αιτιακή αλυσίδα στην πορεία.

Ας δούμε το παραπάνω παράδειγμα σχετικά με την έλλειψη λιθίου. Εάν απεικονίσετε το διάνυσμά του, θα λάβετε κάτι σαν την παρακάτω εικόνα, αλλά με περισσότερες σειρές και στήλες.

Διανυσματική απεικόνιση

Και αν μετατρέψετε τα δεδομένα σε γράφημα, μπορείτε να τα κατανοήσετε με τρόπο που μια διανυσματική αναπαράσταση δεν μπορεί.

Το παρακάτω είναι ένα παράδειγμα από ένα πρόσφατο διαδικτυακό σεμινάριο του LlamaIndex, που δείχνει πώς χρησιμοποιούν τη σχέση "MENTIONS" για να εξαγάγουν διανυσματικά κομμάτια λέξεων (γράφημα λεξιλογίου) και το LLM για να εξαγάγουν ένα γράφημα οντοτήτων (γράφημα τομέα) και να συνδέουν τις δύο Ικανότητες:

Εξαγωγή χάρτη λεξιλογίου και χάρτη τομέα

(Υπάρχουν επίσης πολλά παραδείγματα που χρησιμοποιούν εργαλεία όπως το Langchain, το Haystack και το SpringAI.)

Μπορείτε να δείτε την πλούσια δομή των δεδομένων σε αυτό το διάγραμμα και να φανταστείτε τις νέες δυνατότητες ανάπτυξης και εντοπισμού σφαλμάτων που επιτρέπει. Κάθε κομμάτι δεδομένων έχει τη δική του αξία και η ίδια η δομή αποθηκεύει και μεταφέρει πρόσθετο νόημα που μπορείτε να χρησιμοποιήσετε για να κάνετε την εφαρμογή σας πιο έξυπνη.

Δεν είναι μόνο οπτικοποίηση. Αυτό αφορά επίσης το να επιτρέπεται στις δομές δεδομένων σας να μεταδίδουν και να αποθηκεύουν νόημα. Ακολουθεί η αντίδραση ενός προγραμματιστή από μια γνωστή εταιρεία fintech, μόλις μια εβδομάδα αφότου εισήγαγε γραφήματα γνώσης στη ροή εργασίας RAG:

Αντίδραση προγραμματιστή στο GraphRAG

Η αντίδραση αυτού του προγραμματιστή είναι πολύ συνεπής με την υπόθεση της «ανάπτυξης βάσει δοκιμής», η οποία είναι να επαληθεύσει (αλλά όχι να εμπιστευτεί) εάν η απάντηση είναι σωστή. Προσωπικά, θα ένιωθα φρίκη αν μου ζητούσαν να δώσω το 100% της αυτονομίας μου σε μια τεχνητή νοημοσύνη του οποίου η λήψη αποφάσεων είναι εντελώς αδιαφανής. Πιο συγκεκριμένα, ακόμα κι αν δεν είστε πιστός της τεχνητής νοημοσύνης, θα συμφωνήσετε: εάν δεν μπορείτε να αντιστοιχίσετε τις λέξεις ή τα έγγραφα που σχετίζονται με την «Apple, Inc» στην εταιρεία «Apple Corps» (που είναι δύο εντελώς διαφορετικά πράγματα). θα έχει πράγματι μεγάλη αξία. Δεδομένου ότι είναι τελικά τα δεδομένα που οδηγούν τις παραγωγικές αποφάσεις AI, είναι αναμφισβήτητα το πιο κρίσιμο να αξιολογηθεί και να διασφαλιστεί η ορθότητα των δεδομένων.

3. Διακυβέρνηση: Επεξήγηση, Ασφάλεια και άλλα

Όσο μεγαλύτερος είναι ο αντίκτυπος μιας γενετικής απόφασης AI, τόσο περισσότερο χρειάζεται να πείσετε τους ανθρώπους που είναι τελικά υπεύθυνοι εάν η απόφαση πάει στραβά. Αυτό συνήθως περιλαμβάνει έλεγχο κάθε απόφασης. Αυτό απαιτεί ένα αξιόπιστο και επαναλαμβανόμενο αρχείο καλών αποφάσεων. Αυτό όμως δεν είναι αρκετό. Όταν εγκρίνετε ή εγκαταλείπετε μια απόφαση, πρέπει επίσης να εξηγήσετε τους λόγους πίσω από αυτήν.

Το ίδιο το LLM δεν το κάνει καλά. Ναι, μπορείτε να ανατρέξετε στην τεκμηρίωση που χρησιμοποιήθηκε για να καταλήξετε σε αυτήν την απόφαση. Αλλά αυτά τα έγγραφα δεν εξηγούν την ίδια την απόφαση - για να μην αναφέρουμε ότι το LLM δημιούργησε τις πηγές. Τα γραφήματα γνώσης βρίσκονται εντελώς σε άλλο επίπεδο, καθιστώντας τη λογική του συλλογισμού της παραγωγικής τεχνητής νοημοσύνης πιο ξεκάθαρη και διευκολύνοντας την ερμηνεία των εισροών.

Ας συνεχίσουμε με το παραπάνω παράδειγμα: Ο Charles από τη Lettria φόρτωσε οντότητες που εξήχθησαν από 10.000 οικονομικά άρθρα σε ένα γράφημα γνώσης και χρησιμοποίησε ένα LLM για να εκτελέσει το GraphRAG. Βλέπουμε ότι αυτό παρέχει καλύτερες απαντήσεις. Ας ρίξουμε μια ματιά στα δεδομένα:

Φορτώστε οντότητες που εξάγονται από 10.000 οικονομικά άρθρα στο γράφημα γνώσης

Αρχικά, σκεφτείτε τα δεδομένα σας ως γράφημα. Επιπλέον, μπορούμε να πλοηγηθούμε και να ρωτήσουμε τα δεδομένα και να τα αναθεωρήσουμε και να τα ενημερώσουμε ανά πάσα στιγμή. Το πλεονέκτημα της διακυβέρνησης είναι ότι γίνεται πολύ πιο απλή η προβολή και ο έλεγχος του «παγκόσμιου μοντέλου» αυτών των δεδομένων. Η χρήση ενός γραφήματος καθιστά πιο πιθανό ότι το άτομο που είναι τελικά υπεύθυνο θα κατανοήσει το σκεπτικό πίσω από την απόφαση παρά χρησιμοποιώντας μια διανυσματική έκδοση των ίδιων δεδομένων.

Όσον αφορά τη διασφάλιση της ποιότητας, εάν μπορείτε να βάλετε τα δεδομένα σας σε ένα γράφημα γνώσης, θα είναι ευκολότερο να βρείτε σφάλματα και εκπλήξεις και να τα εντοπίσετε στην πηγή τους. Μπορείτε επίσης να λάβετε πληροφορίες προέλευσης και εμπιστοσύνης στο γράφημα, οι οποίες στη συνέχεια μπορούν να χρησιμοποιηθούν σε υπολογισμούς και ερμηνείες. Απλώς δεν μπορείτε να το κάνετε αυτό με μια μόνο διανυσματική έκδοση των ίδιων δεδομένων, και όπως συζητήσαμε προηγουμένως, τα διανυσματικά δεδομένα είναι δύσκολο να κατανοηθούν από τους μέσους (και ακόμη και μη μέσους) ανθρώπους.

Τα γραφήματα γνώσης μπορούν επίσης να βελτιώσουν σημαντικά την ασφάλεια και το απόρρητο.

Η ασφάλεια και το απόρρητο συχνά δεν είναι πολύ σημαντικά κατά την κατασκευή ενός πρωτοτύπου, αλλά είναι κρίσιμο εάν πρόκειται να ενσωματωθεί σε ένα προϊόν. Σε ρυθμιζόμενες βιομηχανίες, όπως ο τραπεζικός τομέας ή η υγειονομική περίθαλψη, η πρόσβαση στα δεδομένα οποιουδήποτε υπαλλήλου εξαρτάται από τον τίτλο εργασίας του.

Είτε πρόκειται για LLM είτε για διανυσματική βάση δεδομένων, δεν υπάρχει καλός τρόπος να περιοριστεί το εύρος της πρόσβασης στα δεδομένα. Τα γραφήματα γνώσης μπορούν να παρέχουν μια καλή λύση, χρησιμοποιώντας έλεγχο αδειών για να ρυθμίσουν το εύρος των βάσεων δεδομένων στις οποίες μπορούν να έχουν πρόσβαση οι συμμετέχοντες, εμποδίζοντάς τους να δουν δεδομένα που δεν επιτρέπεται να δουν. Ακολουθεί μια απλή πολιτική ασφαλείας που μπορεί να εφαρμόσει λεπτομερή έλεγχο αδειών στο γράφημα γνώσης:

Μια απλή στρατηγική ασφαλείας που μπορεί να εφαρμοστεί σε γραφήματα γνώσης

Δημιουργήστε ένα γράφημα γνώσης

Τι χρειάζεται για τη δημιουργία ενός γραφήματος γνώσης; Το πρώτο βήμα είναι να κατανοήσετε τα δύο γραφήματα που σχετίζονται περισσότερο με τις εφαρμογές παραγωγής τεχνητής νοημοσύνης.

Το γράφημα τομέα αντιπροσωπεύει το παγκόσμιο μοντέλο που σχετίζεται με την τρέχουσα εφαρμογή. Εδώ είναι ένα απλό παράδειγμα:

Χάρτης τομέα

Ένα λεξικό γράφημα είναι ένα γράφημα της δομής του εγγράφου. Το πιο βασικό γράφημα λεξιλογίου αποτελείται από κόμβους που αποτελούνται από κομμάτια λέξεων:

χάρτης λεξιλογίου

Οι άνθρωποι συχνά το επεκτείνουν ώστε να περιλαμβάνει σχέσεις μεταξύ κομματιών, αντικειμένων εγγράφων (όπως πίνακες), κεφαλαίων, παραγράφων, αριθμών σελίδων, ονομάτων ή αριθμών εγγράφων, συλλογών, πηγών κ.λπ. Μπορείτε επίσης να συνδυάσετε χάρτες τομέα και χάρτες λεξιλογίου μαζί, όπως φαίνεται παρακάτω:

Συνδυάστε το επίπεδο τομέα και το επίπεδο λεξιλογίου

Η δημιουργία ενός χάρτη λεξιλογίου είναι πολύ απλή, κυρίως απλή ανάλυση και τεμαχισμός. Όσον αφορά τον χάρτη τομέα, υπάρχουν διαφορετικές διαδρομές δημιουργίας ανάλογα με την πηγή των δεδομένων (από δομημένες πηγές δεδομένων, μη δομημένες πηγές δεδομένων ή και τα δύο). Ευτυχώς, τα εργαλεία για τη δημιουργία γραφημάτων γνώσης από μη δομημένες πηγές δεδομένων αναπτύσσονται γρήγορα.

Για παράδειγμα, το νέο Neo4j Knowledge Graph Builder μπορεί να δημιουργήσει αυτόματα γραφήματα γνώσης χρησιμοποιώντας έγγραφα PDF, ιστοσελίδες, βίντεο YouTube και άρθρα της Wikipedia. Η όλη διαδικασία είναι τόσο απλή όσο μερικά κλικ ενός κουμπιού και μπορείτε να οπτικοποιήσετε και να ρωτήσετε χάρτες τομέα και λεξιλογίου του κειμένου που εισάγετε. Αυτό το εργαλείο είναι πολύ ισχυρό και ενδιαφέρον και μπορεί να μειώσει σημαντικά το όριο για τη δημιουργία γραφημάτων γνώσης.

Όσον αφορά τα δομημένα δεδομένα (όπως τα δομημένα δεδομένα που αποθηκεύει η εταιρεία σας σχετικά με πελάτες, προϊόντα, γεωγραφικές τοποθεσίες κ.λπ.), μπορούν να αντιστοιχιστούν απευθείας σε ένα γράφημα γνώσης. Για παράδειγμα, για δομημένα δεδομένα, τα οποία αποθηκεύονται πιο συχνά σε σχεσιακές βάσεις δεδομένων, μπορούν να χρησιμοποιηθούν ορισμένα τυπικά εργαλεία για τη χαρτογράφηση των σχέσεων σε γραφήματα με βάση αποδεδειγμένους και αξιόπιστους κανόνες.

Χρησιμοποιήστε το γράφημα γνώσης

Μόλις έχετε ένα γράφημα γνώσεων, μπορείτε να δημιουργήσετε το GraphRAG Υπάρχουν πολλά πλαίσια για να διαλέξετε, όπως το LlamaIndex Property Graph Index, το Langchain ολοκληρωμένο Neo4j και η ενσωματωμένη έκδοση Haystack. Αυτό το πεδίο αναπτύσσεται γρήγορα, αλλά τώρα η μέθοδος προγραμματισμού γίνεται πολύ απλή.

Το ίδιο ισχύει και για τη δημιουργία γραφήματος Εργαλεία όπως το Neo4j Importer (το οποίο μπορεί να εισάγει και να χαρτογραφήσει δεδομένα σε γραφήματα μέσω μιας γραφικής διεπαφής) και το προαναφερθέν Neo4j Graph Builder. Το παρακάτω σχήμα συνοψίζει τα βήματα για τη δημιουργία ενός γραφήματος γνώσης.

Δημιουργήστε αυτόματα γραφήματα γνώσης για γενετική τεχνητή νοημοσύνη

Η χρήση γραφημάτων γνώσης μπορεί επίσης να αντιστοιχίσει ερωτήσεις ανθρώπινης γλώσσας σε ερωτήματα βάσης δεδομένων γραφημάτων. Το Neo4j κυκλοφόρησε ένα εργαλείο ανοιχτού κώδικα, το NeoConverse, που βοηθά στη χρήση φυσικής γλώσσας για την αναζήτηση γραφημάτων γνώσης: https://neo4j.com/labs/genai-ecosystem/neoconverse/

Αν και χρειάζεται λίγη μάθηση για να αρχίσετε να χρησιμοποιείτε γραφήματα, τα καλά νέα είναι ότι καθώς τα εργαλεία εξελίσσονται, γίνεται ευκολότερο.

Περίληψη: Το GraphRAG είναι το αναπόφευκτο μέλλον του RAG

Οι εγγενείς υπολογιστικές και γλωσσικές δεξιότητες του LLM που βασίζονται σε λέξεις σε συνδυασμό με το RAG που βασίζεται σε διανύσματα μπορούν να οδηγήσουν σε πολύ καλά αποτελέσματα. Προκειμένου να επιτευχθούν καλά αποτελέσματα σταθερά, είναι απαραίτητο να υπερβείτε το επίπεδο χορδής και να δημιουργήσετε ένα παγκόσμιο μοντέλο πάνω από τη λέξη μοντέλο. Ομοίως, η Google διαπίστωσε ότι για να κυριαρχήσει η αναζήτηση, έπρεπε να προχωρήσει πέρα ​​από την απλή ανάλυση κειμένου και να χαρτογραφήσει τις σχέσεις μεταξύ των πραγμάτων που αντιπροσωπεύουν οι συμβολοσειρές. Αρχίζουμε να βλέπουμε το ίδιο μοτίβο να αναδύεται στον κόσμο της AI. Αυτή η λειτουργία είναι GraphRAG.

Η καμπύλη ανάπτυξης της τεχνολογίας έχει σχήμα S: αφού μια τεχνολογία φτάσει στο αποκορύφωμά της, μια άλλη τεχνολογία θα προωθήσει την πρόοδο και θα ξεπεράσει την πρώτη. Καθώς αναπτύσσεται η γενετική τεχνητή νοημοσύνη, οι απαιτήσεις για σχετικές εφαρμογές θα αυξάνονται επίσης - από απαντήσεις υψηλής ποιότητας έως επεξήγηση έως λεπτομερή έλεγχο των δικαιωμάτων πρόσβασης στα δεδομένα, το απόρρητο και την ασφάλεια, η αξία των γραφημάτων γνώσης θα αυξηθεί επίσης.

Η εξέλιξη της γενετικής τεχνητής νοημοσύνης

Η επόμενη γενετική σας εφαρμογή AI πιθανότατα θα χρησιμοποιεί ένα γράφημα γνώσης.

Σύνδεσμος αναφοράς: https://neo4j.com/blog/graphrag-manifesto/