Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Νέα Έκθεση Σοφίας

Επιμέλεια: LRST

[Εισαγωγή στη Νέα Σοφία] Το UrbanGPT είναι ένα καινοτόμο χωροχρονικό μοντέλο γλώσσας μεγάλης κλίμακας που συνδυάζει χωροχρονικό κωδικοποιητή εξάρτησης και τεχνολογία μικρορύθμισης εντολών για να επιδείξει εξαιρετικές δυνατότητες γενίκευσης και ακρίβεια πρόβλεψης σε μια ποικιλία αστικών εργασιών. Αυτή η τεχνολογία ξεπερνά την εξάρτηση των παραδοσιακών μοντέλων σε μεγάλες ποσότητες δεδομένων με ετικέτα, παρέχει ακριβείς προβλέψεις ακόμα και όταν τα δεδομένα είναι σπάνια και παρέχει ισχυρή υποστήριξη για αστική διαχείριση και σχεδιασμό.

Η τεχνολογία χωροχρονικής πρόβλεψης είναι αφιερωμένη σε εις βάθος ανάλυση και πρόβλεψη δυναμικών αστικών περιβαλλόντων. Η τεχνολογία στοχεύει να αποκαλύψει μελλοντικές τάσεις και πρότυπα σε διάφορες πτυχές της αστικής ζωής, συμπεριλαμβανομένων των ποσοστών κυκλοφορίας, μετανάστευσης και εγκληματικότητας. Αν και πολλές μελέτες επικεντρώνονται στη χρήση νευρωνικών δικτύων για τη βελτίωση της ακρίβειας της πρόβλεψης χωροχρονικών δεδομένων, αυτές οι μέθοδοι συνήθως απαιτούν μεγάλες ποσότητες δεδομένων εκπαίδευσης για τη δημιουργία αξιόπιστων χωροχρονικών χαρακτηριστικών.

Ωστόσο, σε πραγματικά σενάρια αστικής παρακολούθησης, τα δεδομένα είναι συχνά ανεπαρκή, ειδικά σε ορισμένες περιπτώσεις, όπου καθίσταται πολύ δύσκολη η συλλογή δεδομένων με ετικέτα, επιδεινώνοντας περαιτέρω την πρόκληση. Ως εκ τούτου, είναι ιδιαίτερα κρίσιμο να αναπτυχθεί ένα μοντέλο που να μπορεί να προσαρμοστεί σε διαφορετικά χωροχρονικά πλαίσια και να έχει ισχυρές δυνατότητες γενίκευσης.

Εμπνευσμένοι από τη σημαντική πρόοδο των μεγάλων γλωσσικών μοντέλων (LLM) σε πολλαπλά πεδία, ερευνητές από το Πανεπιστήμιο του Χονγκ Κονγκ, το Τεχνολογικό Πανεπιστήμιο της Νότιας Κίνας και άλλα ιδρύματα κυκλοφόρησαν ένα νέο χωροχρονικό μοντέλο μεγάλης γλώσσας UrbanGPGT, το οποίο συνδυάζει χωροχρονικούς εξαρτώμενους κωδικοποιητές και λεπτομερείς οδηγίες Συνδυασμένη τεχνολογία συντονισμού, ο στόχος είναι η ανάπτυξη ενός χωροχρονικά μεγάλου γλωσσικού μοντέλου που μπορεί να εφαρμοστεί ευρέως σε αστικές εργασίες.

Σύνδεσμος έργου: https://urban-gpt.github.io/

Σύνδεσμος κωδικού: https://github.com/HKUDS/UrbanGPT

Σύνδεσμος χαρτιού: https://arxiv.org/abs/2403.00813

Προβολή βίντεο: https://www.bilibili.com/video/BV18K421v7ut

Αυτός ο συνδυασμός επιτρέπει στο μοντέλο να αποκτήσει μια βαθιά κατανόηση των πολύπλοκων σχέσεων στο χρόνο και στο χώρο και να παρέχει πιο ολοκληρωμένες και ακριβείς προβλέψεις όταν τα δεδομένα είναι περιορισμένα.

Για να ελέγξουμε την αποτελεσματικότητα αυτής της προσέγγισης, διεξάγουμε εκτεταμένα πειράματα σε πολλαπλά δημόσια σύνολα δεδομένων που περιλαμβάνουν μια ποικιλία εργασιών χωροχρονικής πρόβλεψης. Τα πειραματικά αποτελέσματα δείχνουν σταθερά ότι το UrbanGPT ξεπερνά σταθερά σε απόδοση τα υπάρχοντα κορυφαία μοντέλα. Αυτά τα αποτελέσματα καταδεικνύουν τις μεγάλες δυνατότητες αξιοποίησης μεγάλων γλωσσικών μοντέλων για χωροχρονική μάθηση όταν τα δεδομένα είναι λιγότερο επισημασμένα.

ΣΦΑΙΡΙΚΗ ΕΙΚΟΝΑ

Υπάρχουσες προκλήσεις

Γ1. Έλλειψη σημασμένων δεδομένων και υψηλό κόστος επανεκπαίδευσης:Αν και τα υπάρχοντα χωροχρονικά νευρωνικά δίκτυα έχουν καλή απόδοση από την άποψη της ακρίβειας πρόβλεψης, βασίζονται σε μεγάλο βαθμό σε μεγάλες ποσότητες επισημασμένων δεδομένων.

Σε πραγματικά αστικά περιβάλλοντα παρακολούθησης, η έλλειψη δεδομένων αποτελεί σημαντικό εμπόδιο. Για παράδειγμα, η ανάπτυξη αισθητήρων σε μια πόλη για την παρακολούθηση της ροής της κυκλοφορίας ή της ποιότητας του αέρα δεν είναι πρακτική λόγω ανησυχιών σχετικά με το κόστος. Επιπλέον, τα υπάρχοντα μοντέλα συχνά στερούνται επαρκών δυνατοτήτων γενίκευσης όταν αντιμετωπίζουν νέες εργασίες πρόβλεψης περιφερειακών ή πόλεων και πρέπει να επανεκπαιδευτούν για να δημιουργήσουν αποτελεσματικά χωροχρονικά χαρακτηριστικά.

C2 Τα μεγάλα γλωσσικά μοντέλα και τα υπάρχοντα χωροχρονικά μοντέλα έχουν ανεπαρκείς δυνατότητες γενίκευσης σε σενάρια μηδενικού δείγματος: Όπως φαίνεται στο Σχήμα 2, το μοντέλο μεγάλης γλώσσας LLaMA είναι σε θέση να συνάγει μοτίβα κυκλοφορίας με βάση το κείμενο εισαγωγής. Ωστόσο, μερικές φορές υποφέρει από σφάλματα πρόβλεψης όταν ασχολείται με δεδομένα αριθμητικών χρονοσειρών με πολύπλοκες χωροχρονικές εξαρτήσεις.

Ταυτόχρονα, ενώ τα προεκπαιδευμένα μοντέλα βασικής γραμμής αποδίδουν καλά στην κωδικοποίηση χωροχρονικών εξαρτήσεων, ενδέχεται να έχουν κακή απόδοση σε σενάρια μηδενικής λήψης λόγω υπερβολικής προσαρμογής στο σύνολο δεδομένων πηγής.

Γ3 Επεκτείνετε τις συλλογιστικές δυνατότητες των μεγάλων γλωσσικών μοντέλων στο πεδίο της χωροχρονικής πρόβλεψης: Υπάρχει σημαντική διαφορά μεταξύ της μοναδικής φύσης των χωροχρονικών δεδομένων και της γνώσης που κωδικοποιείται σε μεγάλα γλωσσικά μοντέλα. Το πώς να περιορίσετε αυτή τη διαφορά και στη συνέχεια να δημιουργήσετε ένα χωροχρονικό γλωσσικό μοντέλο μεγάλης κλίμακας με εξαιρετική ικανότητα γενίκευσης σε ένα ευρύ φάσμα αστικών εργασιών είναι ένα σημαντικό ζήτημα που πρέπει να επιλυθεί.

Εικόνα 1: Σε σύγκριση με το νευρωνικό δίκτυο LLM και χωροχρονικού γραφήματος, το UrbanGPT έχει καλύτερη απόδοση πρόβλεψης σε σενάρια μηδενικού δείγματος

Υπάρχουσες προκλήσεις

(1) Από όσο γνωρίζουμε, αυτή είναι η πρώτη προσπάθεια δημιουργίας ενός χωροχρονικά μεγάλου γλωσσικού μοντέλου ικανού να προβλέπει διάφορα αστικά φαινόμενα σε πολλαπλά σύνολα δεδομένων, ειδικά με περιορισμένα δεδομένα εκπαίδευσης.

(2) Αυτό το έγγραφο εισάγει ένα χωροχρονικό πλαίσιο πρόβλεψης που ονομάζεται UrbanGPT, το οποίο επιτρέπει στα μεγάλα γλωσσικά μοντέλα να κατανοήσουν σε βάθος τις πολύπλοκες συνδέσεις μεταξύ χρόνου και χώρου. Συνδυάζοντας στενά τον κωδικοποιητή χωροχρονικής εξάρτησης με την τεχνολογία λεπτομέρειας εντολών, οι χωροχρονικές πληροφορίες ενσωματώνονται αποτελεσματικά στο γλωσσικό μοντέλο.

(3) Εκτεταμένα πειράματα σε σύνολα δεδομένων πραγματικού κόσμου επαληθεύουν τις εξαιρετικές δυνατότητες γενίκευσης του UrbanGPT σε χωροχρονικά περιβάλλοντα μάθησης μηδενικής λήψης. Αυτά τα αποτελέσματα όχι μόνο καταδεικνύουν την αποτελεσματικότητα του μοντέλου στην πρόβλεψη και την κατανόηση των χωροχρονικών προτύπων, αλλά καταδεικνύουν επίσης την ικανότητά του να παρέχει ακριβείς προβλέψεις παρά την έλλειψη δειγμάτων.

μέθοδος

Εικόνα 2: Συνολικό πλαίσιο UrbanGPT

κωδικοποιητής χωροχρονικής εξάρτησης

Παρόλο που τα μεγάλα γλωσσικά μοντέλα έχουν επιτύχει αξιοσημείωτη επιτυχία στην επεξεργασία γλωσσικού κειμένου, εξακολουθούν να παρουσιάζουν προκλήσεις στην ανάλυση χρονικών αλλαγών και δυναμικών προτύπων στα χωροχρονικά δεδομένα.

Για την αντιμετώπιση αυτού του προβλήματος, αυτή η μελέτη προτείνει μια καινοτόμο προσέγγιση με την ενσωμάτωση κωδικοποιητών χωροχρονικής εξάρτησης για τη βελτίωση της ικανότητας μεγάλων γλωσσικών μοντέλων να καταγράφουν εξαρτήσεις χρονικής ακολουθίας σε χωροχρονικό πλαίσιο.

Συγκεκριμένα, ο χωροχρονικός κωδικοποιητής που σχεδιάσαμε αποτελείται από δύο βασικά στοιχεία: το ένα είναι ένα στρώμα περιέλιξης διάχυσης με πύλη και το άλλο ένα στρώμα έγχυσης συσχέτισης πολλαπλών επιπέδων.

Ο παραπάνω τύπος είναι η αρχικοποίηση χωροχρονική ενσωμάτωση, που προκύπτει από τα αρχικά χωροχρονικά δεδομένα. Το Er' είναι ένα κομμάτι του Er, που χρησιμοποιείται για την εκτέλεση υπολειπόμενων λειτουργιών για την ανακούφιση της εξαφάνισης της κλίσης.

Χρησιμοποιούμε μονοδιάστατες συνελίξεις διάχυσης για να κωδικοποιήσουμε χρονικούς συσχετισμούς.

Η συνάρτηση ενεργοποίησης σιγμοειδούς δ χρησιμοποιείται για τον έλεγχο του βαθμού διατήρησης πληροφοριών σε λειτουργίες συνέλιξης πολλαπλών επιπέδων.

Μετά από επεξεργασία από κλειστά χρονικά διασταλμένα συνελικτικά στρώματα, είμαστε σε θέση να συλλάβουμε με ακρίβεια τις εξαρτήσεις χρονοσειρών μέσα σε πολλαπλά διαδοχικά χρονικά βήματα, δημιουργώντας έτσι πλούσιες χρονικές αναπαραστάσεις χαρακτηριστικών. Αυτές οι αναπαραστάσεις καλύπτουν πολλαπλά επίπεδα χρονικών εξαρτήσεων, αποκαλύπτοντας μοτίβα χρονικής εξέλιξης σε διαφορετικά επίπεδα κοκκοποίησης.

Προκειμένου να διατηρηθούν πλήρως αυτές οι χρονικές πληροφορίες, εισάγουμε ένα στρώμα έγχυσης συσχέτισης πολλαπλών επιπέδων ειδικά σχεδιασμένο για να καταγράφει και να ενσωματώνει τις διασυνδέσεις μεταξύ διαφορετικών επιπέδων:

Μεταξύ αυτών είναι ο πυρήνας συνέλιξης της φόρμας Μετά τη διαδικασία κωδικοποίησης του στρώματος L, χρησιμοποιούμε ένα απλό γραμμικό στρώμα για να ενσωματώσουμε την έξοδο του στρώματος συνέλιξης με πύλη και το στρώμα έγχυσης συσχέτισης πολλαπλών επιπέδων και τελικά να δημιουργήσουμε τη χωροχρονική εξάρτηση. αναπαράσταση χαρακτηριστικών για

Για την αντιμετώπιση πολύπλοκων καταστάσεων που μπορεί να προκύψουν σε διάφορες αστικές σκηνές, ο χωροχρονικός κωδικοποιητής που σχεδιάστηκε σε αυτό το άρθρο δεν βασίζεται σε μια συγκεκριμένη δομή γραφήματος κατά την επεξεργασία του χωρικού συσχετισμού. Αυτό συμβαίνει επειδή σε ένα περιβάλλον πρόβλεψης μηδενικής βολής, οι χωρικές συνδέσεις μεταξύ οντοτήτων είναι συχνά άγνωστες ή δύσκολο να προβλεφθούν. Ένας τέτοιος σχεδιασμός επιτρέπει στο UrbanGPT να διατηρήσει την εφαρμοσιμότητα και την ευελιξία του σε ένα ευρύ φάσμα σεναρίων αστικών εφαρμογών.

Πλαίσιο μικρορύθμισης χωροχρονικών εντολών

Χωροχρονική στοίχιση δεδομένων-κειμένου

Για να μπορέσουν τα γλωσσικά μοντέλα να κατανοήσουν σε βάθος τη χωροχρονική δυναμική, η διασφάλιση της συνέπειας του περιεχομένου του κειμένου και των χωροχρονικών δεδομένων είναι καθοριστικής σημασίας. Αυτή η συνέπεια επιτρέπει στο μοντέλο να ενσωματώνει πολλαπλούς τύπους δεδομένων και να δημιουργεί πλουσιότερες αναπαραστάσεις δεδομένων. Συνδυάζοντας το περιεχόμενο κειμένου με τα συμφραζόμενα χαρακτηριστικά στον χωροχρονικό τομέα, το μοντέλο μπορεί όχι μόνο να συλλάβει συμπληρωματικές πληροφορίες, αλλά και να εξάγει υψηλότερου επιπέδου, πιο εκφραστικά σημασιολογικά χαρακτηριστικά.

Για να επιτευχθεί αυτό, αυτό το έγγραφο υιοθετεί μια ελαφριά ενότητα ευθυγράμμισης για την προβολή αναπαράστασης χωροχρονικής εξάρτησης.

Η λειτουργία προβολής εκτελείται χρησιμοποιώντας παραμέτρους γραμμικού επιπέδου, όπου το dL αντιπροσωπεύει την κρυφή διάσταση που χρησιμοποιείται συνήθως σε μεγάλα γλωσσικά μοντέλα. Η προβολή που προκύπτει αντιπροσωπεύεται από ειδικούς δείκτες στην οδηγία: , ,..., , . Εδώ, και είναι ειδικά σύμβολα που χρησιμοποιούνται για να επισημάνουν την αρχή και το τέλος των χωροχρονικών πληροφοριών. Μπορούν να ενσωματωθούν σε μεγάλα γλωσσικά μοντέλα επεκτείνοντας το λεξιλόγιο.

Το σύμβολο κράτησης θέσης αντιπροσωπεύει τη χωροχρονική ετικέτα, η οποία αντιστοιχεί στο διάνυσμα H στο κρυφό στρώμα. Χρησιμοποιώντας αυτή την τεχνική, το μοντέλο είναι σε θέση να αναγνωρίσει χωροχρονικές εξαρτήσεις, γεγονός που ενισχύει σημαντικά την ικανότητά του να εκτελεί εργασίες χωροχρονικής πρόβλεψης σε αστικά περιβάλλοντα.

Άμεσες οδηγίες χρόνου και χώρου

Όταν γίνονται χωροχρονικές προβλέψεις, τόσο τα χρονικά όσο και τα χωρικά δεδομένα περιέχουν βασικές σημασιολογικές πληροφορίες, οι οποίες είναι ζωτικής σημασίας για το μοντέλο να καταγράφει τα χωροχρονικά μοτίβα σε συγκεκριμένες καταστάσεις.

Για παράδειγμα, η ροή της κυκλοφορίας αλλάζει σημαντικά το πρωί και τις ώρες αιχμής και τα μοτίβα κυκλοφορίας ποικίλλουν μεταξύ εμπορικών και οικιστικών περιοχών. Επομένως, η εισαγωγή πληροφοριών χρόνου και χώρου ως άμεσου κειμένου στην εργασία χωροχρονικής πρόβλεψης μπορεί να βελτιώσει σημαντικά το αποτέλεσμα πρόβλεψης του μοντέλου. Αξιοποιούμε την τεχνογνωσία μεγάλων γλωσσικών μοντέλων στην κατανόηση κειμένου για την επεξεργασία αυτών των πληροφοριών.

Στην αρχιτεκτονική του UrbanGPT, ενσωματώνουμε χρονικά δεδομένα και χωρικές λεπτομέρειες διαφορετικών λεπτομερειών ως εισαγωγή οδηγιών για μεγάλα γλωσσικά μοντέλα. Οι πληροφορίες ώρας καλύπτουν ημερομηνίες και συγκεκριμένα χρονικά σημεία σε μια εβδομάδα, ενώ οι χωρικές πληροφορίες περιλαμβάνουν περιοχές πόλεων, διοικητικές διαιρέσεις και γύρω σημεία ενδιαφέροντος (POI), όπως φαίνεται στο Σχήμα 3.

Με την ενσωμάτωση αυτών των διαφορετικών στοιχείων, το UrbanGPT μπορεί να αναγνωρίσει και να κατανοήσει σε βάθος τη χωροχρονική δυναμική διαφορετικών περιοχών και χρονικών περιόδων σε πολύπλοκα χωροχρονικά υπόβαθρα, βελτιώνοντας έτσι τις συλλογιστικές του δυνατότητες σε καταστάσεις μηδενικού δείγματος.

Σχήμα 3: Χωροχρονικές εντολές σηματοδότησης που κωδικοποιούν πληροφορίες σχετικά με το χρόνο και τη θέση

Βελτιστοποίηση χωροχρονικής διδασκαλίας για μεγάλα γλωσσικά μοντέλα

Υπάρχουν δύο μεγάλες προκλήσεις κατά τη χρήση οδηγιών για τη βελτιστοποίηση μοντέλων μεγάλων γλωσσών (LLM) για τη δημιουργία χωροχρονικά προβλεπόμενων περιγραφών κειμένου. Από τη μία πλευρά, η χωροχρονική πρόβλεψη βασίζεται συνήθως σε αριθμητικά δεδομένα των οποίων οι δομές και τα μοτίβα διαφέρουν από τις σημασιολογικές και συντακτικές σχέσεις στις οποίες είναι καλά τα γλωσσικά μοντέλα στην επεξεργασία φυσικής γλώσσας.

Από την άλλη πλευρά, τα LLM συνήθως χρησιμοποιούν συναρτήσεις απώλειας πολλαπλών ταξινομήσεων για να προβλέψουν λέξεις στο στάδιο προ-εκπαίδευσης, το οποίο έχει ως αποτέλεσμα τη δημιουργία κατανομών πιθανοτήτων των λέξεων, ενώ οι εργασίες χωροχρονικής πρόβλεψης απαιτούν την έξοδο συνεχών τιμών.

Για να ξεπεράσει αυτά τα προβλήματα, το UrbanGPT ακολουθεί μια καινοτόμο προσέγγιση. Δεν προβλέπει άμεσα μελλοντικές χωροχρονικές τιμές, αλλά δημιουργεί βοηθητικούς δείκτες πρόβλεψης. Αυτοί οι δείκτες στη συνέχεια υποβάλλονται σε επεξεργασία μέσω ενός επιπέδου παλινδρόμησης που μετατρέπει την αναπαράσταση κρυφού επιπέδου του μοντέλου σε πιο ακριβείς προβλέψεις. Αυτή η προσέγγιση επιτρέπει στο UrbanGPT να εκτελεί χωροχρονικές προβλέψεις πιο αποτελεσματικά.

Η κρυφή αναπαράσταση του σημείου πρόβλεψης στον παραπάνω τύπο εκφράζεται με , όπου το σημάδι πρόβλεψης μπορεί να εισαχθεί επεκτείνοντας το λεξιλόγιο του LLM. Τα W1, W2 και W3 είναι οι πίνακες βάρους του στρώματος παλινδρόμησης και το [⋅,⋅] είναι η λειτουργία ματίσματος.

πείραμα

Μηδενική απόδοση πρόβλεψης δείγματος

Προβλέψεις για αόρατες περιοχές εντός της ίδιας πόλης

Στη διαπεριφερειακή πρόβλεψη, χρησιμοποιούμε δεδομένα από ορισμένες περιοχές εντός της ίδιας πόλης για να προβλέψουμε μελλοντικές συνθήκες σε άλλες περιοχές που δεν έχουν αγγίξει το μοντέλο. Μέσα από μια εις βάθος ανάλυση της απόδοσης του μοντέλου σε τέτοιες εργασίες πρόβλεψης μεταξύ περιοχών, σημειώνουμε:

(1) Εξαιρετική ικανότητα πρόβλεψης μηδενικού δείγματος. Τα δεδομένα στον Πίνακα 1 καταδεικνύουν την εξαιρετική απόδοση του προτεινόμενου μοντέλου πέρα ​​από το βασικό μοντέλο σε εργασίες παλινδρόμησης και ταξινόμησης σε διαφορετικά σύνολα δεδομένων. Η εξαιρετική απόδοση του UrbanGPT αποδίδεται κυρίως σε δύο βασικά στοιχεία.

i) Χωροχρονική στοίχιση δεδομένων-κειμένου. Η ευθυγράμμιση των χωροχρονικών συμφραζόμενων σημάτων με τις δυνατότητες κατανόησης κειμένου του γλωσσικού μοντέλου είναι κρίσιμη για την επιτυχία του μοντέλου. Αυτή η ενοποίηση επιτρέπει στο μοντέλο να κάνει πλήρη χρήση αστικών δυναμικών πληροφοριών που κωδικοποιούνται από χωροχρονικά σήματα, ενώ τις συνδυάζει με τη βαθιά κατανόηση του κειμενικού πλαισίου από μεγάλα γλωσσικά μοντέλα, επεκτείνοντας έτσι τις προγνωστικές δυνατότητες του μοντέλου σε σενάρια μηδενικού δείγματος.

ii) Τελειοποίηση χωροχρονικών οδηγιών. Μέσω της προσαρμοστικής προσαρμογής, τα LLM μπορούν να απορροφήσουν πιο αποτελεσματικά βασικές πληροφορίες στις οδηγίες και να βελτιώσουν την κατανόησή τους για τη σύνθετη σχέση μεταξύ παραγόντων χώρου και χρόνου. Συνδυάζοντας λεπτομερή συντονισμό χωροχρονικών οδηγιών και κωδικοποιητές χωροχρονικής εξάρτησης, το UrbanGPT διατηρεί επιτυχώς καθολική και μεταβιβάσιμη χωροχρονική γνώση και επιτυγχάνει ακριβείς προβλέψεις σε σενάρια μηδενικού δείγματος.

(2) Σε βάθος κατανόηση της αστικής σημασιολογίας. Η αστική σημασιολογία παρέχει βαθιές γνώσεις για τις ιδιότητες του χώρου και του χρόνου. Με την εκπαίδευση του μοντέλου σε πολλαπλά σύνολα δεδομένων, ενισχύεται η κατανόησή του για τη χωροχρονική δυναμική σε διαφορετικές χρονικές περιόδους και γεωγραφικές τοποθεσίες.

Αντίθετα, τα παραδοσιακά βασικά μοντέλα συνήθως εστιάζουν περισσότερο στην κωδικοποίηση χωροχρονικών εξαρτήσεων, ενώ αγνοούν τις σημασιολογικές διαφορές μεταξύ περιοχών, περιόδων και τύπων δεδομένων. Ενσωματώνοντας πλούσιες σημασιολογικές πληροφορίες στο UrbanGPT, βελτιώνουμε σημαντικά την ικανότητά του να κάνει ακριβείς προβλέψεις μηδενικής λήψης σε αόρατες περιοχές.

(3) Βελτιώστε την απόδοση πρόβλεψης σε αραιά περιβάλλοντα δεδομένων. Η πρόβλεψη χωροχρονικών μοτίβων σε περιβάλλοντα με αραιά σημεία δεδομένων είναι πρόκληση, κυρίως επειδή τα μοντέλα τείνουν να ταιριάζουν υπερβολικά σε τέτοιες καταστάσεις. Για παράδειγμα, σε σενάρια όπως η πρόβλεψη εγκλήματος, τα δεδομένα είναι συχνά αραιά, γεγονός που κάνει το βασικό μοντέλο να έχει κακή απόδοση σε διαπεριφερειακές εργασίες πρόβλεψης και έχει χαμηλό ποσοστό ανάκλησης, υποδηλώνοντας ότι μπορεί να υπάρχει πρόβλημα υπερπροσαρμογής.

Για την αντιμετώπιση αυτής της πρόκλησης, το μοντέλο μας υιοθετεί μια καινοτόμο στρατηγική που συνδυάζει τη χωροχρονική μάθηση με ένα μεγάλο γλωσσικό μοντέλο και το βελτιστοποιεί μέσω μιας αποτελεσματικής μεθόδου προσαρμογής χωροχρονικής διδασκαλίας. Αυτή η προσέγγιση ενισχύει την ικανότητα του μοντέλου να κατανοεί και να αναπαριστά χωροχρονικά δεδομένα ενσωματώνοντας πλούσιες σημασιολογικές πληροφορίες, επιτρέποντάς του να χειρίζεται αραιά δεδομένα πιο αποτελεσματικά και να βελτιώνει σημαντικά την ακρίβεια πρόβλεψης.

Πίνακας 1: Σύγκριση απόδοσης σεναρίου πρόβλεψης μηδενικού δείγματος σε διαπεριφερειακό επίπεδο

Εργασίες πρόβλεψης μεταξύ πόλεων

Προκειμένου να ελέγξουμε την προγνωστική ικανότητα του μοντέλου σε διαφορετικές πόλεις, επιλέξαμε το σύνολο δεδομένων ταξί του Σικάγο για πειραματική επαλήθευση. (Σημειώστε ότι αυτό το σύνολο δεδομένων δεν χρησιμοποιήθηκε στη φάση της εκπαίδευσης). Όπως φαίνεται στο Σχήμα 4, τα αποτελέσματα της δοκιμής δείχνουν ότι το μοντέλο παρουσιάζει καλύτερη απόδοση από τις συγκριτικές μεθόδους σε όλα τα χρονικά σημεία, γεγονός που αποδεικνύει την αποτελεσματικότητα του UrbanGPT στη μεταφορά γνώσης μεταξύ πόλεων.

Συνδυάζοντας τον χωροχρονικό κωδικοποιητή με την τεχνολογία μικρορύθμισης χωροχρονικών εντολών, το μοντέλο μπορεί να συλλάβει τους χωροχρονικούς νόμους που συνυπάρχουν με την καθολικότητα και την ιδιαιτερότητα, κάνοντας έτσι πιο ακριβείς προβλέψεις. Επιπλέον, το μοντέλο μπορεί να συνδέσει χωροχρονικά μοτίβα σε διαφορετικές λειτουργικές περιοχές και ιστορικές περιόδους εξετάζοντας συνολικά διαφορετικές γεωγραφικές τοποθεσίες, χρονικούς παράγοντες και μεταφορά γνώσης. Αυτή η ολοκληρωμένη χωροχρονική κατανόηση παρέχει βασικές γνώσεις για ακριβείς προβλέψεις μηδενικής βολής σε σενάρια μεταξύ των πόλεων.

Εικόνα 4: Σύγκριση απόδοσης σεναρίου πρόβλεψης μηδενικού δείγματος μεταξύ πόλεων

Τυπικές εποπτευόμενες εργασίες πρόβλεψης

Αυτό το κεφάλαιο εστιάζει στην απόδοση του UrbanGPT σε ένα πλήρως εποπτευόμενο περιβάλλον πρόβλεψης Συγκεκριμένα, αξιολογούμε την επίδραση του μοντέλου σε εργασίες μακροπρόθεσμης χωροχρονικής πρόβλεψης χρησιμοποιώντας ένα σύνολο δεδομένων δοκιμής με μεγάλο χρονικό διάστημα. Για παράδειγμα, το μοντέλο εκπαιδεύεται χρησιμοποιώντας δεδομένα του 2017 και δοκιμάζεται σε δεδομένα του 2021.

Τα αποτελέσματα των δοκιμών δείχνουν ότι το UrbanGPT ξεπερνά σημαντικά το βασικό μοντέλο σε εργασίες πρόβλεψης μακροπρόθεσμου χρονικού διαστήματος, γεγονός που υπογραμμίζει την εξαιρετική του ικανότητα γενίκευσης όταν ασχολείται με μακροπρόθεσμες προβλέψεις. Αυτή η δυνατότητα μειώνει την ανάγκη για συχνή επανεκπαίδευση ή σταδιακές ενημερώσεις, καθιστώντας το μοντέλο πιο κατάλληλο για πρακτικά σενάρια εφαρμογής. Επιπλέον, πειραματικά αποτελέσματα επιβεβαιώνουν επίσης ότι η εισαγωγή πρόσθετων πληροφοριών κειμένου όχι μόνο δεν επηρεάζει την απόδοση του μοντέλου, αλλά επίσης δεν εισάγει θόρυβο, γεγονός που αποδεικνύει περαιτέρω την αποτελεσματικότητα της χρήσης μεγάλων γλωσσικών μοντέλων για τη βελτίωση των εργασιών χωροχρονικής πρόβλεψης.

Πίνακας 2: Αξιολόγηση απόδοσης πρόβλεψης σε εποπτευόμενη ρύθμιση από άκρο σε άκρο

πείραμα αφαίρεσης

(1) Η σημασία του χωροχρονικού πλαισίου: STC. Όταν αφαιρέθηκαν οι χωροχρονικές πληροφορίες από το κείμενο των οδηγιών, η απόδοση του μοντέλου μειώθηκε. Αυτό μπορεί να οφείλεται στην έλλειψη χρονικών πληροφοριών, γεγονός που κάνει το μοντέλο να βασίζεται μόνο στον χωροχρονικό κωδικοποιητή για την επεξεργασία χαρακτηριστικών που σχετίζονται με το χρόνο και την εκτέλεση εργασιών πρόβλεψης. Ταυτόχρονα, η έλλειψη χωρικών πληροφοριών περιορίζει επίσης την ικανότητα του μοντέλου να συλλαμβάνει χωρικούς συσχετισμούς, καθιστώντας πιο δύσκολη την ανάλυση χωροχρονικών προτύπων σε διαφορετικές περιοχές.

(2) Η επίδραση της μικρορύθμισης εντολών συνόλων πολλαπλών δεδομένων: Multi. Εκπαιδεύουμε το μοντέλο μόνο στο σύνολο δεδομένων NYC-taxi. Η έλλειψη πληροφοριών για άλλους αστικούς δείκτες περιορίζει την ικανότητα του μοντέλου να αποκαλύψει την αστική χωροχρονική δυναμική. Επομένως, το μοντέλο έχει κακή απόδοση. Ενσωματώνοντας διαφορετικά χωροχρονικά δεδομένα από διαφορετικές πόλεις, το μοντέλο μπορεί να αποτυπώσει πιο αποτελεσματικά τα μοναδικά χαρακτηριστικά και την εξέλιξη των χωροχρονικών προτύπων σε διαφορετικές γεωγραφικές τοποθεσίες.

(3) Ο ρόλος του κωδικοποιητή χωροχρόνου: STE. Όταν ο χωροχρονικός κωδικοποιητής αφαιρεθεί από το μοντέλο, τα αποτελέσματα δείχνουν ότι αυτή η απουσία μειώνει σημαντικά την προγνωστική ισχύ των μεγάλων γλωσσικών μοντέλων σε εργασίες χωροχρονικής πρόβλεψης. Αυτό υπογραμμίζει τον βασικό ρόλο των χωροχρονικών κωδικοποιητών στη βελτίωση της απόδοσης πρόβλεψης του μοντέλου.

(4) Στρώμα παλινδρόμησης στη λεπτομέρεια εντολών: T2P. Δίνουμε οδηγίες στο UrbanGPT να εξάγει απευθείας τα αποτελέσματα πρόβλεψής του σε μορφή κειμένου. Η κακή απόδοση του μοντέλου οφείλεται κυρίως στην εξάρτηση από συναρτήσεις απώλειας πολλαπλών κλάσεων για βελτιστοποίηση κατά τη διάρκεια της εκπαιδευτικής διαδικασίας, γεγονός που οδηγεί σε αναντιστοιχία μεταξύ της κατανομής πιθανότητας της εξόδου του μοντέλου και της συνεχούς κατανομής τιμών που απαιτείται για εργασίες χωροχρονικής πρόβλεψης. Για να λύσουμε αυτό το πρόβλημα, εισαγάγαμε έναν προγνωστικό παλινδρόμησης στο μοντέλο, ο οποίος βελτιώνει σημαντικά την ικανότητα του μοντέλου να δημιουργεί πιο ακριβείς αριθμητικές προβλέψεις σε εργασίες παλινδρόμησης.

Εικόνα 5: Πείραμα αφαίρεσης UrbanGPT

Μελέτη ευρωστίας μοντέλου

Σε αυτήν την ενότητα, αξιολογούμε τη σταθερότητα του UrbanGPT στο χειρισμό διαφορετικών σεναρίων χωροχρονικών προτύπων. Διακρίνουμε περιοχές με βάση το μέγεθος των αλλαγών στις αξίες (όπως κίνηση ταξί) κατά τη διάρκεια μιας συγκεκριμένης χρονικής περιόδου. Μια μικρότερη διακύμανση συνήθως σημαίνει ότι η περιοχή έχει ένα σταθερό χρονικό μοτίβο, ενώ μια μεγαλύτερη διακύμανση υποδηλώνει ότι η περιοχή έχει ένα πιο ποικίλο χωροχρονικό μοτίβο, το οποίο είναι κοινό σε εμπορικά ενεργές περιοχές ή πυκνοκατοικημένες περιοχές.

Όπως φαίνεται στο Σχήμα 6, τα περισσότερα μοντέλα έχουν καλή απόδοση σε περιοχές με χαμηλότερη διακύμανση επειδή τα χωροχρονικά μοτίβα σε αυτές τις περιοχές είναι πιο συνεπή και προβλέψιμα. Ωστόσο, το βασικό μοντέλο έχει κακή απόδοση σε περιοχές με υψηλότερη διακύμανση, ειδικά σε περιοχές όπου η διακύμανση είναι στο διάστημα (0,75, 1,0], γεγονός που μπορεί να οφείλεται στο ότι το βασικό μοντέλο δυσκολεύεται να συναγάγει με ακρίβεια τα πολύπλοκα χωροχρονικά μοτίβα σε αυτές τις περιοχές Σε σενάριο μηδενικού δείγματος, όπως ο έλεγχος σημάτων κυκλοφορίας και η αποστολή ασφαλείας, η ακριβής πρόβλεψη των πυκνοκατοικημένων ή ευημερούντων περιοχών είναι ζωτικής σημασίας, το UrbanGPT παρουσιάζει σημαντική βελτίωση απόδοσης στο διάστημα (0,75, 1,0), το οποίο αποδεικνύει την απόδοσή του σε μηδενικά δείγματα. Ισχυρή ικανότητα πρόβλεψης σεναρίων.

Εικόνα 6: Μελέτη ευρωστίας μοντέλου

μελέτη περίπτωσης

Η μελέτη περίπτωσης αξιολογεί την αποτελεσματικότητα διαφορετικών γλωσσικών μοντέλων μεγάλης κλίμακας σε σενάρια χωροχρονικής πρόβλεψης μηδενικού δείγματος και τα αποτελέσματα φαίνονται στον Πίνακα 3. Τα αποτελέσματα της έρευνας δείχνουν ότι διάφοροι τύποι LLM είναι σε θέση να παράγουν προβλέψεις με βάση τις παρεχόμενες οδηγίες, οι οποίες επαληθεύουν την αποτελεσματικότητα του γρήγορου σχεδιασμού.

Συγκεκριμένα, το ChatGPT βασίζεται κυρίως σε ιστορικούς μέσους όρους όταν κάνει προβλέψεις, χωρίς να ενσωματώνει ρητά χρονικά ή χωρικά δεδομένα στο μοντέλο πρόβλεψής του. Αν και ήταν ικανός να αναλύει συγκεκριμένες χρονικές περιόδους και περιοχές, το Llama-2-70b αντιμετώπισε προκλήσεις στον χειρισμό των εξαρτήσεων σε αριθμητικές χρονοσειρές, οι οποίες επηρέασαν την ακρίβεια των προβλέψεών του.

Αντίθετα, το Claude-2.1 είναι σε θέση να συνοψίζει και να αναλύει τα ιστορικά δεδομένα πιο αποτελεσματικά, αξιοποιώντας μοτίβα ωρών αιχμής και σημεία ενδιαφέροντος για να επιτύχει πιο ακριβείς προβλέψεις τάσεων επισκεψιμότητας.

Το UrbanGPT που προτείναμε συνδυάζει στενά τα χωροχρονικά σήματα περιβάλλοντος με τις συλλογιστικές δυνατότητες μεγάλων γλωσσικών μοντέλων μέσω του μικροσυντονισμού χωροχρονικών εντολών, που βελτιώνει σημαντικά την ακρίβεια πρόβλεψης αριθμητικών τιμών και χωροχρονικών τάσεων. Αυτά τα ευρήματα υπογραμμίζουν τη δυνατότητα και την αποτελεσματικότητα του UrbanGPT στην αποτύπωση καθολικών χωροχρονικών προτύπων, καθιστώντας δυνατή τη χωροχρονική πρόβλεψη μηδενικού δείγματος.

Πίνακας 3: Περίπτωση πρόβλεψης μηδενικού δείγματος κυκλοφορίας ποδηλάτων στην πόλη της Νέας Υόρκης από διαφορετικούς LLM

Περίληψη και Outlook

Αυτή η μελέτη προτείνει το UrbanGPT, ένα χωροχρονικό γλωσσικό μοντέλο μεγάλης κλίμακας με καλή ικανότητα γενίκευσης σε διαφορετικά αστικά περιβάλλοντα. Προκειμένου να επιτευχθεί απρόσκοπτη ενσωμάτωση σημάτων χωροχρονικού πλαισίου και μοντέλων μεγάλων γλωσσών (LLM), αυτό το έγγραφο προτείνει μια καινοτόμο μέθοδο προσαρμογής χωροχρονικών εντολών. Αυτή η προσέγγιση δίνει στο UrbanGPT τη δυνατότητα να μαθαίνει καθολικά και μεταβιβάσιμα χωροχρονικά μοτίβα σε διάφορα αστικά δεδομένα. Μέσα από εκτεταμένη πειραματική ανάλυση, αποδεικνύεται η αποτελεσματικότητα και η αποτελεσματικότητα της αρχιτεκτονικής UrbanGPT και των βασικών στοιχείων της.

Αν και τα τρέχοντα αποτελέσματα είναι ενθαρρυντικά, εξακολουθούν να υπάρχουν ορισμένες προκλήσεις που πρέπει να ξεπεραστούν σε μελλοντική έρευνα. Πρώτον, θα συλλέξουμε ενεργά περισσότερους τύπους αστικών δεδομένων για να βελτιώσουμε τις δυνατότητες εφαρμογής του UrbanGPT σε ένα ευρύτερο φάσμα πεδίων αστικών υπολογιστών. Δεύτερον, είναι εξίσου σημαντικό να κατανοήσουμε τον μηχανισμό λήψης αποφάσεων του UrbanGPT. Αν και το μοντέλο έχει καλές επιδόσεις, η παροχή ερμηνευσιμότητας των προβλέψεων του μοντέλου είναι επίσης μια βασική κατεύθυνση για μελλοντική έρευνα. Οι μελλοντικές εργασίες θα αφιερωθούν στο να δοθεί η δυνατότητα στο UrbanGPT να εξηγήσει τα αποτελέσματα πρόβλεψής του, αυξάνοντας έτσι τη διαφάνεια και την εμπιστοσύνη των χρηστών.

Βιβλιογραφικές αναφορές:

https://arxiv.org/abs/2403.00813