Νέα

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Αναφορά Μηχανικής Καρδιάς

Τμήμα Σύνταξης Machine Heart

Το arXiv δεν είναι περιοδικό με κριτές, επομένως τα άρθρα που δημοσιεύονται στο arXiv δεν χρειάζεται να αναφέρονται.

Εάν ενδιαφέρεστε για πράκτορες AI, πρέπει να γνωρίζετε το AutoGen της Microsoft. Είναι ένα πλαίσιο προγραμματισμού ανοιχτού κώδικα για τη δημιουργία πρακτόρων AI που επιτρέπει σε πολλούς πράκτορες να επιλύουν εργασίες μέσω συνομιλίας. Στο μεταξύ, ο πράκτορας LLM μπορεί να παίξει πολλούς ρόλους, όπως προγραμματιστή, σχεδιαστή ή συνδυασμό διαφόρων ρόλων.

Στο GitHub, αυτό το έργο έχει λάβει 28.000 αστέρια και η εφημερίδα κέρδισε επίσης το Βραβείο Καλύτερης Χαρτιού στο ICLR 2024 LLM Agent Workshop.

Ωστόσο, υπάρχει στην πραγματικότητα διαμάχη πίσω από αυτό το έγγραφο.

Τον Νοέμβριο του 2023, ένας ερευνητής τεχνητής νοημοσύνης (Ph.D. από το Πανεπιστήμιο Επιστήμης και Τεχνολογίας King Abdullah, Li Guohao, ο εμπνευστής των έργων ανοιχτού κώδικα Camel-AI.org και DeepGCNs.org) δημοσίευσε ότι επειδή το AutoGen είναι πολύ παρόμοιο με τους χάρτινη ΚΑΜΕΛΑ, αυτά Κάθε φορά που παρακολουθώ μια εκδήλωση με ρωτούν, ποια είναι η διαφορά μεταξύ των δύο;

Από αυτή την άποψη, ο Li Guohao εξέφρασε την απογοήτευσή του επειδή η εργασία τους δημοσιεύτηκε στο arXiv πολύ νωρίτερα από το AutoGen, αλλά τώρα θεωρείται ως μιμητής του AutoGen (το CAMEL κυκλοφόρησε τον Μάρτιο του 2023, το AutoGen κυκλοφόρησε τον Αύγουστο του 2023) .

Σύνδεσμος χαρτιού: https://arxiv.org/abs/2303.17760

Σύνδεσμος χαρτιού: https://arxiv.org/pdf/2308.08155

Σύμφωνα με τον Li Guohao, οι δύο μέθοδοι έχουν τις ακόλουθες ομοιότητες:

Ακόμη και τα παραδείγματα που χρησιμοποιήθηκαν είναι κάπως παρόμοια:

Ως αργοπορημένος, η AutoGen ανέφερε όντως την CAMEL στο έγγραφο και επεσήμανε ορισμένες διαφορές μεταξύ της CAMEL και της AutoGen. Αλλά όπου εμφανίζονται αυτά είναι αινιγματικό - εμφανίζονται στο παράρτημα. Αυτός μπορεί επίσης να είναι ένας σημαντικός λόγος για τον οποίο άλλοι ερευνητές γνωρίζουν μόνο το AutoGen αλλά όχι το CAMEL. Τελικά πόσοι θα διαβάσουν προσεκτικά το παράρτημα;

Παράγραφοι που αναφέρουν το CAMEL στο έγγραφο του AutoGen: "Το CAMEL (Li et al., 2023b) είναι ένα πλαίσιο πρακτόρων επικοινωνίας που δείχνει πώς να χρησιμοποιείτε το παιχνίδι ρόλων για να επιτρέπετε στους συνομιλητές να επικοινωνούν μεταξύ τους για να ολοκληρώσουν εργασίες. Η ανάλυση συμπεριφοράς και η κατανόηση των δυνατοτήτων της CAMEL χρησιμοποιεί μια τεχνολογία «αρχικής προτροπής» για την επίτευξη αυτόνομης συνεργασίας μεταξύ των πρακτόρων. Σε αντίθεση με το AutoGen, το CAMEL δεν υποστηρίζει εγγενώς τη χρήση εργαλείων (όπως η εκτέλεση κώδικα). Αν και το CAMEL προτείνεται ως υποδομή για διάλογο πολλαπλών πρακτόρων, υποστηρίζει μόνο στατικές λειτουργίες διαλόγου, ενώ το AutoGen υποστηρίζει επίσης λειτουργίες δυναμικού διαλόγου. "

Ο Πίνακας 1 συνοψίζει τις διαφορές μεταξύ του AutoGen και άλλων σχετικών πολλαπλών πρακτόρων: ο ένας είναι η υποδομή, δηλαδή εάν το σύστημα έχει σχεδιαστεί για να είναι μια κοινή υποδομή για τη δημιουργία εφαρμογών LLM , δηλαδή, το σύστημα υποστηρίζει τον τύπο λειτουργίας. Σε "στατική" λειτουργία, η τοπολογία του πράκτορα παραμένει αμετάβλητη ανεξάρτητα από την είσοδο. Το AutoGen επιτρέπει ευέλικτες λειτουργίες συνομιλίας, συμπεριλαμβανομένων στατικών και δυναμικών λειτουργιών που μπορούν να προσαρμοστούν για διαφορετικές ανάγκες εφαρμογών. Το τρίτο είναι η δυνατότητα εκτέλεσης, δηλαδή, εάν το σύστημα μπορεί να εκτελέσει τον κώδικα που δημιουργείται από το LLM, το τέταρτο είναι η μη αυτόματη συμμετοχή, αν (και πώς) το σύστημα επιτρέπει την ανθρώπινη συμμετοχή στη διαδικασία εκτέλεσης. Το AutoGen επιτρέπει στους ανθρώπους να συμμετέχουν ευέλικτα σε συνομιλίες πολλών πρακτόρων και επιτρέπει στους ανθρώπους να επιλέξουν να παραλείψουν την παροχή πληροφοριών.

Παράγραφοι από το έγγραφο AutoGen που αναφέρουν το CAMEL: "Το AutoGen μπορεί να βοηθήσει στην ανάπτυξη πρακτόρων υψηλής ικανότητας που εκμεταλλεύονται πλήρως το LLM, τα εργαλεία και τους ανθρώπους. Η δημιουργία τέτοιων πρακτόρων είναι απαραίτητη για τη διασφάλιση ότι οι ροές εργασίας πολλών πρακτόρων μπορούν να αντιμετωπίσουν αποτελεσματικά και να λύσουν προβλήματα. Είναι ζωτικής σημασίας Για παράδειγμα, παρατηρήσαμε ότι ένα άλλο σύστημα LLM πολλαπλών πρακτόρων, το CAMEL, απέτυχε να λύσει αποτελεσματικά το πρόβλημα στις περισσότερες περιπτώσεις, κυρίως επειδή δεν είχε τη δυνατότητα εκτέλεσης εργαλείων ή κώδικα Δεν αρκεί για να έχουμε απλούς διαλόγους με ρόλους και διαλόγους πολλαπλών πρακτόρων. Πρέπει επίσης να υπάρχουν προηγμένοι ικανοί πράκτορες με διάφορες δεξιότητες. γνώση βιβλιοθηκών και η δημιουργία πρακτόρων που μπορούν να ανακαλύψουν και να βελτιώσουν τις δικές τους δεξιότητες.

Κατά την ανασκόπηση του AutoGen που υποβλήθηκε στην κύρια συνεδρίαση της ICLR, ο συγγραφέας του CAMEL Li Guohao επεσήμανε αυτό το πρόβλημα στην περιοχή των δημόσιων σχολίων και τόνισε ότι αυτό ήταν μια "αξιοσημείωτη παράλειψη".

Στα σχόλια ανασκόπησης για το AutoGen, οι αναθεωρητές της ICLR και οι έδρες της περιοχής επεσήμαναν επίσης την ακατάλληλη αυτής της προσέγγισης.

Σε αυτό, ο Πρόεδρος Περιοχής γράφει, "Οι συγγραφείς συζητούν αυτό το έργο στο παράρτημα, αλλά αυτή η πρακτική δεν συνιστάται επειδή το συμπληρωματικό υλικό δεν εξετάζεται στο ίδιο επίπεδο με το άρθρο. Εν ολίγοις, αυτό φαίνεται να επιτρέπει στους συγγραφείς να λένε ανέφεραν και συζήτησαν την εργασία, αλλά το να μην το αναφέρουν και να το συζητήσουν στα μέρη της εφημερίδας που το 99% των ανθρώπων είναι πιθανό να διαβάσουν είναι ανησυχητικό».

Γιατί λοιπόν ο συγγραφέας του AutoGen το έκανε αυτό; Απάντησαν ότι όταν υπέβαλαν την εργασία τους στο ICLR 2024, η CAMEL και άλλες εργασίες δεν είχαν ακόμη δημοσιευθεί σε συνέδρια/περιοδικά με κριτές. Σύμφωνα με τις κατευθυντήριες οδηγίες του ICLR 2024 Reviewer, δεν έχουν καμία υποχρέωση να παραθέσουν ή να συγκρίνουν με αυτό το έγγραφο (το CAMEL έγινε αποδεκτό από το NeurIPS 2023 τον Σεπτέμβριο του 2023· οι Οδηγίες του ICLR 2024 Reviewer ορίζουν ότι οι εργασίες που δημοσιεύθηκαν μετά τις 28 Μαΐου 2023 δεν απαιτείται αναφορά).

Ταυτόχρονα, απαρίθμησαν τα μέρη της εφημερίδας που αφορούν το CAMEL:

Δεδομένου ότι οι κανονισμοί της ICLR έρχονται πρώτοι, η καρέκλα της περιοχής δεν μπορεί να πει πολλά. Έγραψε, "Ενώ κατανοώ το σκεπτικό πίσω από αυτήν την πολιτική, στο τρέχον εκδοτικό κλίμα μπορεί να οδηγήσει σε περίεργα αποτελέσματα. Δεν θα το συνυπολογίσω στην απόφασή μου λόγω της πολιτικής της ICLR, αλλά αυτό θα μειώσει την εμπιστοσύνη μου."

Όσον αφορά τις ομοιότητες που αναφέρει ο Li Guohao, ο συγγραφέας του AutoGen έδωσε επίσης ένα αντεπιχείρημα:

Σε απάντηση των ερωτήσεων που έθεσαν οι κριτές, οι απαντήσεις τους είναι οι εξής:

Τελικά, η ομοιότητα με το CAMEL και τα ζητήματα των παραπομπών δεν θεωρήθηκαν από την έδρα πεδίου ως κύρια ζητήματα για την εργασία. Ωστόσο, το έγγραφο AutoGen τελικά απορρίφθηκε για άλλους λόγους (έτσι ο συγγραφέας μεταπήδησε αργότερα στο ICLR 2024 LLM Agent Workshop).

Σύμφωνα με τον Li Guohao, οι συγγραφείς των δύο εγγράφων συναντήθηκαν πραγματικά εκτός σύνδεσης, αλλά συνέβησαν μερικά δυσάρεστα πράγματα:

Ο Li Guohao ελπίζει να προσελκύσει την προσοχή της ακαδημαϊκής κοινότητας μέσω της ανάρτησης.

Τι πιστεύετε γι 'αυτό;