nouvelles

Dialogue avec Zhang Xiangzheng, président de 360 ​​Intelligent Brain : Comment construire un grand modèle de sécurité

2024-08-02

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Selon les informations du 2 août, la 12e Conférence sur la sécurité Internet (ISC.IA 2024), cette conférence se tiendra sous le thème « Construire un environnement sûrgrand modèle, Mener une nouvelle révolution dans l'industrie de la sécurité" comme thème, en se concentrant en profondeur sur les deux domaines majeurs de la sécurité et de l'IA. Sur place, nous avons interviewé360Président de ZhinaoZhang Xiangzheng, a mené des échanges approfondis sur la compréhension par 360 Intelligence des enjeux de sécurité et de planification des produits.

Zhang Xiangzheng a présenté que l'équipe Intelligent Brain est responsable des capacités générales du modèle, ainsi que des capacités spéciales pour les scénarios commerciaux de base, tels que la lecture intelligente, les navigateurs, le résumé de texte, le résumé de vidéo/sous-titres, la génération de cartes mentales, la recherche de mots, la reconnaissance d'intention. et résumé, etc. attendez. Dans le même temps, l'équipe Intelligent Brain est également responsable du travail visant à combiner la sécurité des API et de l'IA avec des capacités de grands modèles.

Le thème de cette conférence est « Construire un grand modèle de sécurité ». En ce qui concerne les sujets de sécurité, Zhang Xiangzheng a déclaré que les problèmes de sécurité sont divisés en plusieurs parties. La première partie est le niveau de déploiement du système, qui est lié à la sécurité des réseaux traditionnels. y compris le framework Agent, y compris les bases de données vectorielles, y compris le framework PyTorch, qui présente lui-même des risques de vulnérabilité potentiels, la deuxième partie est de savoir si le contenu généré répond aux exigences réglementaires, y compris l'alignement des valeurs, la troisième partie est l'erreur de résultat de sortie, en supposant que ; 10% se produisent, je ne sais pas si ces 10% se produisent. A quel moment faut-il croire ou non le résultat généré dans de nombreux cas ? Le quatrième bloc est lié au framework Agent. Le grand modèle n'est que la plaque tournante de la planification et peut accéder à de nombreux tiers ou à de nombreuses bases de données au sein des entreprises ou des entreprises. Si des opérations automatisées sont effectuées, cela peut affecter la sécurité d'autres systèmes. Par exemple, lorsqu’elle est utilisée à des fins d’intelligence incarnée, certaines actions dangereuses peuvent être réalisées.

Au niveau de la sécurité, la différence entre ToB et ToG est également évidente. Zhang Xiangzheng a introduit que la tolérance aux problèmes de sécurité est différente, par exemple, les ministères doivent fournir des solutions de déploiement privatisées pour les données de formation, ainsi que toutes les formations de réglage et progressives. doit être au sein d’agences gouvernementales. Faites-le dans un environnement de réseau. Dans le scénario ToB, un exemple typique est l'éducation. Il existe un poème "Le clair de lune avant le lit". Il existe deux versions en ligne. Le chef de produit est très paniqué, se demandant pourquoi l'introduction du poème entier est différente du texte. un poème célèbre. Les enfants n'ont pas une bonne capacité de discrimination, ce qui conduit à des exigences très élevées quant à la fiabilité des résultats.

Parlant du sujet des petits modèles, Zhang Xiangzheng a souligné que nous avons fait quelques recherches sur l'application des petits modèles côté ordinateur et testé les solutions associées en interne, mais qu'il y a encore trop peu d'ordinateurs portables qui répondent aux exigences, et le volume est pas si grand. En outre, nous avons également examiné l'acceptabilité. Nous pensons que la production actuelle de petits modèles a encore du chemin à parcourir.

Concernant le sujet récemment très discuté de la recherche par IA, Zhang Xiangzheng a répondu que par rapport à la recherche traditionnelle, la recherche par IA est plus unique dans la mesure où elle peut utiliser un raisonnement en plusieurs étapes ou des recherches par mots clés multiples pour décomposer des problèmes complexes et les résoudre étape par étape et automatiquement. . Après avoir effectué une récupération en plusieurs étapes, effectuez une fusion, ou après avoir terminé la première étape de l'inférence, effectuez une autre recherche sur les résultats de l'inférence, puis transférez-la au grand modèle, puis effectuez la fusion. À l'avenir, si les capacités de recherche de l'IA deviennent de plus en plus fortes, les habitudes des utilisateurs migreront, mais on ne peut pas dire qu'il s'agit d'une forme de produit complètement nouvelle. Cela est lié aux habitudes d'utilisation des utilisateurs. (Dingxi)

Cet article provient de NetEase Technology Report. Pour plus d'informations et un contenu approfondi, suivez-nous.