diálogo na china computing power conference ｜ acadêmico liu yunjie: o poder da computação doméstica deve compensar suas deficiências por meio de clusters de gpu
2024-09-29
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
a era da ia (inteligência artificial) também é uma era de poder computacional. as empresas de tecnologia e operadoras de telecomunicações nacionais e estrangeiras "enrolaram" 10.000 cartões ou até mais de 10.000 cartões, mas problemas como compatibilidade ecológica e computação heterogênea também se tornaram montanhas que a indústria deve escalar.
em 28 de setembro, durante a cerimônia de abertura da 2024 china computing power conference, liu yunjie, um acadêmico da academia chinesa de engenharia, disse em uma entrevista ao beijing news shell finance e outros meios de comunicação que as gpus de endpoint domésticas ainda não serão capazes de competir com países estrangeiros em um curto período de tempo. uma possível maneira de compensar as deficiências é construir uma rede de poder de computação para “treinar todo o poder de computação” e dar pleno desempenho ao efeito dos clusters de gpu.
além disso, destacou que não é possível julgar simplesmente qual tipo de empreendimento tem mais vantagens na construção de uma rede de poder computacional, mas principalmente por meio de avaliação técnica. “depende se a sua tecnologia pode ser utilizada e desenvolvida, e se a sua inovação e o caminho que você percorre atendem às necessidades”. quanto ao problema do custo do poder computacional, ele ainda enfatizou que “deve ser resolvido com novas tecnologias”.
atualmente, a tecnologia de rede determinística estudada por liu yunjie pode economizar de 60% a 70% do custo. o projeto de agendamento de rede computacional lançado por ele em conjunto com outras instituições pode alcançar vários treinamentos externos para atingir 80% de eficiência de single-. treinamento pontual.
liu yunjie, acadêmico da academia chinesa de engenharia. foto cortesia do entrevistado.
recomenda-se seguir o grande modelo da indústria para resolver os problemas de circulação de dados e utilização do poder de computação.
"a china deve seguir o caminho dos modelos industriais de grande escala", enfatizou liu yunjie em seu discurso de abertura. ele acredita que os grandes modelos domésticos de uso geral podem ficar muito atrás dos estados unidos no curto prazo e será difícil alcançá-los.
ele propôs que, se as empresas de modelos nacionais puderem treinar bem os dados da indústria e criar grandes modelos da indústria com base em grandes modelos gerais, elas "poderão definitivamente seguir o caminho chinês". ele está otimista em relação a essa direção técnica porque acredita que “os dados da indústria da china são os mais completos e abrangentes”.
ao mesmo tempo, disse que o desenvolvimento de modelos industriais de grande escala requer os esforços conjuntos do governo, das empresas e do capital. ele disse a um repórter da shell finance que, atualmente, o compartilhamento e a circulação de dados nacionais ainda precisam ser fortalecidos, o que teve impacto no grande modelo da indústria de treinamento, e "todos ainda estão explorando" que tipo de caminho é mais promissor.
os dados divulgados na conferência de poder de computação da china de 2024 mostram que a escala total do poder de computação nacional atinge 246 eflops. de acordo com a observação de liu yunjie, o poder da computação doméstica atingiu uma certa escala, mas a taxa de utilização não é muito ideal.
"se o poder da computação quiser servir a economia real, várias partes devem concordar." liu yunjie acredita que, antes de tudo, o poder da computação e os provedores de rede devem fazer um bom trabalho, "(porque) obtiveram benefícios através desses serviços". além disso, o governo deveria dizer coisas boas, “(porque) o governo resolveu o problema”. finalmente, as empresas têm de dizer bem, "(porque) as empresas melhoraram a sua própria eficiência utilizando o poder da computação e a internet".
ele enfatizou que o efeito do “acordo de uma parte” não é duradouro, o que significa que a indústria não estabeleceu um ecossistema de poder computacional. “se não resolvermos o problema ecológico, não seremos capazes de utilizá-lo (poder computacional).”
a rede determinística é uma das tecnologias básicas da futura rede de poder computacional, que economizará de 60% a 70% dos custos.
“o treinamento de modelos grandes requer transmissão de dados sem perdas e impõe requisitos aos indicadores de rede, como perda de pacotes, instabilidade e atraso”, disse liu yunjie. tomando como exemplo os padrões internacionais de dados, ele explicou que se a taxa de perda de pacotes atingir cinco milésimos, a eficiência de transmissão cairá 50%.
ele explicou ainda que isso é como usar toda a largura de banda de 100g para transmitir dados, e apenas a largura de banda de 50g é útil. “quando cai para 1%, sua eficiência é aproximadamente igual a 0, o que impossibilita o treinamento e o raciocínio.”
o protocolo rdma (remote direct memory access) é necessário para que a rede evite perda de pacotes. esta tecnologia permite que o computador acesse diretamente a memória do computador remoto, transmita dados no nível da memória sem intervenção frequente da cpu e reduza o atraso de processamento e o consumo de recursos da extremidade emissora e receptora durante o processo de transmissão de dados.
como atender aos padrões de transmissão de dados para treinamento e inferência de grandes modelos? liu yunjie acredita que a tecnologia de rede determinística atende relativamente aos requisitos e a considera "uma tecnologia básica para futuras redes de poder de computação". liu yunjie revelou que em 2022, ele liderou a equipe para abrir redes determinísticas em 35 cidades. o número de cidades agora aumentou para 39. pode atingir atraso e jitter ponta a ponta de menos de 50 microssegundos e atingir zero perda de pacotes. .
no processo de desenvolvimento de tecnologia de rede determinística, liu yunjie acredita que o avanço tecnológico mais importante é a integração fotoelétrica, que traz avanços na utilização da largura de banda, no custo da rede e no consumo de energia.
em termos de custo, ele tomou como exemplo uma certa empresa de condução autônoma e explicou que os dados de condução autônoma gerados por 20 veículos em 4 lugares do país todos os dias são primeiro enviados de volta para xangai e depois para guiyang para treinamento, o que requer cerca de dois circuitos 10g e a 1g custam cerca de 10 milhões de yuans por ano.
o que devo fazer se não puder pagar? passar a utilizar discos rígidos para recolher dados e transportá-los entre as duas cidades, tendo em conta a perda de dados, danos no disco rígido, etc., custaria cerca de 1,9 milhões de yuans por ano. e usando uma rede determinística para fornecer serviços por meio de fatiamento, “120.000 yuans por ano é suficiente”.
liu yunjie enfatizou que este nível de redução de custos é alcançado através do compartilhamento de rede. os dados que ele apresentou em seu discurso de abertura mostraram que ela está rodando na rede de teste há mais de três meses, com eficiência de parâmetros atingindo mais de 95% e economia de custos de 60% a 70%.
aproveite ao máximo o efeito do cluster gpu para compensar as deficiências do poder de computação doméstico
é provável que a rede de poder computacional seja a direção em que o poder computacional doméstico superará o poder computacional estrangeiro no futuro? liu yunjie disse que uma compreensão mais precisa é “compensar as deficiências”. ele acredita que em um curto período de tempo, nossa gpu de endpoint ainda não será capaz de competir com países estrangeiros. “talvez não consiga igualá-lo em um único aspecto, mas posso vencê-lo aproveitando a força do grupo”. ele enfatizou ainda que para exercer o efeito dos clusters de gpu, é necessário construir uma rede para “treinar”. todo o poder computacional.”
ele acredita que grandes modelos podem adotar o caminho do treinamento colaborativo e do treinamento distribuído “se 100.000 cartões forem treinados em um só lugar, o poder será demais”. o centro nacional de supercomputação wuxi e outras instituições o projeto nacional de agendamento de rede de energia de computação pode alcançar o efeito de resolver problemas de filas em nível minucioso, e vários treinamentos externos podem atingir 80% de eficiência do treinamento de ponto único. "basicamente, o treinamento distribuído e o treinamento colaborativo são viáveis."
ao falar sobre como coordenar a relação de desenvolvimento entre hardware e software de computação, liu yunjie propôs que software e hardware deveriam ser combinados e integrados para o desenvolvimento.
a produção de hardware consome recursos geofísicos, disse ele. “(cada vez) consome um pouco, os recursos são um pouco menores.” o software é relativamente flexível, pode ser modificado e consome menos recursos físicos. “este é um conceito de desenvolvimento social muito importante”. além disso, liu yunjie acredita que o desenvolvimento de software consome uma certa quantidade de recursos humanos, mas após a aplicação da ia, a eficiência do desenvolvimento foi acelerada. ele então propôs que todas as peças que podem ser substituídas por software deveriam ser desenvolvidas tanto quanto possível.
"mas o software não é onipotente e deve atender às condições de hardware exigidas pelo poder da computação." ele acredita que as partes que o software não suporta devem ser desenvolvidas em conjunto com o hardware.
como criar um ecossistema de rede de poder computacional compartilhado? liu yunjie sugeriu que os departamentos governamentais relevantes deveriam coordená-lo e gerenciá-lo, e que as empresas e instituições de pesquisa científica deveriam cooperar estreitamente. "este é um projeto geral, mas atualmente todos estão trabalhando por conta própria."
beijing news shell finance repórter wei yingzi
editor lin zi
revisado por liu jun
