소식

텍스트 | 왕즈위안

최근에 한 친구가 나에게 다음과 같은 피드백을 주었습니다.키미광고는 정말 치열합니다.

NetEase Music을 듣거나 bilibili를 검색해 보면 알 수 있습니다. 일반 사용자를 위한 제품이라고 합니다. 하지만 아직 8월도 중순에 불과하고, 키미의 행동 중 일부는 사람들의 느낌을 조금 다르게 만듭니다.

차이점은 무엇입니까?

한편, 지난 8월 2일 키미의 모회사는달의 어두운 면(Moonshot AI)는 Kimi의 엔터프라이즈급 API를 공식 출시했다고 발표했습니다. 이 엔터프라이즈급 모델은 일반 사용자 버전보다 강력한 데이터 보안 보호와 빠른 처리 속도를 제공하며 기업이 복잡한 작업과 대용량 데이터를 처리하는 데 도움을 줄 수 있습니다.

이후 그들은 키미 오픈 플랫폼의 컨텍스트 캐싱 캐시 기술 비용을 원래 토큰 100만개당 10위안에서 분당 5위안으로 낮추겠다고 발표했다. 이번 가격 인하가 7월 1일부터 오픈 플랫폼에서 공개 베타 버전으로 진행되고 있다는 것을 알게 되었습니다.

이 글을 읽고 나면 캐시가 정확히 무엇인지 궁금하실 것입니다.

간단히 말하면, 반복적으로 사용되거나 자주 쿼리될 수 있는 텍스트나 데이터를 미리 저장하여 비용 증가 없이 모델의 추론 효율성을 높이는 기능입니다.

그러므로 이러한 행동은 AI가 B2B 분야에서 효과적인 경로를 찾았는가 하는 의문을 갖게 합니다. 한 차례의 조사 끝에 내 생각은 '그렇다'입니다.

01

먼저 업계 합의에 대해 이야기해 보겠습니다.AI 적용은 의심할 여지없이 모델 성공의 열쇠입니다.

올해 세계 인공지능 컨퍼런스에서 바이두 CEO 로빈 리(Robin Li)는 대형 모델 적용에 대한 자신의 견해를 일부 논의했습니다. 그는 “C면 개발도 중요하지만 B면 애플리케이션 시나리오에서는 대형 모델이 더 나은 결과를 얻을 수 있다”고 말했습니다.

그는 AI 시대에는 산업에 큰 영향을 미치고 효율성을 크게 향상시킬 수 있는 애플리케이션이 더 가치 있다고 믿습니다. 각각의 특성과 데이터 리소스에 따라 맞춤형 지능형 에이전트가 향후 수백만 명에 도달하여 거대한 생태계를 형성할 것입니다.

올해 바이두는 의료, 금융, 에너지, 환경보호, 교통 등 다양한 분야에서 대규모 국영기업과 업계 선도기업을 포함해 17개 프로젝트를 수주했으며 그 금액도 매우 상당했다.

분명히 Robin Li는 AI 애플리케이션이 지능형 에이전트에서 신속하게 구현되어야 한다고 믿습니다.

그것이 지능체의 세부 사항에 속할지는 말할 것도 없고, 하나씩 전달해야 하는 입찰 문서가 너무 많기 때문에 1년 반 안에 무언가가 완료되지 않으면 고객은 확실히 원하지 않을 것입니다.

Moonshot AI의 창립자 Yang Zhilin이 이에 대해 어떻게 생각하는지 살펴보겠습니다.

지난 6월 Geek Park 창립자 Zhang Peng과 Yang Zhilin의 대화에서 Yang은 B-side를 완전히 배제하지 않고 주로 C-side에 중점을 두었다고 언급했습니다. 그의 제품인 Kimi는 AI 분야에서 최고의 트래픽과 사용량을 달성했습니다.

그럼에도 불구하고 사용자는 피크 시간대에 컴퓨팅 성능이 부족하여 문제를 겪는 경우가 많습니다. 이러한 상황에 대처하기 위해 그들은 운영 비용을 줄이고 효율성을 높이기 위한 여러 가지 조치를 취했습니다.

그 중 하나는 캐싱 기술을 통해 모델의 추론 성능을 최적화하는 것입니다. 이 기술을 통해 Kimi는 복잡한 요청을 처리할 때 더 빠르게 응답하고 반복 계산의 필요성을 줄일 수 있습니다.

이러한 개선은 시스템의 응답 속도와 처리 효율성을 향상시킬 뿐만 아니라 대화 또는 텍스트 생성의 일관성과 정확성을 보장합니다. 이는 향후 B측 비즈니스 및 비즈니스 수행 가능성에 직면했을 때 매우 중요할 것으로 보입니다. 데이터 요청에 대한 다수의 중앙 집중식 처리가 특히 중요합니다.

따라서 Yang Zhilin은 B-side로 이동하려면 먼저 컴퓨팅 성능 문제를 해결해야 하며 컴퓨팅 성능의 안정성을 보장하는 것이 기본이라고 믿습니다.

반면에 C-end 사업을 하는 것은 그다지 섹시하지 않다고 생각합니다. 주로 광고를 사용하여 전환을 얻는 것은 그다지 매력적이지 않습니다.

많은 광고 실무자들로부터 2024년 상반기부터 1인당 전환 비용이 계속 증가할 것이라고 들었습니다. Kimi PC 사용자 1인당 전환 비용은 기본적으로 40위안/인에 도달할 것입니다. 이 데이터는 공식적으로 확인되지 않았습니다.

그러나 일반적인 추세를 살펴보면 C 엔드 시나리오에서 AI 시장의 경쟁 비용 증가로 인해 의심할 여지 없이 많은 AI 회사가 시장 전략을 재평가하게 될 것입니다.

따라서 C면 시장은 큰 잠재력을 갖고 있지만, B면 적용 시나리오는 결국 대형 모델의 실질적인 비용 절감과 효율성 향상을 달성하는 것만이 핵심 영역입니다. 산업은 물론 산업 전체의 발전을 촉진합니다.

02

합의가 맞으니까요. 그렇다면 에이전트나 AI, 대형(소형) 모델이 어떻게 B2B 분야에 효과적으로 진입할 수 있을까?첫 번째 방법은 B-side의 업스트림이 되는 것입니다.

그것은 무엇을 의미합니까?

소위 B측 업스트림이 공급망의 소스입니다. 예를 들어, AI 활용에 대한 요구사항과 적용 시나리오가 있지만 대규모 모델 회사로 진출하기 어려운 제약회사가 있다고 가정해 보겠습니다.

이때 제약회사가 일종의 SaaS 소프트웨어를 사용하고 있음을 알게 됩니다. 대형 AI 모델 회사는 이러한 방식으로 소프트웨어 공급업체와 협력하는 것을 고려할 수 있으며, 기존 소프트웨어 제품에 AI를 추가할 수 있으며 제약회사는 이를 수행할 수 있습니다. 소프트웨어를 사용하는 동시에 AI 사용으로 원활하게 전환합니다.

이것이 많은 전통적인 B사이드 사업가들의 사고방식이다.

실제로 B2B 소프트웨어에는 다양한 배포 형태가 있습니다. 첫째, 소프트웨어가 고객의 자체 서버나 장치에 설치되어 고객이 데이터와 보안을 제어할 수 있는 지역화된 배포입니다.

이 방법을 사용하려면 정기적인 업그레이드가 필요하며, 이는 번거롭고 유지 관리 비용이 많이 듭니다. 예를 들어, 과거에는 Mercedes-Benz 및 BMW와 같은 대형 제조업체에서는 에이전트를 관리하기 위해 로컬 배포용 기존 CRM 시스템을 사용했습니다.

그러나 현지화된 배포는 AI 통합을 구현할 때 많은 문제에 직면합니다. 특히 사전 훈련된 모델은 일단 설치되면 인터넷에 연결되지 않은 경우에도 고객 문의에 응답할 수 있습니다.

많은 ToB 기업이 시도에 관심이 있지만 실제 운영의 복잡성은 매우 높습니다. 예를 들어, 제약 그룹이나 병원에서는 새로운 AI 기능을 통합하기 위해 소프트웨어를 업데이트해야 하면 전체 프로세스가 매우 복잡해집니다.

게다가 프로젝트 리더의 경우 AI 기능을 도입하기 위해 왜 많은 돈을 들여야 하는지 상사에게 설명해야 한다.

예를 들어:

모델을 만드는 데 2천만 달러를 투자하세요. 듣기에는 훌륭하고 AI 기능이 있지만 실제 상황에서는 사람들이 이것이 단지 AI 지식 질문 및 답변 시스템이라고 생각하게 만들 수 있습니다. 이렇게 보면 늘 별거 아닌 것 같은 느낌이 듭니다.

또 다른 점은, 회사에서 모델을 도입하더라도 직원들이 더 이상 사용할 수 없게 된다면 어떻게 될까요? 그러면 이 돈이 낭비되는 것 아닌가?물론 이에 대한 적절한 계산은 없습니다. 물론 일부 회사에는 지식 기반도 없고 AI 기능을 도입할 필요도 없습니다.

SaaS 모델은 또 다른 형태로 사용자가 Feishu와 같은 협업 도구 등 구독을 통해 요금을 지불할 수 있도록 합니다. 이 모델에서 SaaS 회사는 AI 기능을 직접 통합할 수 있으며 소규모 모델 회사를 우회하고 대규모 모델 회사에서 직접 서비스를 구매하여 프로세스를 변환할 수도 있습니다.

이러한 모든 형태 중에서 SaaS 모델은 AI 기능을 통합하기 가장 쉬운 모델입니다. 서비스 제공업체가 백엔드에서 AI 기능을 균일하게 업데이트하고 유지할 수 있고 고객이 기술적 세부 사항에 대해 걱정할 필요가 없기 때문입니다.

따라서 하향식 관점에서 볼 때 AI 솔루션을 제공하는 회사는 일부 수주를 받을 수 있지만 진정한 고객을 성공으로 이끄는 과정은 상당히 어려울 수 있으며 노력과 이익이 비례하지 않는 경우가 많습니다.

03

그렇다면 새로운 해결책이 있나요? 가지다. 아래부터 살펴보겠습니다.

우리는 다음과 같은 새로운 이해를 확립해야 합니다.

회사에서 AI를 사용함으로써 실제로 획기적인 발전을 이루었습니다. AI는 일반적으로 업무 프로세스를 완전히 다시 시작하는 대신 기존 업무 프로세스를 개선하는 데 사용됩니다.

클린 스타트란 무엇인가?

즉, 작업 흐름이나 프로젝트 관리의 맥락에서 기존 구조와 계획에 의존하지 않고 처음부터 프로세스를 완전히 재설계하는 것은 문제를 해결하거나 수행하기 위해 기존 방법과 시스템을 버리고 완전히 새로운 방법을 채택하는 것을 의미합니다. 작업.

예를 들어, 한 회사는 원래 매우 전통적인 고객 관계 관리(CRM) 시스템을 사용했습니다. 시간이 흐르고 비즈니스가 성장함에 따라 이 시스템은 더 이상 회사의 요구를 충족할 수 없게 되었습니다.

회사는 기존 시스템을 수정하거나 업그레이드하지 않고 처음부터 새로운 CRM 시스템을 개발하기로 결정했습니다. 이 새로운 시스템은 최신 기술 스택을 사용하고 현대 비즈니스 프로세스에 더욱 부합하는 설계 기능을 사용하며 최신 기능을 더 효과적으로 통합할 수 있습니다. 데이터 분석 도구.

이것은 "클린 스타트"의 예입니다. 그런데 그거 알아요?AI는 프로세스 리엔지니어링 프로세스를 뒤집습니다. 대부분의 경우 AI는 인간에게 이미 익숙한 작업을 처리하므로 바퀴를 다시 만들 필요가 없습니다.

그것은 무엇을 의미합니까?

회사가 AI 모델을 사용하기 시작하면 이러한 모델은 회사 자체 워크플로우와 긴밀하게 통합되어야 합니다. 예를 들어 일부 회사에서는 의료 또는 교육 분야에서 일부 고급 대형 모델을 사용하려고 하지만 이 과정에서 많은 어려움이 발생할 수 있습니다.

각 회사의 비즈니스와 프로세스가 고유하고, AI가 요구하는 데이터도 고유하기 때문에 일반적인 대규모 모델은 이러한 광범위한 개념을 기업에 실제로 적용하기 어려운 경우가 많습니다.

무엇을 해야 할까요?이때는 작은 모델과 보조자를 두는 것이 더 쉬울 것입니다.

예를 들어:

중소기업 회계사는 일반적으로 Kingdee, UFIDA 및 Chanjet과 같은 소프트웨어를 사용합니다. 이러한 소프트웨어에는 이미 많은 데이터가 저장되어 있습니다. 운영자의 경우 원래 소프트웨어를 크게 변경하지 않고도 AI의 기능을 사용하여 신속하게 데이터 조각을 찾거나 결론을 도출하기를 원합니다.

따라서 AI를 비즈니스(ToB) 시나리오에 적용하는 좋은 방법은 복잡한 비즈니스 프로세스를 여러 개의 작은 작업 또는 특정 작은 시나리오로 나눈 다음 AI를 사용하여 각 작은 시나리오를 개선하는 것입니다.

우리는 또한 Microsoft와 같은 회사를 봅니다.오픈AI투자자는 물론 CRM 업계의 선두주자인 세일즈포스도 AI를 활용해 신제품을 개발한 적이 없다.

새로운 기능으로 제품에 라벨을 계속 붙이고 있지만 실제로는 기존 비즈니스 프로세스나 제품 기능을 지원하고 향상시키기 위해 대규모 모델을 사용합니다.

즉, 작은 모델을 기존 시스템을 완전히 대체하기보다는 기존 시스템에 더 잘 통합하고 최적화할 수 있는 보조자 또는 개선 사항으로 개선합니다.

이는 최근 많은 AI 업체들이 PC 측에서 만든 플러그인과 다소 비슷하다. 마우스를 부드럽게 밀거나 단축키를 누르면 AI가 나타나 도움을 줍니다. 핵심 기능은 우리가 더 나은 결정을 내릴 수 있도록 돕는 것입니다.

04

믿기지 않는다면 생각해 볼 수도 있습니다. ToB 회사에 실제로 AI가 필요한 것은 무엇입니까?

Zhiyuan의 연구에 따르면 그들은 주로 운영, 관리, 의사 결정 및 마케팅에 대한 의사 결정을 돕기 위해 데이터를 사용합니다.그렇다면 AI 기업의 경우 어떻게 실용적이면서도 비용 효율적일 수 있을까요? 핵심은 신속한 복제를 달성하고 매우 저렴한 비용으로 여러 시나리오를 처리하는 것입니다.

복사하는 방법?

한 가지 방법은 AI를 로컬 데이터를 호출할 수 있는 지능형 에이전트로 캡슐화하는 것입니다.이것이 바로 Kimi Chat이 캐시 캐싱 비용을 줄이는 이유입니다. 자주 사용하는 로컬 텍스트를 저장하면 보조자의 정확성을 높이는 데 도움이 될 수 있기 때문입니다.

하지만 여기에 질문이 있습니다. 어떻게 하면 정확하고 다재다능하며 동시에 저렴한 비용으로 만들 수 있을까요?

이와 관련하여 "높은 정확도"를 다음과 같이 정의할 수 있습니다.비즈니스가 사용 가능하고 정확도가 충분히 높으면 가끔씩 오류가 발생하더라도 사용자는 이를 식별하고 왜 발생하는지 설명할 수 있습니다.

"저비용"이란 프로젝트의 초기 비용이 낮아야 하고, 단일 시스템에 배포할 수 있어야 하며, 사용 및 유지 관리가 간편해야 함을 의미합니다.요즘에는 많은 대형 모델의 하드웨어 비용이 매우 높습니다. 회사가 얼마나 많은 돈을 벌 수 있는지 확신하지 못한다면 너무 많은 투자를 하려고 하지 않을 것입니다.

대형 모델의 장점은 초기 AI 알고리즘의 다양성 문제를 해결한다는 것입니다.

이론적으로는 하나의 모델이 모든 시나리오를 처리할 수 있지만 실제로는 이를 미세 조정해야 합니다. 따라서 우리는 "높은 다양성"을 툴링 및 자동화를 구현하여 대규모로 복제하고 저렴한 비용으로 구현할 수 있는 것으로 정의합니다.

1억 규모의 대형 모델은 95% 이상의 정확도를 달성했으며, 이 대형 모델에서 소형 모델을 도출해 어시스턴트에 캡슐화함으로써 입구 사용 문제를 해결했습니다.

대형 모델 회사가 전체 기업의 광범위한 요구 사항을 지원하는 상위 모델처럼 작동하는 매우 강력한 대형 모델 솔루션을 보유하고 있다고 상상해 보십시오.

이 대규모 모델은 특히 강력하며 복잡한 데이터 분석을 처리하고 매우 정확한 통찰력을 제공할 수 있습니다. 특히 대용량 컴퓨팅 리소스와 대규모 데이터 처리가 필요한 B측 기업에 적합합니다. 하지만 사실 모든 B사이드 기업이 이런 거대한 시스템을 필요로 하는 것은 아니다.

더 많은 중소기업의 경우 더 작고 집중적인 모델이면 충분합니다. 우리는 이를 더 큰 모델의 "하위 모델"이라고 생각할 수 있습니다.

이러한 소형 모델은 대형 모델의 핵심 기능을 상속하지만 특정 비즈니스 요구 사항과 소규모 운영 환경에 더 잘 맞도록 최적화되고 조정되었습니다.

소형 모델은 대형 모델만큼 컴퓨팅 성능이 필요하지 않지만 특정 작업에 중점을 두고 지능형 분석 보고서 생성, 지능형 분석 수행 등 다양한 요구 사항에 따라 조정할 수 있습니다.

이를 통해 리소스가 제한된 중소기업이 AI를 사용하여 업무 효율성과 의사 결정 품질을 향상시킬 수 있습니다.

따라서 작은 모델은 큰 모델에서 추출한 본질과도 같으며 기본적인 지식 기반 기능만 있으면 작은 도우미로 만들어서 사용할 수 있는 도구에 내장되는 것이 핵심입니다.

이것이 당신의 논리가 옳다는 것을 의미한다고 생각하지 마십시오. Zhiyuan의 연구 이후 AI 제품은 이미 B측 기업에 구현되었으므로 TOB의 경우 AI 애플리케이션 시나리오는 에이전트와 플러그인입니다.

이는 비싼 비용을 투자하지 않고도 납품이 용이하다는 장점도 있다.

요약

TOB AI는 기존 경로를 따르지 않습니다.

소형 모델이 TOB의 핵심이라면 이를 지능형 에이전트 및 보조자로 만드는 것이 TOB의 라스트 마일을 연결하는 핵심 링크입니다.결국 상향식은 소프트웨어 중심이 아닌 사람과 작업 중심입니다.