der erste nationale standard für die batch- und stream-integration von big data wird offiziell veröffentlicht, mit alibaba cloud als federführender entwurfseinheit
2024-09-03
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
kürzlich haben die state administration for market regulation und die national standardization administration offiziell den ersten nationalen standard für batch-stream-integration im bereich big data veröffentlicht, gb/t 44216-2024 „technical requirements for big data batch-stream fusion computing in information technology“. ". die führende entwurfseinheit dieses standards ist alibaba. cloud computing co., ltd. wird am 1. februar 2025 offiziell implementiert.
„technische anforderungen für big data batch- und stream-fusion-computing in der informationstechnologie“ definieren die batch- und stream-fusion-technologie klar und legen fest, dass das batch- und stream-fusion-system sowohl echtzeit- als auch offline-computing-modelle unterstützen muss und über ein einheitliches ressourcenmanagement verfügen sollte. unified computing framework, einheitliche schlüsselfunktionen umfassen api, einheitliche sql-schnittstelle, einheitliche jobverwaltung, einheitliche berechtigungsverwaltung und flexible erweiterung.
batch-stream-fusion ist ein wichtiger neuer technologietrend im bereich big data. mit der entwicklung des internets steigt der bedarf von unternehmen an umfangreichen echtzeit-datenberechnungen in vielen szenarien wie e-commerce-empfehlungen, transportlogistik und finanztransaktionsüberwachung. das traditionelle batch-computing-paradigma kann diese anforderungen nicht erfüllen die latenzzeit wird den datenfluss in echtzeit beeinflussen. die integration von formelberechnung und batch-berechnung unter einem einheitlichen technischen rahmen ist für die branche zur einzigen möglichkeit geworden.
apache flink, eine open-source-computing-engine, die mit stream computing und batch computing kompatibel ist, ist ein aufstrebender stern im big data computing. sie ermöglicht benutzern die durchführung von stream- oder batch-verarbeitung mit einer reihe von codes und spart so eine menge entwicklungskosten. im jahr 2019 erwarb alibaba die muttergesellschaft von apache flink und investierte in kombination mit seiner eigenen e-commerce-szenariopraxis zahlreiche forschungs- und entwicklungsanstrengungen, um das apache flink-produkt zu optimieren, damit es anwendungsstandards auf unternehmensebene mit hohem durchsatz erreichen kann , geringe latenz, hohe verfügbarkeit und hohe genauigkeit und weiterhin bereitstellung die globale open-source-community trägt dazu bei und wird zur führenden kraft bei der förderung von community- und technologischen innovationen. derzeit ist apache flink zum de-facto-standard für batch-stream-fusion-computing in der branche geworden. alibaba, ant group, bytedance, xiaomi, kuaishou, xiaohongshu, bilibili, didi, china unicom und andere hunderte von unternehmen haben apache flink übernommen für echtzeit-computing.
als führendes unternehmen im bereich big data in china initiierte alibaba cloud im jahr 2019 die einrichtung und zusammenstellung nationaler standards für die batch-stream-fusion-computing-technologie und arbeitete mit verschiedenen einheiten der branche an der ausarbeitung und verbesserung dieser standards. durch die integration der echtzeit-computing-flink-versionserstellungserfahrung von alibaba cloud und umfassender branchenpraktiken wird der nationale standard „technische anforderungen für informationstechnologie-big-data-batch- und stream-fusion-computing“ die technologische entwicklung des batch- und stream-fusion-computings besser fördern und inländische batch- und stream-anwendungen leiten systemdesign, entwicklung und einsatz sowie unterstützung bei der implementierung der batch-stream-fusionstechnologie in verschiedenen branchen.
es versteht sich, dass alibaba cloud im bereich big data tiefgreifende technische stärken aufgebaut hat. alibaba cloud verfügt über umfassende technische fähigkeiten, die von der verarbeitung und analyse großer datenmengen über data warehousing bis hin zu ki-engineering-diensten reichen. seine unabhängig entwickelten flaggschiffprodukte wie maxcompute, dataworks und hologres können das branchenweit höchste niveau an datenverarbeitungsleistung und skalierbarkeit bieten stabilität; gleichzeitig leistet alibaba cloud einen aktiven beitrag zu einer reihe von top-open-source-projekten, darunter apache flink, apache paimon usw., und stellt entwicklern eine umfangreiche auswahl an tools und vollständig verwalteten cloud-diensten zur verfügung.
