standar nasional pertama untuk integrasi kumpulan dan aliran data besar secara resmi dirilis, dengan alibaba cloud sebagai unit perancang utama
2024-09-03
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
baru-baru ini, administrasi negara untuk regulasi pasar dan administrasi standardisasi nasional secara resmi merilis standar nasional integrasi batch-stream pertama di bidang big data, gb/t 44216-2024 "persyaratan teknis untuk big data batch-stream fusion computing dalam teknologi informasi ". unit perancang utama standar ini adalah alibaba. cloud computing co., ltd. akan secara resmi diterapkan pada 1 februari 2025.
"persyaratan teknis komputasi batch data besar dan stream fusion teknologi informasi" dengan jelas mendefinisikan teknologi fusi batch dan aliran, menetapkan bahwa sistem fusi batch dan aliran harus mampu mendukung model komputasi real-time dan offline, dan harus memiliki manajemen sumber daya terpadu, kerangka komputasi terpadu, kapabilitas utama terpadu mencakup api, antarmuka sql terpadu, manajemen pekerjaan terpadu, manajemen izin terpadu, dan perluasan fleksibel.
penggabungan batch-stream adalah tren teknologi penting yang muncul di bidang data besar. dengan berkembangnya internet, perusahaan memiliki peningkatan permintaan akan penghitungan data real-time berskala besar dalam banyak skenario seperti rekomendasi e-niaga, logistik transportasi, dan pemantauan transaksi keuangan. paradigma komputasi batch tradisional tidak dapat memenuhi persyaratan latensi. aliran pemrosesan data secara real-time akan menjadi integrasi komputasi formula dan komputasi batch di bawah kerangka teknis terpadu telah menjadi satu-satunya cara bagi industri.
apache flink, mesin komputasi sumber terbuka yang kompatibel dengan komputasi aliran dan komputasi batch, adalah bintang baru dalam komputasi data besar. hal ini memungkinkan pengguna untuk melakukan pemrosesan aliran atau pemrosesan batch dengan serangkaian kode, sehingga menghemat banyak biaya pengembangan. pada tahun 2019, alibaba mengakuisisi perusahaan induk apache flink, dikombinasikan dengan praktik skenario e-commerce miliknya sendiri, menginvestasikan banyak upaya penelitian dan pengembangan untuk mengoptimalkan produk apache flink, sehingga dapat mencapai standar aplikasi tingkat perusahaan dengan throughput yang tinggi. , latensi rendah, ketersediaan tinggi, dan akurasi tinggi, serta terus menyediakan komunitas open source global berkontribusi dan menjadi kekuatan terdepan dalam mendorong inovasi komunitas dan teknologi. saat ini, apache flink telah menjadi standar de facto untuk komputasi fusi batch-stream di industri. alibaba, ant group, bytedance, xiaomi, kuaishou, xiaohongshu, bilibili, didi, china unicom dan ratusan perusahaan lainnya telah mengadopsi menggunakan apache flink untuk komputasi waktu nyata.
sebagai pemimpin di bidang big data di tiongkok, alibaba cloud memprakarsai penetapan dan kompilasi standar nasional untuk teknologi komputasi fusi batch-stream pada tahun 2019, dan bekerja sama dengan berbagai unit di industri untuk menyusun dan menyempurnakannya. mengintegrasikan pengalaman pembuatan versi flink komputasi real-time alibaba cloud dan praktik industri yang kaya, standar nasional "persyaratan teknis teknologi informasi big data batch dan stream fusion computing" akan lebih mendorong pengembangan teknologi komputasi fusi batch dan stream serta memandu batch dan stream domestik komputasi fusi. desain sistem, pengembangan dan penerapan, dan selanjutnya membantu teknologi fusi batch-stream diimplementasikan di berbagai industri.
dapat dipahami bahwa alibaba cloud telah mengumpulkan kekuatan teknis yang mendalam di bidang data besar. alibaba cloud memiliki kemampuan teknis lengkap mulai dari pemrosesan dan analisis data besar, pergudangan data hingga layanan rekayasa ai. produk unggulannya yang dikembangkan secara independen seperti maxcompute, dataworks, dan hologres dapat memberikan kinerja pemrosesan data, skalabilitas, dan tingkat tertinggi di industri. stabilitas; pada saat yang sama, alibaba cloud secara aktif berkontribusi dan mengelola serangkaian proyek sumber terbuka terkemuka, termasuk apache flink, apache paimon, dll., yang menyediakan beragam pilihan alat dan layanan cloud yang dikelola sepenuhnya kepada pengembang.
