berita

google ai meluncurkan kerangka evaluasi cardbench: termasuk 20 database nyata untuk mengevaluasi model estimasi kardinalitas secara lebih komprehensif

2024-09-03

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

it house melaporkan pada tanggal 3 september bahwa peneliti ai google baru-baru ini meluncurkan benchmark cardbench, yang terutama memenuhi kebutuhan kerangka evaluasi sistem untuk mempelajari estimasi kardinalitas.

tolok ukur cardbench adalah kerangka evaluasi komprehensif yang mencakup ribuan kueri pada 20 basis data dunia nyata yang berbeda, secara signifikan melebihi tolok ukur sebelumnya.

latar belakang proyek

estimasi kardinalitas (ce) adalah kunci untuk mengoptimalkan kinerja kueri database relasional. ini melibatkan prediksi jumlah hasil antara yang akan dikembalikan oleh kueri database, yang secara langsung memengaruhi pilihan rencana eksekusi pengoptimal kueri.

perkiraan pencelupan yang akurat sangat penting untuk memilih pesanan penggabungan yang efisien, memutuskan apakah akan menggunakan indeks, dan memilih metode penggabungan terbaik.

keputusan ini dapat berdampak signifikan pada waktu eksekusi kueri dan performa database secara keseluruhan. estimasi yang tidak akurat dapat menyebabkan rencana pelaksanaan yang buruk sehingga menurunkan kinerja secara signifikan, terkadang hingga beberapa kali lipat.

teknik estimasi kardinalitas, yang banyak digunakan dalam sistem database modern, mengandalkan metode heuristik dan model yang disederhanakan, seperti mengasumsikan keseragaman data dan independensi kolom.

meskipun metode ini efisien secara komputasi, metode ini sering kali memerlukan prediksi kardinalitas yang akurat, terutama dalam kueri kompleks yang melibatkan banyak tabel dan filter.

metode berbasis data terbaru mencoba memodelkan distribusi data di dalam dan antar tabel tanpa menjalankan kueri, sehingga mengurangi beberapa overhead, namun masih memerlukan pelatihan ulang saat data berubah.

meskipun terdapat kemajuan-kemajuan ini, kurangnya tolok ukur yang komprehensif membuat sulit untuk membandingkan model-model yang berbeda dan menilai kemampuan generalisasi model-model tersebut pada kumpulan data yang berbeda.

bangku kartu

cardbench memungkinkan evaluasi model kardinalitas yang dipelajari secara lebih komprehensif dalam berbagai kondisi. tolok ukur ini mendukung tiga pengaturan utama:

model berbasis instans, yaitu dilatih pada satu kumpulan data;

model titik nol telah dilatih sebelumnya pada beberapa kumpulan data dan kemudian diuji pada kumpulan data yang tidak terlihat;

menyempurnakan model, yaitu melatih model terlebih dahulu, lalu menyempurnakannya menggunakan sejumlah kecil data dari kumpulan data target.

tolok ukur ini menyediakan dua set data pelatihan: satu untuk kueri tabel tunggal dengan beberapa predikat filter, dan satu lagi untuk kueri gabungan biner yang melibatkan dua tabel.

tolok ukur ini mencakup 9125 kueri tabel tunggal dan 8454 kueri gabungan biner pada salah satu kumpulan data yang lebih kecil, memastikan lingkungan yang kuat dan menantang untuk evaluasi model.

misalnya, model jaringan neural grafik yang disempurnakan (gnn) memiliki median kesalahan q sebesar 1,32 dan persentil ke-95 sebesar 120 dalam kueri gabungan biner, yang secara signifikan lebih baik daripada model titik nol. hasilnya menunjukkan bahwa menyempurnakan model yang telah dilatih sebelumnya dapat meningkatkan performanya secara signifikan bahkan untuk 500 kueri. hal ini membuat mereka layak untuk aplikasi praktis dimana data pelatihan terbatas.

singkatnya, cardbench mewakili kemajuan signifikan dalam estimasi kardinalitas yang dipelajari. para peneliti dapat memfasilitasi inovasi lebih lanjut dalam bidang penting ini dengan memberikan tolok ukur yang komprehensif dan beragam untuk mengevaluasi dan membandingkan berbagai model ce secara sistematis.tolok ukur ini memungkinkan penyempurnaan model yang memerlukan lebih sedikit data dan waktu pelatihan,ini memberikan solusi praktis untuk aplikasi praktis di mana pelatihan model baru terlalu mahal.