новости

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

3 сентября it house сообщил, что исследователи google в области искусственного интеллекта недавно запустили тест cardbench, который в основном отвечает потребностям системы оценки системы для оценки мощности обучения.

тест cardbench — это комплексная система оценки, включающая тысячи запросов к 20 различным реальным базам данных, что значительно превосходит любой предыдущий тест.

предыстория проекта

оценка мощности (ce) является ключом к оптимизации производительности запросов к реляционным базам данных. она включает в себя прогнозирование количества промежуточных результатов, возвращаемых запросом к базе данных, и напрямую влияет на выбор оптимизатором запросов плана выполнения.

точные оценки погружения имеют решающее значение для выбора эффективных последовательностей соединения, принятия решения об использовании индексов и выбора наилучшего метода соединения.

эти решения могут оказать существенное влияние на время выполнения запроса и общую производительность базы данных. неточные оценки могут привести к некачественным планам выполнения, что значительно снижает производительность, иногда на порядки.

методы оценки мощности, широко используемые в современных системах баз данных, основаны на эвристических методах и упрощенных моделях, таких как предположение об однородности данных и независимых столбцах.

хотя эти методы эффективны в вычислительном отношении, они часто требуют точного прогнозирования мощности, особенно в сложных запросах, включающих несколько таблиц и фильтров.

новейшие методы, управляемые данными, пытаются моделировать распределение данных внутри таблиц и между таблицами без выполнения запросов, тем самым сокращая некоторые накладные расходы, но все же требуют переобучения при изменении данных.

несмотря на эти достижения, отсутствие комплексных критериев затрудняет сравнение различных моделей и оценку их возможности обобщения на разных наборах данных.

кардбенч

cardbench обеспечивает более полную оценку моделей изученной мощности в различных условиях. тест поддерживает три ключевых параметра:

модели на основе экземпляров, т.е. обученные на одном наборе данных;

модель нулевой точки предварительно обучается на нескольких наборах данных, а затем тестируется на невидимом наборе данных;

точная настройка модели, то есть ее предварительное обучение, а затем точная настройка с использованием небольшого объема данных из целевого набора данных.

тест предоставляет два набора обучающих данных: один для запроса одной таблицы с несколькими предикатами фильтра и один для запроса двоичного соединения, включающего две таблицы.

тест включает 9125 запросов к одной таблице и 8454 запроса двоичного соединения к одному из небольших наборов данных, что обеспечивает надежную и сложную среду для оценки модели.

например, модель нейронной сети на графе с точной настройкой (gnn) имеет медианную q-ошибку 1,32 и 95-й процентиль 120 в запросах двоичного соединения, что значительно лучше, чем модель с нулевой точкой. результаты показывают, что тонкая настройка предварительно обученной модели может значительно улучшить ее производительность даже для 500 запросов. это делает их пригодными для практических приложений, где обучающие данные ограничены.

подводя итог, cardbench представляет собой значительный прогресс в оценке изученной мощности. исследователи могут способствовать дальнейшим инновациям в этой важной области, предоставляя комплексные и разнообразные критерии для систематической оценки и сравнения различных моделей ce.этот тест позволяет точно настраивать модели, требующие меньше данных и времени на обучение.он обеспечивает практическое решение для практических приложений, где обучение новых моделей обходится слишком дорого.