помогая сократить расходы и повысить эффективность, bytehouse создает облачное хранилище данных нового поколения.
2024-09-25
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
благодаря взрывному росту объема данных, ускорению миграции предприятий в облако и растущему спросу на данные в реальном времени рынок облачных хранилищ данных открыл возможности для быстрого развития.
по данным исследовательских институтов idc и gartner, к 2025 году ожидается, что 50% корпоративных данных будут храниться в облачных хранилищах, 75% баз данных будут работать в облаке, 30% глобальной обработки данных, как ожидается, будет осуществляться в режиме реального времени. ожидается, что 80% данных будут храниться не в облачных хранилищах. структурированные данные будут способствовать росту популярности облачных хранилищ данных среди предприятий.
недавно ли цюнь, менеджер по продуктам облачного хранилища данных volcano engine bytehouse, был приглашен принять участие в «csdi summit china software r&d innovation and technology summit», посвященном теме «ключевые технологии и лучшие практики облачных технологий нового поколения». хранилище данных bytehouse», из облачного хранилища данных. начиная с истории и новейших технологий, мы представляем общую архитектуру bytehouse, основные моменты, достижения в производительности, ключевые конструкции разделения хранилища и вычислений, а также бизнес-практику bytehouse в различных сценариях внутри и за пределами douyin group. .
основываясь на обзоре опыта bytehouse в сфере финансов, игр, пан-интернета и других отраслях, ли цюнь впервые рассказал о трудностях и проблемах, с которыми в настоящее время сталкиваются облачные хранилища данных. высокая производительность, высокий уровень параллелизма и высокая пропускная способность записи уже являются основными потребностями современных предприятий в облачных хранилищах данных. поскольку интернет продолжает развиваться, данные быстро растут, особенно данные журналов. у некоторых из наиболее активных приложений объем данных достигает десятков или даже сотен миллиардов каждый день, а крупномасштабные приложения-убийцы генерируют сотни миллиардов событий каждый день. для этого требуется, чтобы платформа данных не только поддерживала высокопроизводительную запись и дедупликацию в реальном времени, но также обеспечивала реагирование на бизнес-запросы за миллисекунды.
кроме того, предприятия также сталкиваются с такими проблемами, как сложная архитектура данных, отсутствие гибкости и трудности с контролем затрат. например, чтобы реализовать функцию анализа данных, предприятию может потребоваться внедрение трех, четырех или даже более компонентов для ее создания, что приводит к трудностям с расширением мощностей, высокой нагрузке на эксплуатацию и техническое обслуживание, а также высоким затратам на техническое обслуживание рабочей силы.
чтобы решить вышеуказанные проблемы, bytehouse сначала добился прорыва в производительности. для сложных запросов компания bytehouse запустила собственный оптимизатор с точки зрения rbo (возможность оптимизации на основе правил), cbo (возможность оптимизации на основе затрат) и генерации распределенных планов, который может точно рассчитать путь выполнения с максимальной эффективностью, что значительно улучшение сократите время запроса пользователя. кроме того, bytehouse также был оптимизирован с точки зрения exchange, фильтра времени выполнения и параллельной реконструкции. для шести основных сценариев: медленная пропускная способность в реальном времени, медленная отчетность bi, медленный комплексный анализ в автономном и онлайн-режиме, медленный интегрированный анализ озера + склада, медленный выбор толпы и медленный поиск изображений — bytehouse запустил индивидуальные решения и внедрил их в реальных сценариях клиентов. . давать реальные результаты.
во-вторых, эластичность также является одной из основных возможностей bytehouse. благодаря возможностям эластичного масштабирования bytehouse пользователи могут выполнять конфигурации расширения и сжатия, основываясь только на времени, загрузке ресурсов и других условиях, что снижает нагрузку на ручное управление и улучшает использование ресурсов. на уровне хранилища bytehouse использует бессерверную архитектуру, которая имеет низкую стоимость и неограниченные возможности расширения. на вычислительном уровне bytehouse основан на модели paas и реализует состояния без сохранения состояния или слабые состояния посредством контейнеризации. он упаковывает всю вычислительную группу в арендаторов и приложения и представляет их пользователям, гарантируя отсутствие конфликтов запроса ресурсов или снижения производительности между ними. арендаторов, чтобы можно было использовать вычислительные ресурсы. обеспечьте эластичное подтягивание, а также эластичное расширение и сжатие за считанные секунды.
наконец, повышая эффективность, bytehouse также помогает пользователям экономить средства. облачная архитектура bytehouse поддерживает настраиваемую гибкость разделения времени, устраняя необходимость предварительной покупки ресурсов для пользователей в пиковые нагрузки, помогая сократить расходы более чем на 30%. в то же время, чтобы помочь пользователям упростить архитектуру, bytehouse предоставляет более широкие возможности анализа данных и максимизирует эффективность данных за счет создания единой платформы. он запустил системы полнотекстового поиска, системы гис и системы vector, что позволяет пользователям наслаждаться ими. благодаря максимальной производительности olap вы можете использовать возможности поиска текста, геопространственного анализа и векторного поиска без внедрения других архитектур. кроме того, с точки зрения экологичности bytehouse поддерживает clickhouse, mysql и другие среды sql, а также интеграцию озерных хранилищ, что позволяет перемещать приложения и данные с нулевыми затратами.
что касается сценариев применения, ли цюнь поделился лучшими практиками bytehouse из трех сценариев: хранилище данных в реальном времени, промежуточная платформа olap корпоративного уровня и точный рекламный маркетинг.
если взять в качестве примера сценарий точного маркетинга рекламы, то по мере того, как дивиденды от трафика мобильного интернета уменьшаются, усовершенствованная маркетинговая модель стала основной. выбор наиболее потенциальной целевой аудитории из сотен миллионов людей является сутью точного маркетинга, а также проблемой, с которой сталкиваются возможности хранилища данных как основного механизма.
судя по короткому драматическому рекламно-маркетинговому предприятию, которое обслуживала bytehouse, с одной стороны, компании необходимо корректировать свою бизнес-стратегию в режиме реального времени, требуя анализа данных и своевременности обновления в течение 3 секунд, а с другой — одновременного количества запросов в секунду, достигающего 2000; с другой стороны, в маркетинговых сценариях обновление больших объемов данных в реальном времени приведет к созданию большого количества фрагментов данных, что снизит производительность запросов и приведет к потере места для хранения.
представляя совместное решение bytehouse, lianshan cloud и juju engine, рекламно-маркетинговая компания создала набор универсальных решений для индустрии короткометражных драм с «синхронизацией в реальном времени в один клик, минималистской архитектурой и низкопороговой технологией». » для повышения эффективности обработки рекламных данных и окупаемости инвестиций.
фактически, с помощью многоуровневых индексов, таких как индекс ключа сортировки, оптимизация ключа раздела, индекс перехода и т. д., bytehouse эффективно уменьшает объем данных, сканируемых во время рекламных и маркетинговых запросов. даже при десятках миллионов запросов в день. также можно улучшить своевременность возврата данных. гарантия находится на втором уровне, что в 5 раз выше, чем раньше. в рамках стратегии изоляции вычислительной группы bytehouse создает независимые вычислительные ресурсы для чтения и записи данных в рекламных и маркетинговых сценариях. благодаря гибкому механизму распределения sql он может поддерживать запросы с высокой степенью параллелизма, превышающие 2000 qps.
согласно сообщениям, bytehouse также достигла углубленного сотрудничества со многими отраслевыми компаниями, такими как китайский сейсмологический сетевой центр, lilith games, geeknet technology и т. д., опираясь на новое поколение облачной архитектуры, эффективные и удобные модели эксплуатации и обслуживания. высокая производительность и гибкость возможность выполнения запросов в режиме реального времени заложила для предприятий прочную основу для использования цифровых возможностей и содействия цифровой трансформации и модернизации предприятий.
