новости

управление данными: пришло время сломать стереотип

2024-09-23

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

снизьте порог управления данными, снизьте порог, позволяющий предприятиям эффективно использовать активы данных, и сделайте потребление корпоративных данных более удобным.

текст|сюй синь ююн‍‍‍

редактор|чжоу лупин‍‍‍

в прошлом центральные офисы данных сталкивались с некоторыми проблемами и недоразумениями. когда на каждом шагу были вложены миллионы долларов, центр обработки данных когда-то производил впечатление, что он дорогой и тяжелый.высокие затраты на строительство, стал камнем преткновения для малых и средних предприятий с небольшими объемами данных, но в то же время у этих предприятий имеется высокий спрос на создание и управление данными.

более серьезная проблема заключается в том, что быстрая технологическая эволюциямасштабируемость систем управления корпоративными данными ставит новые проблемы. в отчете gartner отмечается, что к 2028 году 50% китайских платформ анализа данных и искусственного интеллекта, созданных до 2023 года, также устареют из-за отделения от экосистемы. область построения данных требует революции.

недавно пэн синьюй, вице-президент alibaba group и генеральный директор lingyang, отметил на специальном форуме lingyang data×ai в рамках computing conference, что предприятиям необходимо завершить деконструкцию сценариев и реконструкцию бизнеса, чтобы принять эпоху искусственного интеллекта. в,в области инфраструктуры данных также начинается волна реконструкции.

в ответ на проблемы строительства, такие как высокая стоимость и сложность расширения управления данными в отрасли, продукт dataphin был полностью обновлен. недавно выпущенная гибкая версия используется для решения проблем сценариев, в которых объем корпоративных данных невелик. однако данные необходимо конструировать. dataphin может развиваться и расширять систему архитектуры данных. он оставляет пространство для разработки для управления данными предприятия, а dataagent, созданный на основе больших моделей, обеспечивает предприятиям удобство эффективного использования активов данных.

01

управление данными теперь

пожалуй, самой известной концепцией построения и управления данными является промежуточная платформа данных.

несколько лет назад волна больших данных охватила мир, и компании-новаторы во всех сферах жизни придавали большое значение изучению ценности корпоративных данных. в 2017 году the economist также упомянул в титульной статье:данные заменили нефть как самый ценный ресурс в мире

в то время группа компаний-новаторов, накопивших большой объем данных, первыми осознала важность разделения хранилищ данных внутри предприятия и централизованного управления и обработки внутренних данных на предприятии. концепция «промежуточной платформы данных». «появилась в это время, и alibaba служила промежуточной платформой данных. предложивший концепцию также взял на себя ведущую роль в создании центра обработки данных на предприятии и предоставлении продуктов и услуг предприятию. группа ведущих компаний в традиционных отраслях также рассматривает создание промежуточных платформ данных как важную отправную точку для интеграции огромных внутренних активов данных и полного раскрытия ценности данных с точки зрения стратегического планирования и активного стремления к изменениям.

кроме того, из-за высокой сложности и большого размера данных первых участников, огромные инвестиции делаются в управление данными и их создание, а цикл создания также является относительно длительным. это вызвало некоторые разногласия в отрасли. например, один из представителей отрасли однажды заметил, что центры обработки данных требуют больших инвестиций, последствия которых трудно оценить количественно, и их трудно реализовать на предприятиях среднего размера.

в этом году gartner перечислила концепцию «промежуточной платформы данных» как постепенно устаревшую область разработки технологий в отчете «цикл зрелости анализа данных и искусственного интеллекта в китае».

однако ветераны отрасли считают, что «среднюю платформу данных» нельзя понимать только с точки зрения продуктов и инструментов, а ценность «средней платформы данных» нельзя рассматривать исключительно с точки зрения популярности этой концепции.

промежуточная платформа данных — это концепция и модельэто означает, что для предприятия активы данных являются важной частью активов предприятия. для этого важного актива предприятиям нужен способ интеграции данных и унификации очистки, обработки и управления для формирования активов данных, которые легко использовать. "вышеупомянутый человек сказал.

gartner также упомянул в отчете, что в условиях нынешней технологической волны «инфраструктура данных», связанная с созданием технических возможностей, таких как интеграция данных, управление метаданными и качество данных, находится в период быстрого роста. ai многоразовая база для вашего приложения.концепция, представленная «промежуточной платформой данных», по-прежнему лидирует в развитии отрасли, а уровень технологий также продолжает быстро развиваться.

кроме того,содействовать маркетизации элементов данных на уровне национальной политики., также позволяет предприятиям ускорить создание более комплексных возможностей управления данными и приложений.

1 января этого года были официально введены в действие «временные положения по учету ресурсов данных предприятия» (далее именуемые «временные положения»). ресурсы данных листинговых компаний перечислены в балансе как новый учет. учитываются и составляют часть акционерного капитала. по данным china securities journal, по состоянию на 31 августа текущего года 39 листинговых компаний раскрыли информацию, связанную с внесением данных в свои таблицы, на общую сумму 1,357 млрд юаней. для многих компаний вопрос о том, как обеспечить глобальное управление данными и создать активы данных, стал вопросом, на который необходимо ответить.

в отрасли существует единодушное мнение, что причина, по которой эти ведущие компании могут взять на себя инициативу по размещению информационных активов, неотделима от их долгосрочного и постоянного внимания к управлению данными.

благодаря макрополитике и волне технологий концепция развития бизнеса, основанного на данных, становится все более популярной, и все больше и больше компаний осознают важность платформ управления данными и создания информационных активов.

на этой волне потребности малых и средних предприятий нельзя недооценивать. например, ван сай, вице-президент lingyang, увидел это:малые и средние предприятия испытывают острую потребность в управлении данными и создании активов данных.. «объем данных предприятий может быть не очень большим по сравнению с объемом данных ведущих компаний, но он сложен и разнообразен. этим компаниям необходимо немного упростить управление этими данными».

однако эти компании сталкиваются со многими проблемами в процессе управления данными. «у малых и средних предприятий может не хватать кадровых резервов, связанных с большими данными, и у них нет большого бюджета для инвестиций в область управления данными». управление данными.

учитывая эти болевые точки, lingyang провела упрощенную трансформацию на основе внутреннего опыта управления данными alibaba и dataphin, интеллектуальной платформы построения и управления данными, созданной для обслуживания внешних крупных корпоративных клиентов, и запустила гибкую версию dataphin.

существоватьв недавно выпущенной гибкой версии dataphin архитектура продукта стала более легкой, что может помочь малым и средним предприятиям начать управление данными с меньшими затратами.. возьмем в качестве примера требования к операторам. гибкая версия dataphin совместима с реляционными базами данных. специалистам по управлению корпоративными данными не нужно владеть передовыми технологиями обработки больших данных. для работы им достаточно освоить sql. эксплуатация и обслуживание также очень малы, что значительно снижает порог таланта для управления данными.

«минимум, который нужен компании, — это инвестироватьтри аппаратных устройства, инвестиции - это всего лишьот двух до трехсот тысяч юанейвы можете начать работу по управлению данными на основе гибкой версии dataphin. «дун фангин, генеральный менеджер линейки продуктов для систем обработки данных lingyang, рассказал digital intelligence frontline. это также означает, что по сравнению с предыдущей версией dataphin с мощными функциями и сложной архитектурой у большинства малых и средних предприятий теперь есть еще один выбор. .

02

управление данными: как сбалансировать текущую и долгосрочную перспективу

когда предприятия с небольшим объемом данных начинают работу по управлению данными, они задумываются над вопросом: поскольку бизнес развивается и объем данных становится огромным, нужно ли им заменять новую систему? создаст ли это проблемы для будущего управления данными?

например, ведущая отечественная розничная компания столкнулась с«болезни роста». благодаря обширной деловой планировке,потребности предприятия в данных стали чрезвычайно сложными и трудными для обработки.

ранее они создали множество систем бизнес-приложений с различными функциями, основанными на реальных потребностях бизнеса. однако по мере того, как компании развивают несколько брендов и несколько каналов, объем данных становится чрезвычайно большим. в то же время в разных системах существуют десятки независимых каналов данных для разных бизнес-данных. кроме того, в разных направлениях бизнеса используются разные определения данных, что чрезвычайно затрудняет управление данными.

причина такой ситуации связана с отсутствием долгосрочной перспективы управления данными на предприятиях. предыдущие архитектуры данных основывались на изолированных потребностях бизнеса. лицо, отвечающее за данные в этой компании, такжеотноситесь к строительству дата-центра как к долгосрочной задаче.с этой целью они также сформировали план на ближайшие три-пять лет по строительству дата-центра предприятия.

по совпадению, менеджер по данным другой компании, занимающейся потребительским кредитованием, также заметил, что идеи построения управления данными необходимо изменить: «раньше больше внимания уделялось тому, какие данные были сгенерированы, какие бизнес-процессы можно оцифровать, а также вопросам соответствия данных». он обнаружил, что через пять лет, когда объем корпоративных данных увеличится, традиционная идея построения хранилища данных больше не сможет удовлетворять потребности предприятия в хранении, управлении и использовании данных.

это также распространенная проблема, с которой сталкиваются многие компании, занимающиеся управлением данными.как архитектура данных оставляет место для будущего развития, чтобы удовлетворить все более и более сложные потребности управления данными в будущем?

учитывая эту общую проблему в отрасли, продукт dataphin компании lingyang инновационно запустил новую архитектуру системы данных. одна из этой архитектурыосновными особенностями являются масштабируемость и эволюция.

проще говоря, малые предприятия могут выбрать облегченную и недорогую гибкую версию продукта dataphin на ранней стадии, исходя из собственных соображений. по мере расширения масштабов предприятия предприятиебазовый вычислительный механизм можно свободно расширять, обновлять и плавно развивать., чтобы удовлетворить будущие потребности в управлении данными и потребности развития корпоративного бизнеса. это связано с использованием одной и той же базовой архитектуры в гибкой версии dataphin и собственной версии.

этотпомогает удовлетворить более сложные потребности в управлении данными по мере расширения корпоративных данных.. после обновления гибкой версии до версии dataphin для интеллектуальных исследований и разработок базовая база данных может быть расширена от реляционных до интерактивных баз данных и баз данных mpp, таких как starrocks, clickhouse, hologres, lindorm, impala и других баз данных с более сильными аналитическими возможностями и более мощной вычислительной мощностью. , тем самым поддерживая более объемное планирование данных, эксплуатацию и обслуживание, а также другие задачи управления.

по мере дальнейшего расширения масштаба предприятия базовая поддержка данных предприятия может быть дополнительно модернизирована до механизма больших данных и даже расширена для поддержки интеграции озер и складов. «малые, средние и крупные — мы все находимся в рамках ряда структур развертывания, которые могут помочь предприятиям беспрепятственно модернизироваться», — сказал ван сай.

при этом учитываются характеристики долгосрочного развития управления корпоративными данными, и предприятия могут свободно выбирать подходящие продукты в зависимости от собственного масштаба данных и требований к управлению.

кроме того, в области управления и эксплуатации данных предприятия также сталкиваются с еще одной серьезной проблемой, которую пэн синьюй определяет какконфликт между персонализацией и экономической эффективностью. крупные предприятия часто выбирают приватизированное внедрение исходя из потребностей своего бизнеса, но это также означает более высокие затраты. стандартизированные облачные продукты, очевидно, дешевле, но они также теряют возможность персонализации конфигураций.

решение dataphin для решения этой проблемы:в дополнение к традиционной модели арендатора общедоступного облака и приватизированному развертыванию она предоставляет предприятиям «полууправляемую» модель., вы можете не только пользоваться эксклюзивной управляемой средой, но и пользоваться гибким планированием публичного облака.

например, некоторые предприятия группы предъявляют разные требования к обработке данных для разных бизнес-модулей или дочерних предприятий. некоторые финансовые данные и данные о членстве требуют локальных вычислений, в то время как другие данные с низкой степенью безопасности можно загрузить в облако для связи с облачным бизнесом и обработкой данных.

этот тип предприятия подходит для полууправляемой модели. по сравнению с услугой «арендовать квартиру» модели общедоступного облака и услугой независимого физического развертывания «построить виллу» полууправляемая модель аналогична.«снять виллу», который может не только удовлетворить потребности предприятий, которые хотят улучшить свои возможности обработки данных и имеют потребности в персонализированной настройке, но в то же время учитывать экономические аспекты.

вообще говоря, в области управления данными и операций с ними dataphin опирается на многолетний систематический опыт alibaba group в области управления данными, чтобы предоставить крупным, средним и малым предприятиям разных размеров решения, которые охватывают несколько типов механизмов и адаптируются к различным типам механизмов. разнообразие экологических требований. расширяемые и масштабируемые продукты.

в области управления данными предприятия вступают в новый этап закупок по требованию и бесплатных обновлений.

03

в эпоху искусственного интеллекта: как сделать данные по-настоящему полезными

дун фанъин видела множество проектов платформ управления данными и обнаружила закономерность: если другая сторона — это чисто ит-команда,нет концепции работы с информационными активами., вероятность успеха таких проектов часто не очень высока.

если данные будут храниться только в базе данных, это станет лишь дополнительным расходом и бременем.«идея, запечатленная в наших костях, заключается в том, что после того, как данные созданы, их необходимо использовать», — сказал донг фанъин в интервью digital intelligence frontline. поэтому линъян придает большое значение операциям с активами. недостаточно агрегировать данные, но также лучше использовать их.

для того чтобы предприятия могли эффективно использовать данные, существует огромный пробел. дун фанъин обнаружил, что на первый взгляд у компании есть данные, а у бизнеса есть проблемы. сопоставление этих двух данных могло бы решить проблему, но то, как их соединить, столкнулось с огромным испытанием.

для деловых людей,понимание бизнеса и понимание данных — две разные вещи. часто бизнес-персоналу не хватает мышления в отношении данных, и ему все равно приходится обращаться к экспертам по данным для сбора данных, что сопряжено с большими коммуникационными и временными затратами.

в конкретном процессе получения данных группа данных также находится под большим давлением. они часто сталкиваются с множеством вопросов о том, где находятся данные, что они означают, как их следует использовать и где их следует использовать. более того, нелегко найти нужные данные среди огромных массивов данных.

это отражает то, что потребности предприятий в данных заключаются не только в получении конкретных результатов данных от чат-бота, но и вовлекаютнеобходимость находить и использовать внутренние ресурсы данных исходя из потребностей бизнеса.. дун фанъин привела конкретный пример. она часто сталкивается с вопросами от клиентов: коэффициент конверсии бизнес-возможностей компании низкий. какие данные могут решить проблему?

суть решения проблемы лежит в бизнес-процессе. сначала вернитесь к бизнесу и выясните, какие люди и организации вовлечены в проблему и какие процессы задействованы. только таким образом можно будет дать пользователям ценные рекомендации. возврата результата данных на основе данных.

начиная с этой болевой точки,в этом году лин ян запустил первый в отрасли агент по сбору данных — dataphin·dataagent.благодаря поддержке больших моделей пользователи могут настроить своего собственного агента, а бизнес-персонал может реализовать его более удобно.полнофункциональное самообслуживание: от вопросов до идей, данных и использования.