导航菜单

AI+时代,Zilliz Mega强势突破数据处理边界

?

2019年5月8日至10日,第十届中国数据库技术大会(DTCC2019)在北京召开。 Zilliz受邀参加“年度创新企业奖”,并在台湾发布业界首款GPU加速AI数据。 Mega。创始人兼首席执行官Star Jue表示,Zilliz在Mega中间的AI数据使用GPU处理器融合和加速数据ETL,数据仓库,模型培训,推理和部署,打破人工智能与数据处理之间的差距。划分和障碍提供GPU加速的一站式AI数据科学解决方案。 Zilliz团队坚持独立研发。经过1096个日日夜的研发,公司终于推出了Mega数据中心。正是由于Zilliz具有前瞻性的产品结构和创新的技术追求,它在许多数据库供应商中脱颖而出。评委会在“2019年中国数据库技术年度评选”过程中得到了高度认可,并被评为“年度创新企业”。

DTCC 2019的主题是“数据风暴,十年的变化”。在中国数据库的十年中,技术领域已经有数百场战斗,有许多指南,追随者和先驱者。自2016年成立以来,Zilliz一直认为,随着人工智能在世界各个行业的进一步深化以及应用数据的快速增长,数据处理流程,如数据ETL,数据仓库和海量特征向量检索必将成为无限简化,易于使用。致力于独立自主研发,从原有的国产新一代异构多核加速数据库系统Mega到中间系统(Mega)开启人工智能端到端数据,可谓“三年”磨剑,只是为了试验。“

img_pic_1557474706_0.jpg

照片:Zilliz创始人兼首席执行官在DTCC2019会议上发表演讲

GPU加速AI数据在2019年上半年,Mega正式开放用于商业用途。下图显示了Mega系统架构。

img_pic_1557474706_1.jpg

图:Mega系统架构图

凭借GPU强大的计算能力,Mega实现了对所有资源的统一管理和调度,包括计算资源和存储资源。目前有四种核心产品:

MegaETL:GPU加速ETL。大量数据ETL非常耗时,需要AI科学家和工程师花费太多时间和精力。大多数数据提取和转换过程通过并行处理固有地加速。 MegaETL依靠GPU强大的并行计算能力来加速数据转换和清理过程,并可将数据ETL的处理时间缩短50~60倍。

MegaWise:GPU加速数据分析引擎。 MegaWise是基于GPU硬件加速的新一代OLAP处理引擎。它突破了数据分析中计算能力和存储带宽的两大瓶颈。与主流CPU数据处理引擎相比,查询性能提高了100多倍,降低了硬件成本和运维成本。 10倍。

MegaLearning:大数据资产AI授权。在过去的十年中,许多公司已经建立了大数据系统,用于积累和存储大量数据资产。 MegaLearning帮助用户直接在现有大数据系统(如Hive和Impala)上培训机器学习和深度学习,以弥合底层数据资产,大数据系统和AI培训系统之间的差距。 MegaLearning自动解决AI科学家的数据预处理,数据缓存和日程安排等任务,使他们能够以简单直接的方式在现有大数据系统上构建AI培训和推理任务,从而使AI科学家能够专注于AI。建模,调优和调优可以帮助他们节省80%以上的程序开发工作量。

MegaSearch:GPU加速了大量的特征向量匹配和检索引擎。特征向量是用于数据仓库和数据分析领域的深度学习的新数据类型。它们是现代图像分析,视频分析,NLP和语音分析的基石。在实际部署中,大规模特征向量匹配和检索的速度和准确性往往是确定AI模型的有效性和可用性的关键。基于GPU加速,MegaSearch提供极快的特征向量匹配和多维数据联合查询(联合查询,如功能,标签,图片,视频,文本和语音),并支持自动子数据库和多个副本,可以完美连接TensorFlow。 Pytorch和MXNet等AI模型可以对数百亿个特征向量进行二级查询。

随着人工智能,物联网和5G的大规模应用,我们将迎来更复杂多样的业务需求。 Zilliz将始终专注于抛光更完整的GPU,以加速平台中间的AI数据,满足不断增长的用户需求。