Milvus是鹰科鹰属的一种猛禽,以飞行速度快、视力敏锐和适应能力强而闻名。
Zilliz 以其开源高性能、高可扩展性矢量数据库 Milvus 命名,该数据库可在从笔记本电脑到大型分布式系统等各种环境中高效运行。它既可以作为开源软件使用,也可以作为云服务使用。
Milvus 由 Zilliz 开发,并很快捐赠给 Linux 基金会旗下的 LF AI & Data 基金会,如今已成为全球领先的开源向量数据库项目之一。它基于 Apache 2.0 许可证发布,大多数贡献者均为高性能计算 (HPC) 社区的专家,擅长构建大规模系统并优化硬件感知代码。核心贡献者包括来自 Zilliz、ARM、NVIDIA、AMD、英特尔、Meta、IBM、Salesforce、阿里巴巴和微软的专业人士。
有趣的是,每个 Zilliz 开源项目都以一种鸟的名字命名,这种命名惯例象征着自由、远见和技术的敏捷演变。
非结构化数据、嵌入和 Milvus
非结构化数据(例如文本、图像和音频)格式多样,并带有丰富的底层语义,因此分析起来颇具挑战性。为了应对这种复杂性,嵌入技术可用于将非结构化数据转换为能够捕捉其基本特征的数值向量。这些向量随后存储在向量数据库中,从而实现快速且可扩展的搜索和分析。
Milvus 提供强大的数据建模功能,让您能够将非结构化或多模态数据组织成结构化集合。它支持多种数据类型,用于不同的属性建模,包括常见的数值和字符类型、各种向量类型、数组、集合和 JSON,让您免于维护多个数据库系统。
非结构化数据、嵌入和 Milvus
Milvus 提供三种部署模式,涵盖广泛的数据规模——从 Jupyter Notebooks 中的本地原型设计到管理数百亿向量的大规模 Kubernetes 集群:
- Milvus Lite 是一个 Python 库,可以轻松集成到您的应用程序中。作为 Milvus 的轻量级版本,它非常适合在 Jupyter Notebook 中快速构建原型,或在资源有限的边缘设备上运行。了解更多。
- Milvus Standalone 采用单机服务器部署,所有组件捆绑到单个 Docker 镜像中,方便部署。了解更多。
- Milvus Distributed 可部署在 Kubernetes 集群上,其云原生架构专为亿级甚至更大规模场景而设计。该架构确保关键组件的冗余。了解更多。
Milvus 为何如此之快?
Milvus 从设计之初就致力于打造一个高效的矢量数据库系统。在大多数情况下,Milvus 的性能比其他矢量数据库高出 2 到 5 倍(参见 VectorDBBench 测试结果)。如此高性能源于以下几个关键的设计决策:
硬件感知优化:为了使 Milvus 能够在各种硬件环境中运行,我们针对多种硬件架构和平台专门优化了其性能,包括 AVX512、SIMD、GPU 和 NVMe SSD。