快手MMU于瑾
✏️编者注：
短视频的兴起见证了一场信息革命。图文时代逐渐向多媒体时代过渡，视频的理解和搜索成为当今的一项关键技术。作为国家级短视频APP的AI中端，快手MMU（多媒体理解）团队如何应对各种应用场景？ Milvus 社区很荣幸邀请到 快手 MMU 的研发工程师于进，与大家分享 Milvus 在 快手 的应用。
嘉宾简介：于瑾，快手多媒体内容理解工程师，负责引擎架构，大规模向量计算，毕业于北京大学，喜欢阅读和慢跑。
请点击观看完整视频
MMUMMR1.0：基于Milvus数据库的向量近似计算平台
快手 MMU负责快手短视频搜索系统和视频理解的AI中台，业务涵盖OCR、ASR、分词、NER等基础AI算法；短视频分类、标签系统构建等中期技术；以及短视频搜索等系统服务。在这个 AI 中端，向量计算起着至关重要的作用。
快手 MMU团队需要处理很多与向量计算相关的应用场景：相似视频检索、视频合规检索、原视频检测、商品检测……在接触Milvus之前，团队使用了一个自研的向量检索系统，但实现方法复杂，维护成本高，系统可用性一般。迫切需要一个高性能、易于访问和高稳定性的矢量数据库。供所有业务方使用。
快手MMU团队经过一系列的产品调研，最终选择了社区活跃、稳定、性能卓越的Milvus作为AI中间平台，搭建了包括AI模型、数据分析工具、和人工神经网络。 目前已经实现的场景包括千亿级视频检索和千亿级商品检索，更多场景将逐步迁移到Milvus搭建的ANNS平台。
基于 Milvus 1.1 的 MMUMMR 1.0 架构如上图所示，其中向量数据存储计算基于 Milvus 数据分片和合并管理。 Milvus数据库支持云原生分布式架构，具有存储与计算分离、写、建、分布式计算、查询分离、流批合一、弹性伸缩等特点。
（不久前Milvus 2.0也和大家见面了，一起来看看Milvus 2.0有什么新功能吧！）
冠军解决方案分析：当我们讨论向量计算时，我们在谈论什么
快手在不久前举办的首届国际矢量检索大赛中，车队获得赛道第一名。该赛道要求团队针对 60 亿规模数据集中的至少三个，以实现超过 10,000 QPS 的性能，同时相对于基准方案 Faiss 的 IVFPQ 方法尽可能提高召回率。 快手团队的解决方案针对 IVFPQ 方法进行了全面优化，在所有四个数据集上都比基线高 5% - 10%。
具体优化思路请参考文末完整视频；）
更多关于首届国际向量检索大赛的信息，请参考：产学研跨界对话，向量数据库研讨会回顾
向量近似计算API介绍及应用
Milvus 数据库提供了一组简单直观的 API。 MMUMMR1.0的Collection索引库使用了Milvus原生API如create、drop、count、stat等，实现近三天冷启动视频功能的召回以及近期热门 过去 90 天内的视频功能召回。和其他自动生命周期管理业务应用程序。
Milvus Collection API 地址为：%20reference/collection.html
此外，MMUMMR1.0还在进行视频重复检查、视频生成素材检索、产品SKU识别、高精度KNN检索用于并行语料构建等业务；属性检索用于视频商品检索、视频检索等场景； ADBKmeans聚类方法用于视频覆盖去重业务。
Zilliz 重新定义数据科学的愿景是打造开源技术创新的全球领导者，并通过开源和云原生解决方案为企业解锁非结构化数据的隐藏价值。
Zilliz 构建 Milvus 矢量数据库，加速下一代数据平台的开发。 Milvus 数据库是 LF AI & Data Foundation 的一个研究生项目，能够管理大量的非结构化数据集，在新药发现、推荐系统、聊天机器人等方面有着广泛的应用。
