Netflix Metaflow 迎来重大升级：全新配置管理系统助力机器学习工作流优化

作者 | Claudio Masolo

译者 | 王强

策划 | 丁晓昀

Netflix近期对其Metaflow机器学习基础设施进行了一次重大升级，推出了全新的Config（配置）对象，为机器学习工作流带来了更强大的配置管理功能。这一重要更新旨在解决Netflix团队在管理跨多个ML和AI应用场景中面临的挑战，尤其是他们需要处理数以千计的独特Metaflow工作流的复杂性。

Metaflow是Netflix开发的一个开源数据科学框架，旨在简化构建和管理数据密集型工作流的过程。用户可以使用Metaflow将工作流定义为一个有向图，从而方便可视化和迭代。该框架大幅度减少了机器学习和数据工程项目中工作流的扩展、版本控制及部署的难度，同时在数据存储、参数管理和计算执行等关键任务中提供了内置支持。

新推出的Config特性标志着Netflix在配置和管理机器学习工作流方式上的一次根本性变革。尽管Metaflow一直以来擅长提供数据访问、计算资源和工作流编排的基础架构，但团队在配置流程行为，特别是素扰器和部署设置方面这一块以往缺乏统一的策略和解决方案。

Config对象的引入在Metaflow现有的工件（artifact）和参数（parameter）基础上，增加了一种新的配置管理方式。不同于工件在每个任务结束时保留、参数在运行开始时解析的特性，Config对象在流程部署期间进行解析。这种时间上的差异使得Config在实现针对部署定制的配置时显得尤为有效。

用户现在可以通过简单易懂的TOML文件来定义Config，从而轻松、直观地管理各个流程方面。例如：

```

[schedule]

cron = "0 "

[model]

optimizer = "adam"

learning_rate = 0.5

[resources]

cpu = 1

```

这一新的配置系统在Netflix内部的工具Metaboost中展现了其强大能力。Metaboost为团队提供了一个统一接口，用以管理ETL工作流、机器学习管道和数据仓库表等。借助新的Config功能，团队能够在保持核心流程结构的前提下，创建不同实验配置，促进更灵活的模型开发与迭代。

例如，机器学习从业者只需简单地更换配置文件即可快速生成模型的不同变体，从而轻松尝试不同的特征、超参数或目标指标。这项新功能特别对Netflix的内容机器学习团队价值显著，因为他们需要处理数量庞大的数据列和多种指标。

新配置系统提供的几个主要优点包括：

1. 灵活的运行时配置：用户可以将参数与配置混合使用，以实现固定部署和运行时配置之间的良好平衡。

2. 增强的验证：自定义解析器功能使得用户能验证配置的有效性，同时可以与如Pydantic等流行工具集成，进一步提高配置的可靠性。

3. 高级配置管理：支持OmegaConf和Hydra等配置管理器，有助于实现复杂的配置层次结构，极大地提升管理效率。

4. 动态生成配置：用户能够从外部服务获取配置或分析执行环境（如当前GIT分支），在运行时将其作为附加上下文信息纳入考虑。

此次更新标志着Metaflow作为机器学习基础设施发展迈出的重要一步。通过提供更为结构化的方式来管理配置，Netflix不仅使得其团队能更轻松地维护和扩展机器学习工作流，同时也能够更好地遵从各自的开发实践和业务目标。

Metaflow 2.13版本现在已经推出，用户可以立即开始在其工作流中实施这一全新功能，以优化他们的机器学习项目。

除了Netflix的Metaflow，市场上还有其他一些类似的工具以帮助数据科学家和工程师管理工作流、编排管道，构建可扩展的机器学习或数据驱动系统。这些工具虽然存在一些功能上的重叠，但在需求和优先级上完全不同。以下是一些在行业内颇具影响力的例子：

Apache Airflow：一个被广泛使用的开源工作流编排，用户可以将任务及其依赖关系定义为有向无环图（DAG），适用于跨多个领域的工作流管理。

Luigi（Spotify）：一个专注于构建复杂管道的开源Python框架，同样可以管理依赖关系、工作流编排和任务管理，但在机器学习方面的特定需求上关注较少。

Kubeflow：一个针对Kubernetes的机器学习工具包，专门设计用于管理机器学习工作流并在生产中部署模型，适合Kubernetes环境。

MLflow：一个开源用于管理机器学习生命周期，包括实验跟踪、可重复性、部署和监控等，尽管在模型版本控制和部署方面表现出色，但在工作流编排功能上有所欠缺。

Argo Workflows：一个Kubernetes原生工作流引擎，旨在在容器化基础设施上运行复杂的工作流，对已经在使用Kubernetes并在寻求轻量级解决方案的团队尤为适用。

虽然这些工具在功能上各有重叠，但Metaflow凭借其简单性、可扩展性以及对机器学习工作流程内置支持的优势，在数据科学团队中尤为可贵。通过此次升级，Netflix希望借助更强大的配置管理能力，进一步推动数据科学研究的发展，为其产品和服务创造更大的价值。