本文同步发布于 Azure Data Factory-ADF前沿动态 专栏 原文链接:https://techcommunity.microsoft.com/t5/azure-data-factory-blog/announcing-the-new-databricks-job-activity-in-adf/ba-p/4410939
Azure Data Factory 正式支持编排 Databricks Job,用户可在 ADF Pipeline 中直接触发 Databricks 工作流,实现跨平台任务调度。
功能亮点
- 全新 Job 活动:在 ADF 的 Databricks 活动组下新增 Job 活动(预览版),连接 Databricks 工作区后即可选择并运行 Job。
- 全场景覆盖:支持 Serverless 作业、SQL 任务、Delta Live Tables、模型服务批量推理,甚至自动发布和刷新 Power BI 语义模型。
- 参数化传递:可在 Job 活动中配置参数并传递给 Databricks Job,便于构建可复用的通用 Pipeline 模板。
场景价值
对于已使用 Databricks 进行数据工程与机器学习的团队,这一集成消除了在 ADF 与 Databricks 之间手动协调任务的痛点。例如,在 ETL 流程中,ADF 可先完成数据摄取,再触发 Databricks 执行复杂的转换或模型推理,最后刷新 Power BI 报表,形成端到端自动化。
同时,参数化能力让企业能够以少量 Pipeline 模板覆盖多环境、多租户场景,显著降低运维成本,加速数据集成与 AI 工作流的落地。
白杨工作室赋能
白杨商业智能工作室围绕 Azure Data Factory 提供全链路服务:
- 开发实施:基于 ADF 与 Databricks 构建高效数据管道与 Data Flow,实现 ETL/ELT 自动化。
- 培训教学:为企业团队提供 ADF 技能培训,涵盖 Pipeline 设计、Integration Runtime 配置与最佳实践。
- 技术支持:运维排障与性能优化,确保数据集成任务稳定高效运行。
- 解决方案:针对数据集成场景定制方案,打通 Synapse、Fabric 与 Databricks 生态。
💡 白杨商业智能工作室专注数仓 · BI · 低代码 · AI Agent四大业务线,为企业提供从数据治理到智能决策的一对一技术落地服务。 📱 添加小编微信 baiyangbistudio,获取定制化数智化方案。 🌐 官网:www.baiyangbistudio.top

