白杨商业智能工作室
#技术分享#Azure Data Factory#ADF前沿动态

ADF新增Databricks任务

· 白杨BI工作室

Azure Data Factory 正式支持编排 Databricks Job,用户可在 ADF Pipeline 中直接触发 Databricks 工作流,实现跨平台任务调度。 - 全新 Job 活动:在 ADF 的 Databricks 活动组下新增 Job 活动(预览版),连接 Databr

ADF新增Databricks任务

本文同步发布于 Azure Data Factory-ADF前沿动态 专栏 原文链接:https://techcommunity.microsoft.com/t5/azure-data-factory-blog/announcing-the-new-databricks-job-activity-in-adf/ba-p/4410939


Azure Data Factory 正式支持编排 Databricks Job,用户可在 ADF Pipeline 中直接触发 Databricks 工作流,实现跨平台任务调度。

功能亮点

  • 全新 Job 活动:在 ADF 的 Databricks 活动组下新增 Job 活动(预览版),连接 Databricks 工作区后即可选择并运行 Job。
  • 全场景覆盖:支持 Serverless 作业、SQL 任务、Delta Live Tables、模型服务批量推理,甚至自动发布和刷新 Power BI 语义模型。
  • 参数化传递:可在 Job 活动中配置参数并传递给 Databricks Job,便于构建可复用的通用 Pipeline 模板。

场景价值

对于已使用 Databricks 进行数据工程与机器学习的团队,这一集成消除了在 ADF 与 Databricks 之间手动协调任务的痛点。例如,在 ETL 流程中,ADF 可先完成数据摄取,再触发 Databricks 执行复杂的转换或模型推理,最后刷新 Power BI 报表,形成端到端自动化。

同时,参数化能力让企业能够以少量 Pipeline 模板覆盖多环境、多租户场景,显著降低运维成本,加速数据集成与 AI 工作流的落地。

白杨工作室赋能

白杨商业智能工作室围绕 Azure Data Factory 提供全链路服务:

  • 开发实施:基于 ADF 与 Databricks 构建高效数据管道与 Data Flow,实现 ETL/ELT 自动化。
  • 培训教学:为企业团队提供 ADF 技能培训,涵盖 Pipeline 设计、Integration Runtime 配置与最佳实践。
  • 技术支持:运维排障与性能优化,确保数据集成任务稳定高效运行。
  • 解决方案:针对数据集成场景定制方案,打通 Synapse、Fabric 与 Databricks 生态。

💡 白杨商业智能工作室专注数仓 · BI · 低代码 · AI Agent四大业务线,为企业提供从数据治理到智能决策的一对一技术落地服务。 📱 添加小编微信 baiyangbistudio,获取定制化数智化方案。 🌐 官网:www.baiyangbistudio.top

相关文章

微软重磅调整:Azure SQL弃用SGX加密意味着什么

微软重磅调整:Azure SQL弃用SGX加密意味着什么

微软 Azure SQL 数据库近日宣布,将正式停用基于英特尔 SGX 安全区域的 Always Encrypted 加密方案,这一变化标志着云端机密计算在数据库加密领域的一次重要技术路线调整。

#技术分享#Azure SQL
Azure SQL数据库中心性能监控来了,你的数据库终于有救了

Azure SQL数据库中心性能监控来了,你的数据库终于有救了

微软近日宣布,Azure SQL 数据库中心(Database Hub)的性能监控功能正式进入公共预览阶段,用户现可在统一门户中直接查看数据库运行指标,无需在多套工具间来回切换。

#技术分享#Azure SQL
微软Fabric数据库中心公共预览开放,数据开发迎来巨变

微软Fabric数据库中心公共预览开放,数据开发迎来巨变

数据库管理正在从被动运维走向主动洞察。微软近日宣布,Fabric 中的数据库中心(Database Hub)正式进入公共预览阶段,这项新能力将数据库运行信号转化为可执行的引导式操作,让数据资产的管理者第一次拥有了驾驶舱式的全局视野。

#技术分享#Azure SQL
SQL Server Always On终于支持多数据库MI链接了

SQL Server Always On终于支持多数据库MI链接了

微软近日宣布,Azure SQL 托管实例(MI Link)现已支持在 SQL Server 的 Always On 可用性组中同时连接多个数据库,该功能目前处于预览阶段。这意味着企业可以在混合云架构下,更灵活地实现多数据库的云端灾备与只读分流。

#技术分享#Azure SQL
Azure SQL数据库无服务器也能自动暂停?省钱大招来了

Azure SQL数据库无服务器也能自动暂停?省钱大招来了

微软近日宣布,Azure SQL 数据库的超大规模无服务器版本正式进入自动暂停与自动恢复功能的公开预览阶段。这意味着企业可以在业务低谷期让数据库自动休眠,在请求到来时秒级唤醒,从根本上重构云数据库的成本模型。

#技术分享#Azure SQL
SQL数据同步退役倒计时,你的数据库迁移方案准备好了吗

SQL数据同步退役倒计时,你的数据库迁移方案准备好了吗

微软近日宣布,Azure SQL 数据同步服务(SQL Data Sync)正式进入退役的最后阶段,该服务将不再支持新的同步组创建,现有用户需尽快迁移至替代方案。 - 停止新建同步组:用户已无法通过门户或 API 创建新的数据同步组,现有同步组仍可运行,但不再获得功能更新。

#技术分享#Azure SQL
有问题?加企业微信 1 对 1 交流 👇
➕ 添加企业微信
备注「白杨」优先通过 · 数据洞察与智能决策
企业微信
企业微信
备注「白杨」优先通过