“ETL是不是要死了？”
这是很多数据工程师最近都在问的问题。尤其当你看到微软在 Fabric 上大力推 AI、推低代码，甚至把 Data Factory 和 Airflow 都整合进去的时候，难免会焦虑：我们熟悉的 SSIS、ADF 开发，还有几年活路？
带着这些疑问，Reza 在 Fabric Insider 第 9 期节目中，和微软数据集成产品管理总监 Wee Hyong Tok 聊了整整一期。没有官话，全是干货。
我帮你把重点划出来了。
微软眼中的数据集成：三大板块
Wee Hyong 首先澄清了一个关键认知：在 Fabric 里，数据集成不是单一产品，而是分三大板块：
- 数据管道（Data Pipeline）：就是你在 ADF 里熟悉的那套，现在叫 Data Factory，支持 150+ 连接器，还能跑 Airflow 工作流
- 数据流（Data Flow）：包括 Gen2 和 Gen3，主打低代码转换，适合业务分析师
- 数据迁移（Migration）：从 SSIS、ADF、Synapse 迁到 Fabric 的完整路径
这三块不是互相替代，而是互补。你完全可以根据场景混着用。
迁移路径：别慌，微软给了你“脚手架”
很多团队最头疼的就是：现有 SSIS 包怎么办？ADF 管道怎么办？
Wee Hyong 透露，微软正在做一套“迁移评估工具”，能自动扫描你现有的 ADF/Synapse 管道，然后给出迁移建议。虽然还没完全公开，但方向很明确：
- SSIS → Fabric：用 Data Factory 的 SSIS 运行时，可以无缝提升
- ADF → Fabric：管道定义基本兼容，复制活动直接用
- Synapse → Fabric：Spark 作业和 SQL 脚本都能平移
关键是，微软不会强迫你“一把梭”。你可以先并行跑，验证后再切换。
Airflow 和 DBT：不是敌人，是队友
社区里有人担心：Fabric 支持 Airflow，是不是意味着微软要抛弃自己的调度器？
Wee Hyong 的回答很务实：“我们支持 Airflow，是因为客户需要。很多企业已经在用 Airflow 管理跨平台工作流，Fabric 要做的不是取代，而是融入。”
同样，DBT 在 Fabric 里也能跑——通过 Notebook 或 Spark 作业。微软的态度是：开放生态，不锁死。
SCD Type 2 自动化：终于不用手写了
做数仓的人都知道，SCD Type 2（缓慢渐变维）是最烦人的活儿之一。以前要么写一大段 SQL，要么用第三方工具。
现在 Fabric Data Factory 直接内置了 SCD Type 2 转换，你只需要配置几个参数，剩下的自动生成。这对国内大量用 SQL Server 做数仓的团队来说，绝对是福音。
AI 会干掉 ETL 开发吗？
这是整场访谈最刺激的部分。
Wee Hyong 的观点很直接：“AI 不会消灭 ETL 开发，但会消灭重复性的 ETL 开发。”
他提到，Fabric 的 Copilot 已经在做这些事情：
- 自动生成管道代码
- 智能推荐数据转换逻辑
- 用自然语言描述需求，直接出数据流
未来，ETL 开发者的角色会从“写代码”变成“审代码”和“设计架构”。你的核心竞争力不再是语法，而是业务理解。
国内用户怎么看？
说实话，微软在 Fabric 上的这个布局，对国内用户还是挺友好的。
一方面，Fabric 的定价是统一的，不像以前 ADF 按操作次数计费，预算更容易控制。另一方面，Fabric 支持国内区域部署，数据合规问题也能解决。
但要注意：目前 Fabric 的很多新功能（比如 SCD Type 2、MCP Server）还是预览版，生产环境慎用。建议先在非核心项目上试点。
最后一句
ETL 没死，但“手写 ETL”确实在走向终结。与其焦虑，不如趁早拥抱变化——把时间花在理解业务和设计数据架构上，这才是未来十年最值钱的能力。
想看完整访谈？去 YouTube 搜“Fabric Insider Ep. 9”，或者去 RADACAD 博客看文字版。
