🚀 使用dlt访问仓库的API
此存储库包含我对 “从原料药到仓库”研讨会,在那里我建造了一个完整的 数据摄取管道 从REST API中提取数据,并使用将其加载到分析数据库中 数据加载工具.
本项目的目标是演示如何构建 现代数据摄取工作流程 使用Python和开源数据工程工具。
______________________________________________________________________
🧠 项目概述
在这个项目中,我实现了一个管道:
- 从REST API提取数据
- 对数据进行规范化和结构化
- 将数据加载到本地分析数据库中
- 创建可重复的数据摄取工作流
管道使用 数据链路层,一个Python库,通过自动处理模式推理、规范化和加载,简化了将数据从API和其他源加载到分析目标的过程。:content参考\[oacite:3\]{索引=3}
______________________________________________________________________
🏗️ 建筑
管道遵循一个简单的 EL(摘录→ Load) 图案:
