对于数据专业人士来说，深入研究数据工程项目提供了大量机会。实践挑战可以磨练您的技术技能，并提供有形的作品集来展示您的知识和经验。
在本文中，我精选了一系列数据工程项目，旨在帮助您提高技能并自信地应对现实世界的数据挑战！
为什么要从事数据工程项目？
通过理论和实践建立对数据工程的扎实理解非常重要。如果你正在阅读这篇文章，你可能已经知道这一点，但这里有三个深入研究这些项目的具体原因：
培养技术技能
数据工程项目提供技术和方法的实践经验。您将熟练掌握编程语言、数据库管理、大数据处理和云计算。这些技术技能是数据工程角色的基础，并且在整个技术行业中具有很高的可移植性。
投资组合开发
创建数据工程项目组合可以向潜在雇主展示您的实践能力。通过展示数据管道、仓库设计和优化解决方案的实施，您可以提供切实的证据来证明您的能力。
强大的作品集能让您在就业市场中脱颖而出，并通过现实世界的成就为您的简历增色不少。
学习工具和技术
数据工程领域采用各种各样的工具和技术。从事项目工作可以让你接触到数据处理框架、工作流管理工具和可视化平台。
这种实践经验可以让您了解行业趋势并提高在不断发展的技术环境中的适应能力。
适合初学者的数据工程项目
这些项目旨在介绍数据工程师使用的主要工具。如果您是数据工程新手或需要复习，请从这里开始。
项目 1：具有开放数据的 ETL 管道（CSV 到 SQL）
该项目需要使用公开可用的数据集（例如天气或交通数据）构建 ETL 管道。您将从 CSV 文件中提取数据，使用 Python（使用 Pandas 等库）清理和转换数据，并将转换后的数据加载到基于云的数据仓库 Google BigQuery 中。
该项目非常适合初学者，因为它介绍了核心 ETL 概念（数据提取、转换和加载），同时介绍了 BigQuery 等云工具。
您还将学习如何使用 Python 和 BigQuery API 等简单工具与云数据仓库进行交互，这是现代数据工程的一项核心技能。有关简介，请查看BigQuery 初学者指南。
至于数据，您可以从Kaggle或data.gov中选择一个可用的数据集。
资源
以下是一些提供分步指导的资源，包括 GitHub 存储库和教程：
YouTube 视频：
使用 Cloud Storage、Dataflow 和 BigQuery 的 ETL 批处理管道：此视频展示了在 Google Cloud 上部署的 ETL 批处理管道的完整用例，说明了提取、转换和加载到 BigQuery 的阶段。
GitHub 存储库：
端到端数据管道：此存储库演示了一条全自动管道，从 CSV 文件中提取数据，使用 Python 和 dbt 进行转换，然后将其加载到 Google BigQuery 中。
使用 Airflow 和 BigQuery 的 ETL 管道：该项目展示了使用 Apache Airflow 协调的 ETL 管道，可自动从 CSV 文件中提取数据、使用 Python 进行转换并加载到 BigQuery 中。
课程：
Python 中的 ETL 和 ELT：了解有关 Python 中的 ETL 流程的 vk数据库 更多信息，涵盖构建数据管道的基础概念和实际实现。
了解现代数据架构：本课程全面概述了现代数据架构，重点介绍了在 BigQuery 等基于云的系统中移动和构建数据的最佳实践。
培养技能
使用 Python 从 CSV 中提取数据
使用 Python 转换和清理数据
使用 Python 和 SQL 将数据加载到 BigQuery
项目 2：使用 Python 和 PostgreSQL 的天气数据管道
该项目向有抱负的数据工程师介绍构建数据管道的基本过程，重点关注数据工程的三个核心方面：数据收集、清理和存储。
使用 Python，您将从现成的公共天气 API 获取各个地点的天气状况和预报。收集天气数据后，您将处理原始数据，这可能涉及转换温度单位、处理缺失值或标准化位置名称。最后，您将把清理后的数据存储在 PostgreSQL 数据库中。
该项目是新数据工程师的良好起点。它涵盖了使用广泛使用的行业工具构建数据管道的基础知识。
资源
以下是一些宝贵的资源，包括 GitHub 存储库和教程，它们提供了完成此项目的分步指导：
YouTube 视频：
构建 ETL 数据管道，通过 OpenWeather API（Python/PostgreSQL/SQL）提取天气数据：本教程演示如何使用 OpenWeather API 提取天气数据、进行转换并将其加载到 PostgreSQL 数据库中。
GitHub 存储库：
天气和空气质量 ETL 管道：该存储库演示了一个 ETL 管道，它从公共 API 中提取天气和空气质量数据，将其转换为干净、可分析的格式，并将其加载到 PostgreSQL 数据库中。
天气数据集成项目：一个端到端 ETL 管道，用于提取天气数据、进行转换并将其加载到 PostgreSQL 数据库中。
课程：
创建 PostgreSQL 数据库：本课程提供 PostgreSQL 的综合指南，涵盖创建、管理和优化数据库的基本技能 - 这是天气数据管道中的关键步骤。
Python 数据工程师：此技能轨迹涵盖基础数据工程技能，包括数据收集、转换和存储，为使用 Python 构建管道提供了良好的开端。
培养技能
使用 Python 编写数据管道应用程序
从外部来源收集数据（API）
清理数据以使其一致且易于理解
建立数据库并在其中存储和组织数据
项目三：伦敦交通分析
该项目为有抱负的数据工程师提供了一个很好的起点。它向您介绍了如何使用来自主要公共交通网络的真实数据，该网络每天处理超过 150 万次行程。
该项目的优势在于它使用了行业标准的数据仓库解决方案，例如 Snowflake、Amazon Redshift、Google BigQuery 或 Databricks。这些平台在现代数据工程中至关重要，可让您高效地处理和分析大型数据集。
通过分析运输趋势、流行方法和使用模式，您将学习如何从大型数据集中提取有意义的见解——这是数据工程的一项核心竞争力。
