Neste curso, você aprenderá sobre engenharia de dados no Google Cloud, os papéis e responsabilidades dos engenheiros de dados e como eles se relacionam com os serviços oferecidos pelo Google Cloud. Você também aprenderá maneiras de lidar com os desafios da engenharia de dados.
Objetivos
Neste curso, os participantes aprenderão as seguintes habilidades:
- Compreender o papel de um engenheiro de dados.
- Identificar as tarefas de engenharia de dados e os componentes principais utilizados no Google Cloud.
- Entender como criar e implantar pipelines de dados com diferentes padrões no Google Cloud.
- Identificar e utilizar diversas técnicas de automação no Google Cloud.
Público-alvo
Público-alvo
Esta aula destina-se ao seguinte público:
- Engenheiros de dados
- Administradores de banco de dados
- Administradores de sistemas
Pré-requisitos
Para aproveitar ao máximo este curso, os participantes precisam atender aos seguintes critérios:
- Experiência prévia com Google Cloud no nível fundamental, utilizando o Cloud Shell e acessando produtos pelo console do Google Cloud.
- Proficiência básica em uma linguagem de consulta comum, como SQL.
- Experiência em modelagem de dados e atividades de ETL (extração, transformação e carga).
- Experiência no desenvolvimento de aplicações utilizando uma linguagem de programação comum, como Python.
Duração
1 dia
Investimento
Consulte o valor atualizado e datas das próximas turmas abertas em nossa página de inscrições.
Caso tenha interesse em uma turma fechada para sua empresa, entre em contato conosco.
Resumo do curso
- Explain the role of a data engineer.
- Understand the differences between a data source and a data sink.
- Explain the different types of data formats.
- Explain the storage solution options on Google Cloud.
- Learn about the metadata management options on Google Cloud.
- Understand how to share datasets with ease using Analytics Hub.
- Understand how to load data into BigQuery using the Google Cloud console and/or the gcloud CLI.
- Describe roles and user attributes in Looker.
- Explain how to connect your Looker instance to a database
- Explain the baseline Google Cloud data replication and migration architecture.
- Understand the options and use cases for the gcloud command line tool.
- Explain the functionality and use cases for Storage Transfer Service.
- Explain the functionality and use cases for Transfer Appliance.
- Understand the features and deployment of Datastream.and advantages of native derived tables.
- Maintain derived tables in Looker.
- Describe performance implications of different PDT options.
- Explain the baseline extract and load architecture diagram.
- Understand the options of the bq command line tool.
- Explain the functionality and use cases for BigQuery Data Transfer Service.
- Explain the functionality and use cases for BigLake as a non-extract-load pattern.
- Explain the baseline extract, load, and transform architecture diagram.
- Understand a common ELT pipeline on Google Cloud.
- Learn about BigQuery’s SQL scripting and scheduling capabilities.
- Explain the functionality and use cases for Dataform.
- Explain the baseline extract, transform, and load architecture diagram.
- Learn about the GUI tools on Google Cloud used for ETL data pipelines.
- Explain batch data processing using Dataproc.
- Learn how to use Dataproc Serverless for Spark for ETL.
- Explain streaming data processing options.
- Explain the role Bigtable plays in data pipelines.
- Explain the automation patterns and options available for pipelines.
- Learn about Cloud Scheduler and Workflows.
- Learn about Cloud Composer.
- Learn about Cloud Run functions.
- Explain the functionality and automation use cases for Eventarc.