Data Warehousing with BigQuery: Storage Design, Query Optimization, and Administration

    Neste curso, você aprenderá sobre os detalhes internos do BigQuery e as melhores práticas para projetar, otimizar e administrar seu data warehouse. Através de uma combinação de apresentações, demonstrações e laboratórios, você entenderá a arquitetura do BigQuery e como projetar armazenamento e esquemas para ingestão e mudanças de dados. Em seguida, você aprenderá técnicas para melhorar o desempenho de leitura, otimizar consultas, gerenciar cargas de trabalho e usar ferramentas de registro e monitoramento. Você também aprenderá sobre os diferentes modelos de precificação. Por fim, você aprenderá diversos métodos para proteger dados, automatizar cargas de trabalho e construir modelos de aprendizado de máquina com BigQuery ML.

    Objetivos

    Neste curso, os participantes aprenderão as seguintes habilidades:

    • Descrever os fundamentos da arquitetura do BigQuery. 
    • Implementar padrões de design de armazenamento e esquema para melhorar o desempenho. 
    • Usar DML e agendar transferências de dados para ingestão de dados. 
    • Aplicar as melhores práticas para melhorar a eficiência de leitura e otimizar o desempenho das consultas. 
    • Gerenciar capacidade e automatizar cargas de trabalho. 
    • Entender padrões versus anti-padrões para otimizar consultas e melhorar o desempenho de leitura. 
    • Utilizar ferramentas de registro e monitoramento para entender e otimizar padrões de uso. 
    • Aplicar as melhores práticas de segurança para governar dados e recursos. 
    • Construir e implementar várias categorias de modelos de aprendizado de máquina com BigQuery ML.

    Público-Alvo

    Esta aula destina-se ao seguinte público:
    • Analistas de dados, cientistas de dados, engenheiros de dados e desenvolvedores que realizam trabalhos em uma escala que requer conhecimento avançado dos detalhes internos do BigQuery para otimizar o desempenho.

    Pré-requisitos

    Para aproveitar ao máximo este curso, os participantes precisam atender aos seguintes critérios:

    Duração

    3 dias

    Investimento

    Consulte o valor atualizado e próximas datas para turmas abertas em nossa página de inscrições. Caso tenha interesse em uma turma fechada para sua empresa, entre em contato conosco.
    Dependências de outros cursos e certificações com o curso de Data Warehousing with BigQuery: Storage Design, Query Optimization and Administration
    Dependências de outros cursos e certificações com o curso de Data Warehousing with BigQuery: Storage Design, Query Optimization and Administration

    Resumo do curso

    • Explain the benefits of columnar storage.
    • Understand how BigQuery processes data.
    • Explore the basics of BigQuery’s shuffling service to improve query efficiency.
    • Compare the performance of different schemas (snowflake, denormalized, and nested and repeated fields).
    • Partition and cluster data for better performance.
    • Improve schema design using nested and repeated fields.
    • Describe additional best practices such as table and partition expiration.
    • Ingest batch and streaming data.
    • Query external data sources.
    • Schedule data transfers.
    • Understand how to use Storage Write API.
    • Write DML statements.
    • Address common DML performance problems and bottlenecks.
    • Identify slowly changing dimensions (SCD) in your data and make updates.
    • Explore BigQuery’s cache.
    • Create materialized views.
    • Work with BI Engine to accelerate your SQL queries.
    • Use the Storage Read API for fast access to BigQuery-managed storage.
    • Explain the caveats of using external data sources.
    • Interpret BigQuery execution details and the query plan.
    • Optimize query performance by using suggested methods for SQL statements and clauses.
    • Demonstrate best practices for functions in business use cases.
    • Define a BigQuery slot.
    • Explain pricing models and pricing estimations (BigQuery UI, bq dry_run, jobs API).
    • Understand slot reservations, commitments, and assignments.
    • Identify best practices to control costs.
    • Use Cloud Monitoring to view BigQuery metrics.
    • Explore the BigQuery admin panel.
    • Use Cloud Audit logs.
    • Work with INFORMATION_SCHEMA tables to get insights for your BigQuery entities.
    • Explore data discovery using Data Catalog.
    • Discuss data governance using DLP API and Data Catalog.
    • Create IAM policies (e.g., authorized views) to secure resources.
    • Secure data with classifications (e.g., row-level policies).
    • Understand how BigQuery uses encryption.
    • Schedule queries.
    • Use scripting and stored procedures to build custom transformations.
    • Describe how to integrate BigQuery workloads with other Google Cloud big data products.
    • Describe some of the different applications of BigQuery ML.
    • Build and deploy several categories of machine learning models with BigQuery ML.
    • Use AutoML Tables to solve high-value business problems.
    Confira nosso Calendário de Treinamentos e Inscreva-se