Os principais conceitos do Airflow que serão explicados neste artigo serão: DAGs, operators, sensors e hooks. O que vou explicar será sobre como eles se encaixam no Airflow e como utilizá-los no seu dia a dia, até mesmo vamos construir nossa primeira DAG. Eu vou tentar ensinar a partir dos partes ao invés de destrinchar … Continue lendo Apache Airflow 02 – Conceitos principais
Como tudo (re)começou
Opa, pessoal, este blog vai servir para mim como um journal/diário[1] de conhecimento, eu já utilizo o Evernote para o pessoal então este blog vai ser para compartilhar e trocar umas ideias sobre as coisas profissionais que irei escrever. Para quem não me conhece: hoje em dia (06/06/2020) eu sou Engenheiro de Dados na Prediktive … Continue lendo Como tudo (re)começou
Protegido: Como começar em engenharia de dados
Não há nenhum resumo porque esse post está protegido.
Como otimizar algumas tarefas simples do Git
Se você trabalha com T.I., provavelmente utiliza versionamento de código[1] (eu espero kkk), e o mais famoso de todos e com maior qualidade é o git [2]. Mas existem algumas situações comuns que muitos novatos e até uma galera que utiliza há muito tempo acabar perdendo tempo porque não utiliza as facilidades contidas nele, hoje … Continue lendo Como otimizar algumas tarefas simples do Git
Melhores práticas utilizando BigQuery
Este post é um texto bem pequeno sobre como eu trabalho com Google Cloud BigQuery no dia a dia, vai servir para quem trabalha com ele também e que acha que não conhece as features legais que ele tem. Preview Para mim uma das ferramentas mais legais do BigQuery é a função "preview". Ao utilizar … Continue lendo Melhores práticas utilizando BigQuery
Bibliotecas aleatórias #01: PyJanitor
Em bibliotecas aleatórias o objetivo é explorar uma pequena lib (geralmente em Python mas podem ter outras que são só CLIs, etc) e ver o que ela faz, quais suas vantagens e como criar um pequeno código com ela para algum problema que você tenha. Objetivo O objetivo do pyjanitor é criar uma API de … Continue lendo Bibliotecas aleatórias #01: PyJanitor
Apache Airflow 01 – O que é, casos de uso e comentários aleatórios
Apache Airflow é um orquestrador de fluxos, ou seja, com ele você é capaz de decidir em qual momento e em quais condições algum programa seu irá rodar. Este artigo é voltado para quem não sabe nada sobre o airflow, os próximos artigos já espero que a pessoa tenha alguma experiência ou contato com ele. … Continue lendo Apache Airflow 01 – O que é, casos de uso e comentários aleatórios
Chatices do Django Rest Framework – Autenticação
Hoje eu vou falar sobre um problema bem simples, a autenticação. Que é basicamente a função de identificar um usuário. Em Django Rest Framework(DRF), é possível fazer isto de forma bem tranquila, só é preciso utilizar uma das possíveis formas de autenticação descritas na documentação. No projeto que participo, tentei utilizar o DRF para autenticação de usuários … Continue lendo Chatices do Django Rest Framework – Autenticação
Why is Kafka such a big thing for those that enjoy Big Data
[This is a free translation of a text published here in Portuguese] Who is curious about Big Data and data management in general always try to be ahead of new solutions in this world like CosmosDB , ElasticSearch, among others. In this post, the focus is on one of these new solutions, Apache Kafka. Kafka - What is … Continue lendo Why is Kafka such a big thing for those that enjoy Big Data
O que é Kafka e porque ele endoida quem gosta de Big Data?
Quem é curioso por Big Data e gerenciamento de dados em geral sempre procura estar por dentro de soluções novas nesse mundo como CosmosDB , ElasticSearch, entre outros. Neste post o foco é em uma dessas novas soluções, o Kafka. Kafka - O que é? O kafka é uma plataforma streaming distríbuida. E o que isso quer dizer? Basicamente, … Continue lendo O que é Kafka e porque ele endoida quem gosta de Big Data?