Na era da transformação dos sistemas desenvolvidos na arquitetura monolítica para a arquitetura de microsserviços, temos visto um movimento cada vez maior das empresas interessadas em adotar a tecnologia Kafka

Isso se deve, principalmente, pelas vantagens que ela gera aos negócios, como:

Melhora do desempenho do processamento de grande volumes de dados;
Lidar com o evento no momento adequado;
Antecipação de futuros eventos;
Facilitação da integração entre sistemas,
Simplificação da infraestrutura de dados, entre outras vantagens.

Para te ajudar a entender mais sobre essa tecnologia, preparamos um post completo sobre o que é Kafka, como ele funciona e por que utilizá-la no seu negócio.

Vamos lá?

O que é o Kafka?

O Kafka é uma plataforma de eventos em streaming que possibilita a publicação, subscrição, armazenamento e o processamento do fluxo de eventos em tempo real.

Além de Open Source, ela realiza a transmissão de dados de forma extremamente ágil e versátil.

Como funciona essa tecnologia?

A tecnologia Kafka, também conhecida como Apache Kafka, é baseada em log, que funciona de forma assíncrona e desacoplada, assim como processa os dados de forma distribuída.

Em outras palavras, a escrita (producer) e a leitura (consumer) ocorrem de forma independente.

As mensagens, por sua vez, são gravadas em tópicos nos brokers de forma particionada para assegurar a segurança e a performance.

O Kafka simplifica a ingestão de dados de fontes externas através de conectores, o que facilita a integração dos dados.

Além disso, ele possibilita a realização da transformações de dados, ou seja, a agregação, junção, filtros e consultas de eventos em tempo real.

Dessa forma, elas podem ser consumidas conforme a regra do negócio.

A tecnologia também conta com recursos de governança de dados, como, por exemplo, gestão dos schemas, segurança, criptografia dos dados no Broker, e ACL para o acessos) para a melhor gestão do ambiente.

Conheça os principais componentes do Kafka

Agora que entendemos como funciona a tecnologia Kafka, chegou a hora de conhecer os principais componentes, que são:

Producer: componente que realiza a escrita da mensagem no Broker;
Consumer: componente que realizar a leitura das mensagens no Broker;
Broker: componente que gerencia os tópicos, define a forma de armazenamento das mensagens;
Zookeeper: componente que gerencia os metadados e os brokers;
Conectores: componentes responsáveis para fazer a Source e o Sync dos dados das fontes externas;
Kafka Streams ou KsqlDB: componente responsável por realizar a transformação dos tópicos.

Saiba por que utilizar a tecnologia Kafka a favor do seu negócio

Os 5 motivos para a adoção da tecnologia Kafka são:

1.Escalabilidade

Sabe por que empresas como Airbnb, Uber, Netflix, Instacart, Nubank, Yelp, Tinder, Twitter entre diversas outras empresas com a necessidade de escalar rapidamente adotaram o Kafka?

Pela capacidade de processar grande volume de dados com baixa latência de forma eficiente.

2.Flexibilidade

Com a necessidade crescente de integração com várias fontes de dados, o Kafka possibilita a conexão, de forma flexível e simples, através de conectores que agilizam o processo de integração.

3.Segurança

A tecnologia Kafka possui mecanismos para reduzir riscos de perda de dados e acessos indesejados ao ambiente, como o Access Control List (ACL), além da possibilidade de integrar com o Active Directory (AD).

Vale lembrar que o Kafka contempla os mecanismos ACID (Atomicidade, Consistência, Isolamento e Durabilidade).

4.Transformação

Em um cenário em que dados são gerados de diversas fontes e formatos, ter um recurso que realize a transformação (leia-se ETL ou ELT) no menor tempo possível, pode fazer uma grande diferença, dependendo do caso de uso.

Isso porque a tecnologia Kafka permite que o processo seja feito através do KsqlDB de forma fácil e sem a necessidade de escrever nenhuma linha de código para executar join, agregation, filter, query, etc.

5.Governança

Com o volume crescente dos dados e a necessidade da democratização do acesso, o tema de governança tem ganhado uma atenção especial nas empresas.

Em se tratando do Kafka, existem mecanismos para administrar os schemas de dados, acessos de forma granular via Role Based Access Control (RBac) além de determinar regras para a nomenclatura de tópicos, ciclo de vida, tamanho das mensagens, etc.

Implantação do Kafka: como a TechRom utiliza a tecnologia?

Na TechRom, tivemos a oportunidade de apoiar uma implantação de tecnologia Kafka em uma empresa do segmento de saúde.

Quando um usuário, que era segurado pela empresa de saúde, precisava realizar um procedimento médico, a abertura da solicitação era feita através de um hospital ou clínica, que submetia o processo para que a empresa de saúde realizasse a análise (se o plano do usuário cobria, custos envolvidos, etc.) para a aprovação ou não da requisição.

Antes de implantar o Kafka, o processo de aprovação levava 24hs devido ao grande olume de solicitações, formatos distintos enviados pelas credenciados e capacidade de processamento.

Após a adoção do Kafka, o processo passou a levar 3 minutos!

Além do processamento próximo do tempo real, a empresa ganhou outros benefícios operacionais, como:

Aumento da satisfação do usuário,
redução de riscos com procedimentos médicos incorretos;
Simplificação da integração dos dados com os credenciados;
Redução de gargalos na transformação dos dados.

Gostou de entender mais sobre o poder do Kafka e como ele pode ser implementado em diferentes negócios?

Então, que tal se aprofundar ainda mais no assunto?

No dia 13/09, às 19h, a TechRom irá realizar um Kafka Meetup no espaço da iugu!

O evento irá contar com diversos especialistas sobre a tecnologia e as vantagens da utilização do Kafka!

Garanta seu ingresso gratuito e vem aprender mais!