Semântica de entrega de eventos

Este artigo descreve como o Currents gerencia os dados de eventos de arquivo simples que enviamos aos parceiros do Data Warehouse Storage.

O Currents for Data Storage é um fluxo contínuo de dados de nossa plataforma para um bucket de armazenamento em uma das conexões de nossos parceiros de data warehouse.

O Currents grava arquivos Avro em seu bucket de armazenamento em limites regulares, permitindo que você processe e analise os dados do evento usando seu próprio conjunto de ferramentas de Business Intelligence.

Entrega pelo menos uma vez

Como um sistema de alto rendimento, o Currents garante a entrega de eventos “pelo menos uma vez”, o que significa que eventos duplicados podem ocasionalmente ser gravados em seu bucket de armazenamento. Isso pode ocorrer quando os eventos são reprocessados de nossa fila por qualquer motivo.

Se os seus casos de uso exigirem uma entrega exatamente única, você poderá usar o campo identificador exclusivo que é enviado com cada evento (id) para desduplicar os eventos. Como o arquivo sai do nosso controle quando é gravado no seu bucket de armazenamento, não temos como garantir a deduplicação do nosso lado.

Carimbos de data/hora

Todos os registros de data e hora exportados pelo Currents são enviados no fuso horário UTC. Para alguns eventos em que está disponível, também é incluído um campo de fuso horário, que fornece o formato IANA do fuso local do usuário no momento do evento.

Latência

Os eventos enviados ao Braze por meio do SDK ou da API podem incluir um registro de data e hora do passado. O exemplo mais notável é quando os dados do SDK são enfileirados, por exemplo, quando não há conectividade móvel. Nesse caso, o registro de data e hora do evento refletirá quando o evento foi gerado. Isso significa que uma porcentagem de eventos parecerá ter alta latência.

Apache Avro

As integrações de armazenamento de dados do Braze Currents geram dados no formato .avro. Escolhemos o Apache Avro porque ele é um formato de dados flexível que suporta nativamente a evolução de esquemas e é compatível com uma ampla variedade de produtos de dados:

• O Avro é suportado por quase todos os principais data warehouses.
• Caso deseje deixar seus dados no S3, o Avro compacta melhor do que CSV e JSON, portanto, você paga menos pelo armazenamento e pode usar menos CPU para analisar os dados.
• O Avro requer esquemas quando os dados são gravados ou lidos. Os esquemas podem ser desenvolvidos ao longo do tempo para lidar com a adição de campos sem quebras.

O Currents criará um arquivo para cada tipo de evento usando o seguinte formato:

1
<your-bucket-prefix>/dataexport.<cluster-identifier>.<connection-type-identifier>.integration.<integration-id>/event_type=<event-type>/date=<date>/<schema-id>/<zone>/dataexport.<cluster-identifier>.<connection-type-identifier>.integration.<integration-id>+<partition>+<offset>.avro

Limite de gravação Avro

Em circunstâncias normais, a Braze gravará arquivos de dados em seu bucket de armazenamento a cada 5 minutos ou 15.000 eventos, o que ocorrer primeiro. Sob carga pesada, podemos gravar arquivos de dados maiores, com até 100.000 eventos por arquivo.

Alterações no esquema Avro

De tempos em tempos, a Braze poderá fazer alterações no esquema Avro quando os campos forem adicionados, alterados ou removidos. Para nossos propósitos aqui, há dois tipos de alterações: de ruptura e de não ruptura. Em todos os casos, <schema-id> será avançado para indicar que o esquema foi atualizado. Os eventos Currents gravados no Azure Blob Storage, no Google Cloud Storage e no Amazon S3 gravarão o endereço <schema-id> na jornada. Por exemplo, <your-bucket-name0>/<currents-integration-id>/<event-type>/<date-of-event>/<schema-id>/<environment>/<avro-file>.

Alterações ininterruptas

Quando um campo é adicionado ao esquema Avro, consideramos isso uma alteração ininterrupta. Os campos adicionados serão sempre campos Avro “opcionais” (por exemplo, com um valor padrão de null), portanto, eles “corresponderão” a esquemas mais antigos de acordo com a especificação de resolução de esquemas Avro. Essas adições não devem afetar os processos de ETL existentes, pois o campo será simplesmente ignorado até que seja adicionado ao seu processo de ETL.

Embora nos esforcemos para avisar com antecedência sobre todas as alterações, podemos incluir alterações ininterruptas no esquema a qualquer momento.

Mudanças significativas

Quando um campo é removido ou alterado no esquema Avro, consideramos isso uma alteração de ruptura. As alterações de ruptura podem exigir modificações nos processos ETL existentes, pois os campos que estavam em uso podem não ser mais registrados como esperado.

Todas as alterações significativas no esquema serão comunicadas antes da alteração.