Analisando propostas

Google Cloud Dataflow Pipeline

Publicado em 03 de Abril de 2021 dias na TI e Programação

Sobre este projeto

Aberto

I have a very specific requirement of reading some hundreds of millions of plain text files from a GCS bucket into Cloud PubSub using Cloud Dataflow. I need the whole contents of the file to be in a single message.

Also, the pubsub message should also contain the complete path of the GCS Object and the "created time" of the GCS Object. The PubSub produced message format should be similar to this:

{
"gcsCreatedTime": "Apr 1, 2021, 12:34:21 PM",
"gcsPath": "gs://bucketName/xxx/yyy/zzz/file.xml",
"fileStringContent": "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
}

Whatever solution provided can be in java or python. It doesn't matter, as long as it works.


Also, streaming is preferred but it can be batch.

Categoria TI e Programação
Subcategoria Outros
Tamanho do projeto Pequeño
Isso é um projeto ou uma posição de trabalho? Um projeto
Tenho, atualmente Eu tenho especificações
Disponibilidade requerida Conforme necessário
Integrações de API Outros (Outras APIs)

Prazo de Entrega: Não estabelecido

Habilidades necessárias

Google Cloud Platform ...

Voce gostaria de começar trabalhar neste projeto?

Entre com sua conta Workana ou faça o seu cadastro! Potencialize seu trabalho freelancer

Outro projetos publicados por O. C. F. J.