Jusoft - Criação de algumas automações em recursos do sistema atual e um crawler para coletar dados de páginas Html

Possuo um sistema que cadastra um texto por partes. Isso porque cada parte tem que ser qualificado (tags próprias etc) e hierarquizado em si. Ou seja, um texto inteiro, na verdade, gera um trabalho imenso porque cada parte deve ser cadastrada individualmente, até, ao final, reproduzir o texto integral, porém tratador de forma sistêmica.




EXEMPLO

1. TEXTO
  a. Subtexto 1
      i.


Sub do sub 1
  b. SUBTEXTO 2
  c. Subtexto 3
      i.

Sub do sub 1
      ii. Sub do sub 2

no exemplo acima, existem 3 tipos de itens e que tem relações hierárquicas: “texto”, “subtexto” e “sub do sub”.

Cada item acima foi cadastrado em formulário individual, pois há informações para cada uma delas que não serão exibidas, mas é de fundamental importância.

O que quero:

preciso apenas automatizar este cadastro.

Como seria possível:

há um padrão para cada tipo de item (o programador será orientado quanto a isso), então é possível que o sistema faça tal verificação para identificar e fazer o cadastro.

Além de identificar os padrões, o usuário deve revisar a análise do sistema, como uma forma de evitar erros de cadastramento.

Quanto aos outros campos de formulário, o usuário deve indicar conteúdo padrão para todos os itens (o que for diferenciar, via complementos, será em outro momento).

Para inserção de tags específicas para um grupamento de itens, vou precisar de uma ferramenta em que eu selecione tais itens e insira, de uma vez só, tal tag em todos estes itens.

Existe outra ferramenta que será necessária sua automatização:

Há itens que serão ocultados, inseridos ou alterados (alteração, para o programador, será uma ocultação e inserção de novo conteúdo no lugar) por conta de outro texto. Preciso de uma ferramenta que automatize. Como seria feito: ao identificar, cadastrar e qualificar tal item, será perguntado se irá surtir efeito em outro texto (aí o usuário só indicaria o destino da ação).




Outro problema é a fonte das informações que serão cadastradas. Preciso que acessem automaticamente um site especifico que copie tais textos (que são alimentados diariamente e não há restrição de cópia, pois são documentos públicos). São milhares de documentos Html e seria muito trabalhoso acessar um a um e copiar.




Em resumo, preciso de uma ferramenta que:

fonte das informações

1. Acesse e copie documentos html de um site de forma automática e diariamente

cadastro das informações

2. Identifique automaticamente os tipos de itens de cada documento

3.


Exiba a sugestão de tipo e hierarquia de cada tipo de item de cada documento

4. Permita a inserção em lote de informações no cadastro de cada item

5. Permita a inserção em lote de informações de grupamento de itens a ser informada pelo usuário (posterior ao cadastro geral)

6.


Automatize o cadastro de documentos que se relaciona com outro documento

---------

Habilidades necessárias:

Angular 4+
RESTFUL
NOSQL/ArangoDB