Identificação e comparação de objetos e cores em imagem

Dentro de uma imagem há um (ou mais) quadro(s) com uma legenda e 100 posições (quadrados) que podem ter cores diferentes conforme a legenda.

Identificar uma seção de imagem (retangular) e tratar estes dados.
- Receber uma imagem de entrada;
- Identificar a seção de interesse (retangular, com borda e cor fixas);
- Analisar o conteúdo desta seção comparando as partes dela com uma legenda por meio de cores (dentro da seção de interesse há uma legenda com várias cores - é necessário comparar cada item dentro da seção de interesse corresponde à qual item da legenda);
- Devolver um JSON contendo todos os itens encontrados e à quais itens da legenda eles correspondem.

Idealmente criar uma API Web que irá receber o arquivo de imagem e retornar o json (pode-se utilizar qualquer linguagem pro desenvolvimento da api web).