- Reconhecimento de imagem
- Inteligência artificial
- Fotos de PDV
Reconhecer produtos em fotos com ChatGPT, API ou modelo próprio, e do contrato ao painel no ar
Três caminhos para reconhecer produtos em fotos de gôndola, o que é preciso para treinar um modelo próprio que chega a 97% a 99%, e quanto tempo leva do contrato ao painel no ar.
Por Patrick Metzner Morais, fundador da pdv scan · · 4 min de leitura
Reconhecimento de imagem já é uma tecnologia consolidada, e pode gerar valor em muitos contextos do trade marketing. Mas não basta mandar as suas fotos para o ChatGPT e esperar um milagre. Para reconhecer produtos em fotos de gôndola existem três caminhos, e cada um cobra um preço diferente.
Três caminhos, lado a lado
| ChatGPT na mão | API da OpenAI ou de um concorrente | Modelo próprio e leve | |
|---|---|---|---|
| Custo | Baixo em dinheiro | Sobe bastante | Baixo por foto |
| Tempo | Alto: cada lote de fotos passa pelo chat | Trabalho manual bem menor | Processamento automático |
| Resultado | Pouco consistente | Não melhora de forma relevante | 97% a 99% |
ChatGPT na mão
Usar o ChatGPT na mão pode até custar pouco em dinheiro, mas custa muito tempo: alguém precisa processar cada lote de fotos no chat. E o resultado não costuma ser consistente.
Pela API
Pela API da OpenAI, ou de algum concorrente, o trabalho manual cai bastante, porque as fotos seguem para o modelo sem ninguém no meio. Mas o custo sobe muito, e o desempenho não melhora de forma relevante.
Um modelo próprio e leve
Para reconhecer algo bem específico, em altos volumes semanais, a melhor opção costuma ser um modelo próprio e leve. É o que a PDV Scan faz, com modelos que chegam a 97% a 99% de precisão e recall.
Precisão e recall
Precisão: dos produtos que o modelo aponta numa foto, quantos ele acertou. Recall: dos produtos que estão na foto, quantos ele encontrou. Um modelo útil precisa dos dois altos, porque um produto errado e um produto esquecido viram, ambos, um número errado no relatório.
O resto deste artigo mostra o que é preciso para treinar um modelo assim, e quanto tempo leva do contrato ao painel no ar.
O que o slide resume
Nos slides institucionais da PDV Scan, o treinamento aparece em seis passos: fotos reais, rotulagem com IA, aprovação humana, treinamento, avaliação e publicação, num ciclo que se repete até cada produto atingir 97%. Na prática, o passo a passo é bem mais detalhado.
A rotulagem com IA roda uma vez
Primeiro, uma rotulagem com IA roda uma vez, no começo:
- um modelo genérico encontra cada produto na foto;
- um modelo multimodal compara cada recorte com fotos de referência de cada produto.
Depois, inúmeros ciclos de aprendizado ativo
Depois vêm inúmeros ciclos de aprendizado ativo. Cada um:
- faz o backup da base;
- adiciona novas imagens ao conjunto de treinamento;
- detecta cada produto visível com modelos customizados;
- confirma essas detecções com modelos multimodais.
O que sai de cada ciclo é o dataset de um modelo leve de detecção.
Um orquestrador, família por família
Um orquestrador repete esse ciclo para cada família de produtos, até alcançar a performance prometida em contrato. Cada ciclo pode levar de 10 a 30 horas em placas de vídeo na nuvem. Num computador comum, o mesmo trabalho levaria semanas, ou até meses.
A revisão entre os ciclos
Entre uma execução e outra, a PDV Scan usa ferramentas próprias para validar o bom andamento de cada ciclo. A revisão passa foto por foto, e recorte por recorte.
O resultado
O resultado é um modelo com 97% a 99% de precisão e recall, que identifica os produtos cadastrados, os seus preços e a posição deles na gôndola, incluindo blocagem e share. Com esses dados, cada visita ganha uma nota, e as notas mostram o problema na loja antes que o sell-out caia.
Do contrato ao painel no ar
Treinar o modelo é a parte mais longa de uma implantação, mas não a primeira. Do contrato ao painel com os seus dados, são três etapas:
- BI e canais de ingestão: 3 a 4 semanas, na maioria dos casos. O painel entra no ar com as fotos chegando pelos canais que a sua operação já usa: Google Drive, grupos de WhatsApp, books ou a plataforma da sua agência.
- Detecção de SKUs: 3 a 4 semanas por ciclo, de 50 a 70 SKUs cada. Cada ciclo passa pelos passos descritos acima.
- Detecção de preços: 3 a 4 semanas por ciclo, depois dos SKUs.
Quer construir o seu?
Agora você conhece o caminho. Se preferir ter o suporte de alguém que entende do assunto, chame a PDV Scan para conversar.