Nell’era della digitalizzazione, l’integrazione di macroDroid con strumenti potenti come UiPath Orchestrator e Document Understanding offre possibilità rivoluzionarie. In questo articolo esploriamo un’applicazione pratica che sfrutta queste tecnologie per migliorare l’efficienza della gestione della spesa.
Il servizio di geolocalizzazione presente nei nostri cellulari si è evoluto significativamente negli ultimi anni, integrando diverse tecnologie per migliorare la precisione e l’affidabilità della localizzazione. Oltre al tradizionale GPS, che utilizza segnali satellitari per determinare la posizione con un’accuratezza che può variare in base a fattori come la posizione dei satelliti, la presenza di ostacoli e le condizioni atmosferiche, sono stati sviluppati sistemi come l’A-GPS (Assisted GPS) e l’eGPS (Enhanced GPS). Questi sistemi combinano le informazioni del GPS con i dati delle celle della rete telefonica mobile, permettendo una localizzazione più rapida e precisa, soprattutto in ambienti urbani o al chiuso, dove il segnale satellitare può essere debole o assente.
it.wikipedia.org
Con questa premessa, ho voluto realizzare una piccola app che sfruttasse al meglio le nuove caratteristiche del servizio di localizzazione, integrandole con la potenza di analisi e riconoscimento documentale di UiPath, supportata da meccanismi di intelligenza artificiale.
Descrizione Generale dell’App
La logica alla base dello sviluppo di questa applicazione prevede una fase di inserimento dati strutturata come segue:
- Acquisizione delle immagini dei prodotti: Il cliente utilizza l’app per scattare foto dei prodotti che intende acquistare, assicurandosi di inquadrare chiaramente il fronte dell’articolo e il relativo prezzo.
- Acquisizione dello scontrino: Al termine degli acquisti, il cliente fotografa lo scontrino del supermercato utilizzando una funzione dedicata dell’app.
L’applicazione, grazie all’integrazione con UiPath e all’uso di tecnologie di intelligenza artificiale, è in grado di elaborare queste immagini per estrarre automaticamente le informazioni pertinenti. In particolare, sfrutta le funzionalità di Document Understanding di UiPath per riconoscere e analizzare i dati presenti nelle immagini dei prodotti e negli scontrini, facilitando così la gestione e l’organizzazione degli acquisti da parte del cliente.
Acquisizione delle immagini dei prodotti:
L’app sviluppata con macroDroid presenta un’interfaccia semplice, con un tasto per scattare foto e una sezione per visualizzare l’immagine acquisita. Quando l’utente fotografa un prodotto in un supermercato, l’app allega automaticamente la posizione GPS. L’immagine, convertita in formato Base64, viene inviata in un form con oggetti canvas e tramite l’utilizzo di javascript a un server web. Successivamente viene inviata una chiamata al webhook del nostro Orchestrator in uipath. L’identificazione sicura avviene tramite chiavi OAuth2, garantisce che l’app funzioni come un collettore di informazioni, immagini e posizioni
Utilizzo di Document Understanding
La chiamata al webhook attiva il trigger e il robot collegato al server web che ha ricevuto i dati. Cuore del processo è il modello di tassonomia creato con Document Understanding. Questo modello definisce i requisiti per le immagini, come la descrizione del prodotto, il prezzo e l’etichetta, che servono per agganciare l’articolo alla posizione GPS. Il modello utilizza tecniche avanzate di machine learning e OCR per estrarre informazioni con precisione, migliorando continuamente grazie all’apprendimento automatico.
Decodifica dei Dati dello Scontrino
Dopo l’acquisizione delle immagini, un secondo modello di tassonomia entra in gioco per decodificare i dati presenti nello scontrino.
L’utente arrivato a casa deve , tramite una funzione della precedente app . selezionare una delle sequenze sequenze caricate e fotografare lo scontrino corrispondente.
Le immagini dello scontrino vengono inviate nel medesimo modo e analizzate da un altro modello di tassonomia.
Questo modello permette di estrarre informazioni come l’intestazione, le singole righe con descrizioni, quantità e prezzi, e collegare questi dati con i prodotti fotografati. La chiave univoca creata facilita l’aggancio tra la spesa effettiva e i prodotti georeferenziati.
Il tutto confluisce in un db dove tutte le informazioni (geospaziali, prezzo, descrizione, datatime, supermercato ) sono storicizzate e memorizzate.
Un Esempio Pratico del lavoro svolto: Ottimizzazione del Percorso
Immaginiamo un utente che utilizza l’app per ottimizzare il suo percorso di spesa. Grazie ai dati raccolti, è possibile creare un legame spaziale tra gli articoli acquistati nel supermercato e creare una mappa interattiva che mostra La direzione ottimale da percorrere per acquistare i vari articoli preventivamente selezionati per l’acquisto. Inoltre, se nel modello tassonomico degli articoli acquistati sono inclusi le informazioni per le categorie merceologiche, l’app può suggerire l’ubicazione dei prodotti in promozione scelte facendo delle semplici foto al volantino (altro modello di tassonomia), rendendo il processo di spesa ancora più efficiente e conveniente.
In conclusione, l’uso combinato di macroDroid, UiPath Orchestrator e Document Understanding offre un potente strumento per ottimizzare processi quotidiani, migliorando l’efficienza e la precisione delle attività svolte.
L’acquisizione degli scontrini degli acquisti con operatività friendly (scatto di semplici foto dai cellulari e elaborazione con document understanding facilitate da Ai che modellano e migliorano i tassi di precisione delle analisi) permettono l’utilizzo di strumenti di data mining (Power BI ad esempio) sicuramente esagerati in questa fattispecie ma utili per i compiti di cui parlerò in un prossimo articolo.
