Binnen Microsoft Azure zijn services beschikbaar die ontwikkelaars de mogelijkheid bieden om eenvoudig kunstmatige intelligentie toe te voegen aan hun toepassingen. Een van deze coginitieve services, Vision API, is gebruikt om gewasbeschermings- en bemestingsmiddelen te herkennen in een App voor tuinders.
De case: de GAP-APP
De GAP-APP is een App waarmee tuinders eenvoudig de inkoop en het gebruik van gewasbeschermings- en bemestingsmiddelen kunnen registreren. Dit stelt ze in staat om zonder teveel administratieve rompslomp de GlobalG.A.P.-certificering te behalen. Met dit certificaat toont een tuinder aan dat hij voldoet aan de standaarden (GLOBALG.A.P., 2019) omtrent verantwoordelijk gebruik van gewasbeschermings- en bemestingsmiddelen. Doordat een toenemend aantal afnemers deze certificering van tuinders eist, wordt het behalen ervan steeds belangrijker.
Door de introductie van de GlobalGAP certificering ontstond een klantwens om: “op een eenvoudige manier, meer informatie van de gebruikte gewasbeschermings- en bemestingsmiddelen te kunnen registreren”. Bijvoorbeeld het registreren van de houdbaarheid van een aangekocht bestrijdingsmiddel. Deze klantwens was voor ons aanleiding om de kunstmatige intelligentie dienst van Microsoft “Azure Cognitive Services” te onderzoeken als mogelijke oplossingsrichting.
Azure Cognitive Services en Vision API
Azure Cognitive Services is een verzameling services die ontwikkelaars de mogelijkheid biedt om eenvoudig kunstmatige intelligentie (cognitieve functies) toe te voegen aan hun toepassingen. Een van de onderdelen binnen Azure Cognitive Services is de Vision API. Met Vision API kunnen objecten herkend worden en visuele kenmerken geïdentificeerd worden. Daarnaast kan er een samenvatting gemaakt worden van een afbeelding.
Ook is er de mogelijkheid om teksten te herkennen uit afbeeldingen op basis van Kunstmatige Intelligentie. De herkende teksten worden separaat opgeslagen bij de afbeelding waardoor het plotseling mogelijk wordt om op teksten binnen plaatjes te zoek of acties te initiëren o.b.v. gevonden termen.
Azure Cognitive Services binnen de GAP-APP
Het College voor de toelating van gewasbeschermingsmiddelen en biociden (Ctgb) is een instantie die beoordeelt of gewasbeschermingsmiddelen en biociden veilig zijn voor mens, dier en milieu. Het Ctgb heeft een publieke databank gepubliceerd waarin alle toegelaten middelen staan met extra informatie over het middel.
De gebruiker van de GAP-APP gebruikt één of meerdere middelen die op deze Ctgb lijst staan. Echter maar een klein aantal middelen van de zeer lange lijst. Om het voor de gebruiker makkelijker te maken, kan de gebruiker in de GAP-APP een subset, een zogenaamde mijn (snelkeuze) lijst, aanleggen. Deze lijst wordt nu handmatig bijgehouden door de tuinder, terwijl de tuinder nu eigenlijk al zijn Ctgb middelen (lijst) op een andere manier ook al bijhoudt / kan bijhouden. Hoe?
1. De tuinder moet voor de certificering ook alle geleverde (ingekochte) Ctgb middelen vastleggen. Dat doet de tuiner door foto’s van de facturen te maken en op te slaan in zijn GAP-APP omgeving.
Voorbeeld (*):
Figuur 1: Factuur die meerdere ingekochte Ctgb middelen bevat
2. Tevens zou de tuinder foto’s kunnen maken van de etiketten van zijn Ctgb middelen, om deze informatie om te zetten in “toegankelijke informatie” en op een “toegankelijke manier” op te slaan in zijn GAP-APP omgeving. (zie figuur 2)
(*) De middelnaam en het toelatingsnummer worden gebruikt om Ctgb middelen te identificeren in de tekst geëxtraheerd uit de afbeeldingen.
Uitdagingen en toekomstbestendigheid
Tijdens de herkenning van Ctgb middelen waren er uitdagingen. Zoals het om gaan met lichtvlekken op foto’s (zie figuur 2) of gekreukte bonnen (zie figuur 1). Hiervoor moesten verschillende algoritmes (e.g. fuzzy-matching) gebruikt worden om de Ctgb middelen te herkennen. Zodra er voldoende geclassificeerde data verzameld is, kunnen we de Azure Machine Learning services inzetten om de succes-score van de algoritmes nog hoger te krijgen.
Figuur 2: Afbeelding van een Ctgb middel met lichtvlekken
Om de kwaliteit van de herkenning te waarborgen en een consistente gebruikerservaring te realiseren, is er een beheer- en monitorfunctionaliteit ingebouwd. Door die functionaliteit kunnen de herkenningsprestaties gekwantificeerd worden en daardoor problemen op tijd geconstateerd worden. Door de algoritmes te verfijnen op basis van die feedback, zijn de herkenningsprestaties toegenomen.
Het resultaat
De functionaliteit, die de geldigheid van herkende middelen weergeeft in de GAP-APP, is gerealiseerd (zie Figuur 3). Nu de informatie uit de foto’s van Ctgb middelen beschikbaar gemaakt is door Cognitive Services, is de deur open gezet voor extra functionaliteiten in de toekomst. Ziet u ook mogelijkheden om deze technieken toe te passen binnen uw applicaties. Neem contact met ons op via 085 – 487 52 00 om gezamenlijk de mogelijkheden te verkennen.
Figuur 3: Ctgb databank informatie uit de herkende Ctgb middelen
Hermen Otter, software developer
