Azure AI Search, voorheen bekend als "Azure Cognitive Search", biedt een krachtige en veelzijdige zoekoplossing die zonder te veel werk zoekresultaten hoge kwaliteit levert. Als onderdeel van het uitgebreide Azure-ecosysteem profiteert Azure AI Search van goede integratie en uitstekende schaalbaarheid. Dit betekent dat het gemakkelijk kan worden aangepast aan de behoeften van zowel kleine als grote organisaties.
Geavanceerde features out of the box
Een van de grootste voordelen van Azure AI Search is dat veel geavanceerde functies direct beschikbaar zijn. Zonder dat er uitgebreide configuratie of development nodig is. Dit bespaart tijd en moeite waardoor je sneller kunt profiteren van de mogelijkheden van deze technologie. Enkele belangrijke functies zijn bijvoorbeeld:
-
Vector search met gebruik van OpenAI embeddings
Azure AI Search maakt gebruik van OpenAI embeddings voor geavanceerde vector zoekfunctionaliteit. Hiermee kunnen documenten gevonden worden die niet dezelfde woorden bevatten, maar wel dezelfde betekenis. Omdat het gebruik maakt van OpenAI modellen blijft de zoekkwaliteit up-to-date met de nieuwste ontwikkelingen, wat zorgt voor de beste resultaten.
-
Hybrid search voor betere resultaten
Waar vector search de betekenis van een tekst zoekbaar maakt, werkt dit niet altijd voor het zoeken naar bijvoorbeeld namen. Azure AI Search combineert de kracht van vector search met traditionele keyword search. Deze hybride aanpak zorgt ervoor dat gebruikers profiteren van de voordelen van beide methoden. Dit resulteert in meer complete en relevante zoekresultaten.
-
Makkelijk indexeren van veel bestandtypen
Azure AI Search ondersteunt het indexeren van een breed scala aan bestandstypes. Uiteraard simpele tekstbestanden, maar ook foto's en combinaties zoals PDF's en Word documenten kunnen makkelijk geïndexeerd worden. Dit maakt het eenvoudig om een uitgebreide en veelzijdige zoekindex op te bouwen. Zonder handmatig door alle data heen te hoeven gaan.
-
Semantic Ranker voor de beste gesorteerde resultaten
Zelfs met Hybrid search wordt er alleen gekeken naar de betekenis van tekst en de letterlijke woorden. Het zou nog beter zou het zijn om met een taalmodel te bepalen of een vraag beantwoord kan worden met een gegeven bron. Dit is niet te doen voor veel bronnen, maar wel voor de topresultaten. Dit is wat de Semantic Ranker doet. Na het vinden van bijvoorbeeld de top 20 resultaten op een query kan de Semantic Ranker over deze bronnen heen gaan om de beste resultaten bovenaan te zetten.
De combinatie van Azure AI Search met Large Language Models (LLM's)
Azure AI Search is te integreren met Large Language Models (LLM's) voor extra mogelijkheden en voordelen. Door LLM's zoals ChatGPT te gebruiken, kan Azure AI Search natuurlijke, menselijke antwoorden genereren op zoekvragen. Dit proces heet Retrieval-Augmented Generation (RAG). Het verbetert de gebruikservaring door interacties vloeiender en intuïtiever te maken. Deze technologie is bijvoorbeeld ideaal voor klantondersteuning.
Zekerheid van antwoorden
Een belangrijke reden dat RAG bij bepaalde dingen minder vaak gebruikt wordt is de onzekerheid van de antwoorden. LLM's staan erom bekend dat ze kunnen ‘hallucineren’ wat betekent dat ze informatie in hun antwoorden hebben die niet klopt. Na het maken van diverse RAG projecten hebben wij verschillende manieren geleerd om dat hallucineren door LLM's te voorkomen.
De belangrijkste twee hierbij zijn goede system prompts en het gebruik van metadata voor het filteren van de bronnen. De system prompts zorgen ervoor dat er geen informatie wordt teruggegeven die niet in de bronnen staat. Met behulp van metadata wordt er vervolgens voor gezorgd dat de gevonden bronnen toepasbaar zijn in de gegeven context. Op deze manier is er meer zekerheid. Gebruikers kunnen hierdoor vertrouwen op de gegeven antwoorden en beslissingen nemen op basis van betrouwbare informatie.
Een snelle demo door Delta-N
We merken dat veel organisaties nog zoekende zijn naar de toegevoegde waarde van AI voor hun eigen organisatie. Wil je zelf ervaren wat AI Search RAG voor jou kan betekenen? Wij bieden de mogelijkheid om snel een demo te maken van de Azure AI Search RAG. Dit stelt je in staat om snel de potentie en kracht van Azure AI Search en chatbots te ontdekken, zonder dat grote financiële of tijdsinvesteringen nodig zijn.
Koen du Buf, data scientist
