Organisaties hebben vaak grote aantallen interne documenten vol met waardevolle informatie. De benodigde informatie eruit halen is echter nog wel eens lastig. Regelmatig is niet voor iedereen duidelijk welke informatie in welk document staat. Ook kan de benodigde informatie verspreid staan over meerdere documenten.
Large Language Models (LLM’s) bieden een oplossing voor dit probleem. Ze stellen organisaties in staat om interne documenten eenvoudig te doorzoeken en te bevragen, waardoor de juiste informatie snel en efficiënt gevonden wordt. Dit helpt bedrijven om beter onderbouwde beslissingen te nemen, sneller te reageren op helpdeskvragen en nauwkeuriger documenten op te stellen.
Large Language Models
Een taalmodel, ook bekend als een Large Language Model (LLM), is een type generatieve AI die getraind is om tekst te begrijpen en te genereren. Voorbeelden hiervan zijn OpenAI’s ChatGPT en GPT-4, Microsofts Copilot, Google’s Gemini, Meta’s LLaMA 3 en Anthropic’s Claude. Deze modellen bieden vaak een chatinterface waarmee gebruikers vragen kunnen stellen. Het model genereert vervolgens antwoorden op basis van zijn trainingsdata.
Er zijn ook multimodale modellen, deze kunnen naast tekst ook bijvoorbeeld afbeeldingen, audio en video genereren. Doordat deze modellen getraind zijn op data van het internet, kunnen ze erg veel vragen beantwoorden. Deze modellen kunnen geen vragen beantwoorden die betrekking hebben op interne bedrijfsdocumenten, omdat deze documenten niet gebruikt zijn in het trainingsproces.
Hoe bedrijfsdocumenten voorbereid worden voor AI-analyse
De grote hoeveelheid interne documenten die bedrijven bezitten kunnen verschillende formaten hebben, zoals PDF, Word, webpagina’s, etc. Om informatie uit bedrijfsdocumenten te halen en deze als context te gebruiken voor antwoorden van een taalmodel, moeten de documenten eerst worden voorbereid. Dit betekent dat ze in kleinere stukken (chunks) worden verdeeld. Vervolgens worden deze stukken door een embeddingmodel gehaald, dat ze omzet in hoog-dimensionale vectoren. Deze vectoren vertegenwoordigen de inhoud van elk stuk en helpen bij het vinden van relevante informatie in de bedrijfsdocumenten.
De gegenereerde vectoren kunnen worden opgeslagen in een vector database. Deze database maakt het mogelijk om binnen de opgeslagen vectoren te zoeken en filteren.
Als gebruiker kun je een vraag hebben waarvan de tekst omgezet kan worden in een vector. De vector database maakt het vervolgens mogelijk om door de opgeslagen vectoren te zoeken die zo dicht mogelijk bij de vraag-vector liggen. Hiermee worden de meest relevante bestanden opgehaald die gerelateerd zijn aan de gestelde vraag.
Taalmodellen met externe data
Om de vraag van een gebruiker zo goed mogelijk te beantwoorden met behulp van interne bedrijfsdocumenten, worden het taalmodel en de vector database gecombineerd. Dit kan met een tool zoals LangChain. Met LangChain kun je een taalmodel kiezen om antwoorden te genereren. Daarnaast is het belangrijk om de prompt (de instructie die naar het taalmodel wordt gestuurd) te voorzien van de meest relevante documenten als context. LangChain maakt dit mogelijk door verschillende stappen te combineren. Bijvoorbeeld:
- Vat eerst de vraag van de gebruiker samen met behulp van het taalmodel.
- Gebruik deze samenvatting om relevante documenten uit de vector database op te halen.
- Voeg de opgehaalde documenten als context toe aan de laatste prompt die naar het taalmodel wordt gestuurd.
- Geef het uiteindelijke antwoord terug aan de gebruiker.
Prompt engineering
Interne bedrijfsdocumenten als context aan de prompt toevoegen is vaak niet voldoende. Een prompt moet ook instructies bevatten over hoe het taalmodel het antwoord moet genereren. Bijvoorbeeld, 'Je bent een vriendelijke klantenservice assistent.', 'Maak het antwoord niet langer dan 100 woorden.' en 'Als de context het antwoord op de vraag niet bevat, geef dan aan dat je geen informatie hierover beschikbaar hebt.'
Met dit soort instructies kun je het taalmodel bijsturen om antwoorden zo relevant mogelijk te maken voor de gebruiker. OpenAI heeft een handleiding met tips om prompts zo te ontwerpen dat het antwoord dat gegenereerd wordt zo accuraat en goed mogelijk is voor de eindgebruiker.
Chatbot-achtige applicatie
Om interactief de eigen data te bevragen voor benodigde informatie is een gebruiksvriendelijke applicatie waardevol. Denk bijvoorbeeld aan ChatGPT waarbij een vraag gestuurd kan worden en er een antwoord terugkomt in een chatbot-achtige interface. Deze applicatie kan gemaakt worden met verschillende JavaScript frameworks zoals React, Vue.js of Angular. Maar ook met Python zijn er mogelijkheden zoals Streamlit of Gradio.
Door een gebruiksvriendelijke chatbot-achtige applicatie te ontwikkelen, is het mogelijk om voor allerlei verschillende mensen zo goed mogelijk informatie uit de interne bedrijfsdocumenten op te halen. Hiermee kan zelfs iemand met weinig expertise de benodigde informatie vinden om een vraag te beantwoorden, onderbouwd advies te geven of om documenten op te stellen.
Neem gebruikers mee in de AI ervaring
Bovendien kunnen AI-taalmodellen gebruikt worden in gespecialiseerde applicaties. Gebruikers weten namelijk niet altijd waartoe AI in staat is. Denk bijvoorbeeld aan een recruiter die een vacature op moet stellen of een dokter die een ontslagbrief van het ziekenhuis moet schrijven. Een gespecialiseerde applicatie maakt het mogelijk om een gebruiker bijvoorbeeld vragen te stellen en zo mee te nemen door het proces. De antwoorden van de gebruiker kunnen vervolgens door het taalmodel worden gebruikt om een vacature of ontslagbrief te genereren zonder dat de gebruiker zelf hoeft te weten hoe dit gebeurt.
Doordat de applicatie gespecialiseerd is in de uit te voeren taak, kan deze veel gerichter te werk gaan. Dit bespaart tijd en neemt saaie klussen uit handen. Hierdoor kan de arts zich focussen op het helpen van mensen, in plaats van tijd te verliezen aan administratieve zaken.
Wil je meer weten over de mogelijkheden van het toepassen van LLM's voor jouw organisatie? Bekijk onze "on-demand webinar je kennisbank bevragen met een AI taalmodel", of neem contact met ons op via onderstaande gegevens.
