Libië heeft LibiGPT onthuld, zijn eerste nationaal ontwikkelde grote taalmodel (LLM). De AI is gecreëerd door Smart Co voor technologieprojecten en kunstmatige intelligentie en is ontworpen om een kritieke leemte in de AI in regionale talen aan te pakken. Het model is verkrijgbaar in drie versies: LibiGPT-Base (7 miljard parameters), LibiGPT-Instruct (13 miljard parameters) en LibiGPT-Enterprise (34 miljard parameters).
Het overbruggen van de AI-kloof in Libië
Bestaande mondiale LLM’s zoals OpenAI’s ChatGPT en Google Gemini worstelen met de nuances van Libisch-Arabische dialecten en culturele context. LibiGPT is getraind op een enorme dataset, waaronder Modern Standaard Arabisch (MSA) en Noord-Afrikaanse dialecten, waardoor het tekst in het Libisch informeel Arabisch (dārija), Engels en Frans kan begrijpen en genereren.
Waarom dit belangrijk is: De lancering van een gelokaliseerde LLM gaat niet alleen over taalverwerking. Het behandelt het bredere probleem van de toegankelijkheid van AI voor bevolkingsgroepen waar bestaande modellen culturele en taalkundige nauwkeurigheid missen. Voor Libische bedrijven, overheidsinstanties en onderwijsinstellingen biedt LibiGPT aanpasbare AI die is afgestemd op nationale prioriteiten.
Belangrijkste kenmerken en ontwikkeling
Het LibiGPT-project omvatte:
- Trainingsgegevens: Een corpus van honderden miljarden tokens met een substantiële Arabische focus, afkomstig uit openbare datasets, academische teksten, Arabische Wikipedia en gelicentieerde inhoud.
- Optimalisatiepijplijn: Aangepaste Arabische verwerking, inclusief orthografische normalisatie, dialectfiltering en verbeterde tokenisatie.
- Synthetische gegevens: Creatie van hoogwaardige synthetische Arabische gegevens om de robuustheid, redenering en vertaalmogelijkheden te verbeteren.
- Vertaling: Nauwkeurige vertaling tussen Arabisch, Engels en Frans, afgestemd op de lokale culturele context.
Het ontwikkelingsteam heeft ook prioriteit gegeven aan gegevensbeveiliging door alle informatie lokaal op te slaan om tegemoet te komen aan zorgen over de soevereiniteit.
Toekomstige routekaart
Volgens Dr. Ali Othman Al-Baji, oprichter en CEO van Smart Co, omvatten de toekomstplannen:
- Uitgebreide contextvensters: Vergroten van de modelcapaciteit om meer dan 200.000 tokens te verwerken.
- Domeinspecifieke modellen: Ontwikkeling van gespecialiseerde AI voor de juridische, financiële, gezondheidszorg- en overheidssector.
- Dialectuitbreiding: Verbeterd begrip van Arabische dialecten in de hele regio.
- Enterprise Solutions: Ophaalsystemen voor het genereren van toegevoegde waarde, geoptimaliseerd voor het Arabisch.
Regionale trend: nationale AI-ontwikkeling
LibiGPT maakt deel uit van een groeiende trend in de Maghreb-regio. Het gebrek aan gelokaliseerde taalmodellen heeft historisch gezien de adoptie van AI door lokale gemeenschappen beperkt en verhinderd dat overheden AI ten volle kunnen inzetten voor publieke diensten. Er zijn nu nationale AI-initiatieven gaande in de hele regio, aangedreven door zowel de commerciële als de academische sector.
De lancering van LibiGPT markeert een belangrijke stap in de richting van een grotere toegankelijkheid en soevereiniteit van AI voor Libië, in lijn met een bredere beweging om prioriteit te geven aan gelokaliseerde taalmodellen in Noord-Afrika.
Het project laat zien dat de ontwikkeling van AI kan worden afgestemd op de unieke taalkundige en culturele behoeften van specifieke regio’s, waardoor een relevantere en effectievere technologische oplossing kan worden geboden.
