Лівія представила LibiGPT, свою першу національно розроблену велику мовну модель (LLM). Створена компанією Smart Co для технологічних проектів і штучного інтелекту, ця система штучного інтелекту розроблена для усунення критичної прогалини в регіональних мовах ШІ. Модель представлена в трьох версіях: LibiGPT-Base (7 млрд параметрів), LibiGPT-Instruct (13 млрд параметрів) і LibiGPT-Enterprise (34 млрд параметрів).
Подолання розриву штучного інтелекту в Лівії
Існуючі глобальні LLMs, такі як ChatGPT від OpenAI і Gemini від Google, борються з нюансами діалектів лівійської арабської мови та культурного контексту. LibiGPT навчається на величезному наборі даних літературної арабської (MSA) і північноафриканських діалектів, що дозволяє йому розуміти та створювати текст лівійською розмовною арабською (Daria), англійською та французькою мовами.
Чому це важливо: Запуск локалізованого LLM — це більше, ніж просто обробка мови. Це стосується ширшої проблеми надання ШІ доступності для громадськості, де існуючим моделям бракує достатньої культурної та мовної вірності. Для лівійських компаній, державних установ і освітніх установ LibiGPT пропонує індивідуальний ШІ, який відповідає національним пріоритетам.
Основні функції та розвиток
Проект LibiGPT включав:
- Навчальні дані: Набір токенів вартістю кілька сотень мільярдів доларів із значним акцентом на арабській мові, отриманий із загальнодоступних наборів даних, академічних текстів, арабської Вікіпедії та ліцензованого вмісту.
- Конвеєр оптимізації: Спеціальна арабська обробка, включаючи орфографічну нормалізацію, діалектну фільтрацію та покращену токенізацію.
- Синтетичні дані: Створюйте високоякісні синтетичні дані арабською мовою для підвищення надійності, аргументації та можливостей перекладу.
- Переклад: Точний переклад між арабською, англійською та французькою мовами з урахуванням місцевих культурних контекстів.
Команда розробників також надала пріоритет безпеці даних, зберігаючи всю інформацію локально відповідно до вимог суверенітету.
Дорожня карта майбутнього
За словами доктора Алі Османа Аль-Баджі, засновника та генерального директора Smart Co, майбутні плани включають:
- Розширені контекстні вікна: Збільшена ємність моделі для обробки понад 200 000 токенів.
- Спеціалізовані моделі: Розробка спеціалізованого ШІ для юридичного, фінансового, медичного та державного секторів.
- Розширення діалектів: Покращене розуміння арабських діалектів у всьому регіоні.
- Enterprise Solutions: Системи генерації, доповнені пошуком, оптимізовані для арабської мови.
Регіональна тенденція: національна розробка ШІ
LibiGPT є частиною зростаючої тенденції в регіоні Магрибу. Відсутність локалізованих мовних моделей історично обмежувала застосування штучного інтелекту місцевими громадами та не дозволяла урядам повністю використовувати штучний інтелект для державних послуг. Національні ініціативи зі штучного інтелекту впроваджуються в усьому регіоні, керуються як комерційним, так і академічним секторами.
Запуск LibiGPT знаменує собою значний крок у напрямку розширення доступності штучного інтелекту та суверенітету для Лівії відповідно до ширшого руху за пріоритетність локалізованих мовних моделей у Північній Африці.
Цей проект демонструє, що розробку штучного інтелекту можна пристосувати до унікальних мовних і культурних потреб конкретних регіонів, забезпечуючи більш актуальне та ефективне технологічне рішення.
