MC: PLLuM – polski model językowy. Jak działa i do czego może się przydać? (komunikat)

- Ministerstwo Cyfryzacji informuje:

PLLuM – polski model językowy. Jak działa i do czego może się przydać?

Sztuczna inteligencja coraz częściej pojawia się w naszym codziennym życiu. Jednym z kluczowych narzędzi AI są tzw. modele językowe, które potrafią analizować i generować teksty podobne do takich, jakie my – ludzie – piszemy na co dzień. W tym materiale wyjaśniamy, czym dokładnie są takie modele, jak się je tworzy i dlaczego ważne jest, by rozwijać je lokalnie – w języku polskim, na polskich danych i z myślą o krajowych potrzebach. Opowiemy także o PLLuMie – polskim, otwartym modelu językowym, rozwijanym przez jednostki naukowe we współpracy z Ministerstwem Cyfryzacji. Opisujemy jego warianty oraz możliwe zastosowania – od edukacji, przez administrację, po biznes i użytek prywatny.

– PLLuM jest rozwijany na polskich danych, przez polskie zespoły i z myślą o polskich użytkownikach. Dzięki takim projektom dodajemy element suwerenności technologicznej Polski i uzupełniamy ekosystem AI, wspólnie z innymi modelami językowymi - mówi wiceminister cyfryzacji Dariusz Standerski.

Czym są modele językowe?

Duże modele językowe (tzw. LLM-y, od ang. Large Language Models) to tylko jedna z wielu twarzy AI, sztucznej inteligencji, która już teraz towarzyszy nam w różnych dziedzinach naszego życia.

Jak powstają? Na początku trzeba znaleźć im dane odpowiedniej wielkości i jakości. To na tych miliardach zróżnicowanych tekstów modele się uczą. W procesie uczenia (nazywanego treningiem) modele dostają fragmenty tekstu, a ich zadaniem jest na przykład dokończyć zdanie słowo po słowie - w pewnym sensie odgadnąć co użytkownik mógł mieć na myśli. Wykonują podobne zadania tak długo, aż zaczynają tworzyć sensowne odpowiedzi.

Po tym podstawowym treningu model można „douczać” – czyli ukierunkowywać na konkretne zastosowania. To trochę jak uczeń, który zna język, ale musi się jeszcze nauczyć pisać esej czy formalny list. Pokazujemy mu więc instrukcje i przykładowe wypowiedzi, które potem ćwiczy. A później model można jeszcze „wychować” – ucząc go reagować uprzejmie, bezpiecznie i zgodnie z naszymi oczekiwaniami.

Modele językowe nie są wyszukiwarką ani encyklopedią. Kojarzą fakty, które występowały w danych treningowych, ale mogą nie znać aktualnych wydarzeń. W kontekście modeli językowych mówi się często o „dacie odcięcia” (cut-off date), czyli ostatniej dacie tekstów, które widział model w trakcie uczenia. Innymi słowy, model nie zna informacji po tej dacie, bo ich po prostu nie widział.

Modele nie są nieomylne. W dużym uproszczeniu, zgadują kolejne słowa na podstawie powtarzalnych wzorców, których wyuczyły się z danych, zestawów poleceń i wzorcowych odpowiedzi. A kiedy nie znają odpowiedzi, potrafią ją wymyślić („halucynować”) – i całkiem nieźle sobie radzą z przekonywaniem nas, że to poprawne treści, nawet jeśli nie są zgodne z prawdą. Dlatego warto weryfikować ich odpowiedzi.

LLM nie sprawdzi się, jeśli liczy się absolutna świeżość danych, jeśli nie mamy czasu na sprawdzanie odpowiedzi lub jeśli zadanie można łatwo rozwiązać prostym algorytmem. Nie zaleca się też wpisywania danych wrażliwych do publicznych czatów – lepiej wtedy uruchomić model lokalnie lub sięgnąć po klasyczne bazy wiedzy.

Dlaczego potrzebujemy polskich modeli, takich jak PLLuM czy Bielik?

Większość dużych modeli językowych była trenowana głównie na danych anglojęzycznych. W efekcie mogą sobie gorzej radzić z fleksją, kontekstem kulturowym czy stylem wypowiedzi po polsku.

Polskie modele to także większa niezależność i bezpieczeństwo – w tym prawne i licencyjne. Dają możliwość uruchamiania lokalnego, darmowego korzystania i kontrolowania danych. To też rozwój krajowych kompetencji w obszarze AI.

PLLuM

Projekt PLLuM (ang. Polish Large Language Model) powstał po to, by stworzyć otwartą technologię AI dostosowaną do polskich realiów. Polskie jednostki naukowe na zlecenie Ministerstwa Cyfryzacji zbudowały i rozwijają modele, które rozumieją polską gramatykę, kontekst społeczno-kulturowy i urzędowy język.

Jakie warianty PLLuM-a są dostępne?

Rodzinę PLLuM tworzą modele o różnych rozmiarach – od 8 do 70 miliardów parametrów. Im większy model, tym więcej potrafi, ale też potrzebuje więcej mocy obliczeniowej.

- mniejsze modele (np. 8B, 12B) – uruchomimy na lokalnym komputerze lub serwerze, dobrze sprawdzą się w prostszych, specjalistycznych zadaniach.

- większe modele (np. 70B) – lepiej rozumieją kontekst i generują bardziej złożone odpowiedzi, ale wymagają mocnego sprzętu.

Modele PLLuM dostępne są w trzech wariantach funkcjonalnych. W zależności od tego, czego potrzebujemy od modelu, inne warianty będą dla nas bardziej optymalne.

- base (bazowy) – model po adaptacji językowej. Zna polski, ale nie rozumie jeszcze poleceń. To baza do dalszego uczenia.

- instruct (instrukcyjny) – model douczony na zbiorach zadań i odpowiedzi. Potrafi reagować na konkretne polecenia i wykonywać zadania, np. streszczać teksty, tłumaczyć, pisać maile.

- chat (wychowany) – model konwersacyjny. Reaguje uprzejmie, bezpiecznie i zrozumiale. To wariant gotowy do rozmowy z użytkownikiem końcowym.

- Modele PLLuM występują też w wariantach komercyjnych i niekomercyjnych.

- modele niekomercyjne (oznaczone „nc”) mogą być wykorzystywane do badań naukowych, edukacji, testów czy na własny użytek,

- modele otwarte (bez oznaczenia) są trenowane na węższym zbiorze danych, ale mogą być również wykorzystywane w celach komercyjnych.

W ramach PLLuM powstają także rozwiązania RAG (ang. Retrieval-Augmented Generation), idealnie dostosowane do zadań opartych na konkretnych dokumentach. Wyszukują one w kontrolowanej bazie wiedzę na podstawie polecenia, klasyfikują potrzebne fragmenty i odpowiadają na ich podstawie. To ogranicza ryzyko wystąpienia tzw. halucynacji (czyli wymyślania odpowiedzi). Dzięki takim podejściom jak RAG, rozwiązuje się problem daty odcięcia. Model może korzystać z najświeższych informacji znajdujących się w bazie wiedzy, bez potrzeby dodatkowego treningu. Można to sobie wyobrazić jako ucznia korzystającego z podręcznika na egzaminie. Takie właśnie rozwiązania planujemy wdrożyć w wirtualnym asystencie w mObywatelu.

Jak przetestować PLLuM-a?

Z PLLuM-em w mniejszych wariantach 8x7B oraz 12B możemy porozmawiać przez czat, który jest dostępny na stronie https://pllum.clarin-pl.eu/. Tam znajdziemy też poradnik użytkownika modelu PLLuM (PromptBook), który może zainspirować nas, o czym i jak możemy z PLLuM-em rozmawiać.

Jeśli mamy możliwości techniczne pobrania modeli i uruchomienia ich „u siebie”, możemy korzystać ze wszystkich 21 wariantów dostępnych na platformie HuggingFace Ministerstwa Cyfryzacji. Pamiętajmy przy tym jednak, że nie zawsze te największe modele będą odpowiednie do każdych zastosowań. Mniejsze modele działają na skromniejszym sprzęcie i sprawdzą się w mniej wymagających, bardziej specjalistycznych zadaniach; większe lepiej odnajdą się w szerszym kontekście, ale ich uruchomienie będzie wymagało lepszego sprzętu.

Skąd bierzemy dane i dlaczego to ważne?

Jakość lokalnych modeli językowych zależy w dużej mierze od obszernego i zróżnicowanego zestawu danych. Aby model poznał różne konteksty, dane muszą obejmować jak najwięcej przykładów realnego użycia języka – od kontekstów urzędowych czy specjalistycznych, aż po mowę potoczną i zróżnicowane teksty internetowe.

Budowę danych rozpoczęliśmy od identyfikacji i odpowiedniego katalogowania tekstów jednostek naukowych tworzących PLLuM-a. Jednocześnie pozyskiwaliśmy jak najwięcej wysokiej jakości danych z publicznych repozytoriów oraz od chętnych, którzy chcieli wesprzeć PLLuM-a.

Modele lepiej działają, kiedy – poza uczeniem na zbiorach danych tekstowych – dodatkowo nauczy się je reagować na konkretne polecenia, zadania. Dzięki temu model uczy się komunikować z człowiekiem, poznaje konkretne konwencje językowe, ale też jest w stanie odnajdywać się w kontekstach bardziej specjalistycznych, np. domenach administracji publicznej, dyskursie prawnym czy języku młodzieżowym. Dlatego twórcy i twórczynie modeli – jak w przypadku modeli PLLuM – często tworzą własne zbiory instrukcji i „dokarmiają” nimi model. Dzięki temu model lepiej odpowiada na potrzeby szkoły, administracji czy codziennego życia.

Do czego przydaje się PLLuM?

Możliwości jest wiele. PLLuM może pomagać w:

- pisaniu tekstów i maili,

- podsumowywaniu dokumentów,

- nauce i przygotowaniu do zajęć,

- generowaniu treści do aplikacji czy czatbotów,

- planowaniu podróży czy tworzeniu konspektów,

- załatwianiu spraw urzędowych, np. dzięki planowanemu wdrożeniu wirtualnego asystenta w mObywatelu.

PLLuM uczy się na polskich danych, działa lokalnie i można go dostosować do własnych potrzeb. Jest bezpieczny, elastyczny i dostępny – dla nauki, administracji i biznesu.

Najnowsze wersje PLLuMa

16 lipca opublikowaliśmy nową wersję modelu PLLuM – PLLuM-12B-nc-20250715 – dostępną w trzech wariantach: base, instruct i chat. Wariant chat został zintegrowany z PLLuM chat, więc można go od razu przetestować na stronie https://pllum.clarin-pl.eu/pllum_12b

To kolejny krok w rozwoju modelu – oparty na pełniejszych danych, dostrojony do praktycznych zastosowań i gotowy do pracy w codziennych kontekstach.

Ta wersja udostępniana jest jednostkom badawczym – szczegóły dostępne są tutaj: https://huggingface.co/collections/CYFRAGOVPL/pllum-12b-nc-250715-68777715104865436244ae8d

UWAGA: komunikaty publikowane są w serwisie PAP bez wprowadzania przez PAP SA jakichkolwiek zmian w ich treści, w formie dostarczonej przez nadawcę. Nadawca komunikatu ponosi odpowiedzialność za jego treść – z zastrzeżeniem postanowień art. 42 ust. 2 ustawy prawo prasowe. (PAP)

kom/ mbed/