Jak zbudować duży model językowy od zera? Toktumi 1.0 – Część 1/3
Toktumi 1.0 – polski model LLM oparty na GPT-2. Od zebrania danych do działającego modelu.
Series
Jak zbudować duży model językowy od zera? Toktumi (GPT-2)
Trzyczęściowy projekt budowy i rozwoju polskiego modelu językowego Toktumi, opartego na architekturze GPT-2. Od zebrania danych i treningu od zera, przez udoskonalenie zbioru treningowego, aż po fine-tuning i ocenę jakości modelu.
Posts in this series
Jak zbudować duży model językowy od zera? Toktumi 2.0 – Część 2/3
Toktumi 2.0 – polski model LLM oparty na GPT-2. Jak wyciągnąć wnioski z pierwszego treningu i zrobić to lepiej.
Jak zbudować duży model językowy od zera? Toktumi 3.0 – Część 3 (i ostatnia)
Toktumi 3.0 – polski model LLM oparty na GPT-2. Fine-tuning, 100% danych syntetycznych i jeszcze lepsze wyniki.