How to Build a Large Language Model from Scratch? Toktumi 3.0 – Part 3 (The Final Part)
Toktumi 3.0 – a Polish-language LLM based on GPT-2. Fine-tuning, 100% synthetic training data. Conclusion: LESS CAN BE MORE.
Six Fingers
Experiments with AI, machine learning, NLP, and linguistics. Exploring language models, neural networks, emerging technologies, and the latest developments in AI.
Latest articles
How to Build a Large Language Model from Scratch? Toktumi 2.0 – Part 2/3
Toktumi 2.0 – a Polish-language LLM based on GPT-2. How to learn from the first training and do it better.
How to Build a Large Language Model from Scratch? Toktumi 1.0 – Part 1/3
Toktumi 1.0 – a Polish-language LLM based on GPT-2. From web scraping to a working model.
Jak zbudować duży model językowy od zera? Toktumi 3.0 – Część 3 (i ostatnia)
Toktumi 3.0 – polski model LLM oparty na GPT-2. Fine-tuning, 100% danych syntetycznych i jeszcze lepsze wyniki.
Jak zbudować duży model językowy od zera? Toktumi 2.0 – Część 2/3
Toktumi 2.0 – polski model LLM oparty na GPT-2. Jak wyciągnąć wnioski z pierwszego treningu i zrobić to lepiej.
Jak zbudować duży model językowy od zera? Toktumi 1.0 – Część 1/3
Toktumi 1.0 – polski model LLM oparty na GPT-2. Od zebrania danych do działającego modelu.