AI & Strojové učenieexpert

Čo je Fine-tuning?

Fine-tuning je proces dolaďovania predtrénovaného AI modelu na špecifickú úlohu alebo doménu pomocou menšieho, špecializovaného datasetu. Umožňuje prispôsobiť všeobecný model konkrétnym potrebám bez trénovania od nuly.

Definícia Fine-tuning

Čo je fine-tuning

Fine-tuning (dolaďovanie) je technika transfer learningu, pri ktorej vezmete predtrénovaný model (napr. GPT, BERT, LLaMA) a dotrénujete ho na vlastných dátach. Model si zachová všeobecné znalosti z predtrénovania a pridá si špecializované znalosti z vášho datasetu.

Kedy fine-tuning použiť

  • Potrebujete model, ktorý ovláda špecifickú terminológiu (lekársku, právnu, technickú)
  • Chcete, aby model dodržiaval konkrétny štýl alebo tón komunikácie
  • RAG nestačí — potrebujete, aby model „zvnútornil" znalosti
  • Chcete menší, rýchlejší model na špecifickú úlohu

Typy fine-tuningu

  • Full fine-tuning — úprava všetkých parametrov modelu (najdrahšie, najflexibilnejšie)
  • LoRA (Low-Rank Adaptation) — efektívna technika, upravuje len malú časť parametrov
  • QLoRA — kombinácia kvantizácie a LoRA, umožňuje fine-tuning veľkých modelov aj na bežnom GPU
  • RLHF — dolaďovanie pomocou ľudskej spätnej väzby (použité pri ChatGPT)

Fine-tuning vyžaduje kvalitný dataset s 500 až 100 000 príkladmi (závisí od úlohy). Vďaka technikám ako LoRA sa stáva dostupným aj pre menšie firmy — fine-tuning 7B modelu s LoRA zvládne aj bežný notebook s 16 GB RAM GPU.

Praktický príklad

Príklad: Advokátska kancelária chce AI asistenta na analýzu slovenských zmlúv. Vezmú model LLaMA 3 (70B) a fine-tunujú ho na 10 000 slovenských právnych dokumentoch s anotáciami. Po fine-tuningu model dokáže: identifikovať rizikové klauzuly, navrhnúť úpravy podľa slovenského práva a sumarizovať kľúčové body zmluvy. Bez fine-tuningu model nerozumel slovenským právnym termínom a odpovedal príliš všeobecne.

Často kladené otázky

Čo je fine-tuning AI modelu?

Fine-tuning je dolaďovanie predtrénovaného AI modelu na konkrétnu úlohu pomocou vlastných dát. Namiesto trénovania od nuly (milióny dolárov) prispôsobíte existujúci model vašim potrebám (stovky až tisíce dolárov).

Koľko dát potrebujem na fine-tuning?

Pre jednoduché úlohy (klasifikácia, štýl) stačí 500-1000 kvalitných príkladov. Pre komplexné úlohy (odborná doména) je ideálnych 5 000-50 000 príkladov. Kvalita dát je dôležitejšia než kvantita.

Aký je rozdiel medzi fine-tuningom a RAG?

Fine-tuning mení samotný model — permanentne pridáva znalosti. RAG model nemení, ale poskytuje mu relevantné dokumenty pri každej otázke. Pre aktuálne, často sa meniace dáta je lepšie RAG. Pre hlboké doménové znalosti je lepší fine-tuning.

Súvisiace pojmy

Trénovanie modelu

Trénovanie modelu je proces, pri ktorom sa AI model učí rozpoznávať vzory v dátach úpravou svojich vnútorných parametrov (váh). Model opakovane prechádza trénovacie dáta a minimalizuje chybu medzi svojimi predikciami a správnymi odpoveďami.

Dataset

Dataset (dátová sada) je organizovaná zbierka dát používaná na trénovanie, testovanie a vyhodnocovanie modelov strojového učenia. Kvalita a veľkosť datasetu priamo ovplyvňujú výkon výsledného modelu.

LLM (Veľký jazykový model)

LLM (Large Language Model) je typ AI modelu natrénovaný na obrovskom množstve textu, ktorý dokáže generovať, porozumieť a spracovávať ľudský jazyk. Medzi najznámejšie LLM patria GPT, Claude, Gemini a LLaMA.

RAG (Retrieval-Augmented Generation)

RAG je technika, ktorá vylepšuje odpovede jazykového modelu tým, že pred generovaním odpovede najprv vyhľadá relevantné informácie z externej databázy znalostí. Kombinuje silu vyhľadávania s generatívnou AI.

Inferencia

Inferencia je proces, pri ktorom natrénovaný AI model generuje predikcie alebo výstupy na základe nových vstupných dát. Je to „používanie" modelu v praxi — na rozdiel od trénovania, kde sa model učí.

Späť na slovník

Potrebujete pomôcť s webom?

Napíšte mi a poradím vám s vaším projektom. Prvá konzultácia je zadarmo a nezáväzná.

Napíšte miPozrite moju prácu