Kalo në përmbajtjen kryesore
Square

Çfarë është RAG dhe LLM? Shpjegim për biznese

Nga ekipi i Square Software · Përditësuar:

Çfarë është RAG dhe LLM? Një LLM (Large Language Model) është një model i madh gjuhësor, i trajnuar mbi sasi të mëdha teksti, që shkruan, përmbledh dhe arsyeton në gjuhë natyrore. Por di vetëm atë mbi të cilën është trajnuar: nuk i njeh kontratat, faturat apo procedurat e kompanisë suaj. RAG (retrieval-augmented generation) e zgjidh këtë: para përgjigjes, sistemi kërkon copat më relevante nga dokumentet tuaja dhe ia jep modelit si kontekst, që përgjigjja të bazohet te të dhënat tuaja reale.

Diagrami i një rrjedhe RAG (Retrieval-Augmented Generation)Dokumentet vektorizohen në embeddings, ruhen në një vector database, retrieval-i sjell pjesët relevante, dhe LLM-ja gjeneron një përgjigje me citime.DokumentetburimetEmbeddingsvektorizimVector DBindeksimRetrievalkërkimLLMgjenerimPërgjigjeme citime
Rrjedha e RAG: dokumentet ndahen në copa, kthehen në vektorë (embed) dhe ruhen në një vector store. Në çdo pyetje merren copat më relevante dhe i jepen LLM-së si kontekst.

RAG dhe LLM: cili bën çfarë

LLM-ja është truri që kupton dhe shkruan gjuhë; RAG-u i sjell këtij truri kujtesën e duhur në momentin e duhur. Pa RAG, modeli ose hamendëson (halucinon) për gjëra që nuk i di, ose ju duhet të fusni gjithë dokumentacionin në prompt, gjë e shtrenjtë dhe e kufizuar nga gjatësia e kontekstit.

  • LLM: gjeneron tekst dhe arsyeton mbi atë që di nga trajnimi.
  • RAG: gjen dhe injekton kontekstin tuaj specifik (dokumente, baza dijesh) para gjenerimit.
  • Bashkë: përgjigje të bazuara te burimet tuaja, me citim të burimit, jo hamendje.

Ka edhe një vlerë praktike: kur përditësoni një dokument (p.sh. ndryshon një udhëzim fiskalizimi), përgjigjet ndryshojnë sapo dokumenti riindeksohet, pa ritrajnuar asgjë.

Si duket një pyetje me RAG në kod

Hapat janë gjithmonë të njëjtët: pyetja kthehet në vektor, kërkohen copat më të afërta në vector store dhe i jepen modelit si kontekst, me udhëzim të qartë që të përgjigjet vetëm prej tyre. Logjika nuk varet nga ofruesi i modelit: e projektojmë që modeli të jetë i ndërrueshëm.

Një pyetje RAG (e thjeshtuar)typescript
// 1) Kthe pyetjen në vektor (embedding)
const queryVec = await embed(pyetja)

// 2) Merr copat më relevante nga vector store
const copa = await vectorDb.search(queryVec, { topK: 5 })
const konteksti = copa.map(c => c.text + ' (burimi: ' + c.source + ')').join('\n\n')

// 3) Jepi LLM-së kontekstin dhe kërko citim burimi
const pergjigje = await model.generate({
  system: 'Përgjigju VETËM nga konteksti. Cito burimin. Nëse nuk e gjen, thuaje qartë.',
  prompt: 'Konteksti:\n' + konteksti + '\n\nPyetja: ' + pyetja,
})

Cilësia e indeksimit (si i ndani dokumentet në copa dhe çfarë metadata ruani) shpesh ka më shumë rëndësi se vetë modeli. Copa të mira dhe metadata e pastër japin përgjigje shumë më të sakta.

RAG apo fine-tuning?

Të dyja e përshtatin AI-në, por zgjidhin probleme të ndryshme. RAG-u i jep modelit dije faktike që ndryshon shpesh; fine-tuning-u i mëson modelit një stil, format ose sjellje. Në shumicën e rasteve të biznesit fillohet me RAG: është më i lirë, përditësohet më shpejt dhe gjurmohet te burimi.

  • Zgjidhni RAG kur dija ndryshon shpesh, ju duhet citim burimi ose dokumentet janë specifike për kompaninë (procedura, kontrata, dokumente biznesi në shqip).
  • Zgjidhni fine-tuning kur ju duhet një stil ose format i qëndrueshëm, ose kur një detyrë e ngushtë përsëritet miliona herë dhe doni të ulni koston ose vonesën.
  • Shpesh kombinohen: RAG për faktet, fine-tuning i lehtë për tonin dhe formatin.

Pyetjet e bëra shpesh

A e zëvendëson RAG-u nevojën për të trajnuar një model?

Në shumicën e rasteve po, të paktën në fillim. RAG-u i jep modelit dijen tuaj specifike pa ritrajnim: përditësoni dokumentet dhe përgjigjet ndryshojnë menjëherë. Fine-tuning-u vjen më vonë, vetëm kur e justifikon rasti.

Çfarë është një vector store dhe pse më duhet?

Është një bazë të dhënash që i ruan dokumentet si vektorë numerikë (embeddings) dhe gjen shpejt copat më të ngjashme me një pyetje. Pa të, do t'ju duhej të fusnit gjithë dokumentacionin në çdo prompt, gjë e shtrenjtë dhe e pamundur për koleksione të mëdha.

A i parandalon RAG-u halucinacionet?

I zvogëlon ndjeshëm, sepse modeli udhëzohet të përgjigjet vetëm nga konteksti dhe të citojë burimin. Nuk i eliminon plotësisht, ndaj shtojmë udhëzime të qarta, citime dhe vlerësime (evals) që masin saktësinë.

A punon RAG-u me dokumente në shqip?

Po. Me modele embeddings që mbështesin shqipen dhe ndarje të mirë në copa, RAG-u punon mirë mbi dokumente biznesi në shqip: kontrata, fatura, udhëzime fiskalizimi dhe procedura të brendshme.