{"id":35903,"date":"2026-05-27T12:51:52","date_gmt":"2026-05-27T10:51:52","guid":{"rendered":"https:\/\/inlab.fib.upc.edu\/news\/finetuning-dun-llm-amb-context-llarg-en-una-gpu-de-16-gb"},"modified":"2026-05-29T13:26:38","modified_gmt":"2026-05-29T11:26:38","slug":"finetuning-dun-llm-amb-context-llarg-en-una-gpu-de-16-gb","status":"publish","type":"post","link":"https:\/\/inlab.fib.upc.edu\/en\/articulos\/finetuning-dun-llm-amb-context-llarg-en-una-gpu-de-16-gb","title":{"rendered":"Finetuning d\u2019un LLM amb context llarg en una GPU de 16 GB"},"content":{"rendered":"\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Combinant quantitzaci\u00f3<\/em>, LoRA<\/em>, FlashAttention-2<\/em> i altres optimitzacions per al finetuning de models LLM en una GPU de consumidor.<\/p>

L’entrenament de grans models del llenguatge (LLM) moderns est\u00e0 fortament limitat per la mem\u00f2ria de la GPU. Tot i que els models recents solen assumir acc\u00e9s a acceleradors empresarials amb entre 40 i 80 GB de VRAM, molts entorns de recerca i enginyeria depenen de maquinari de consum amb l\u00edmits significativament m\u00e9s baixos. <\/p>

En un projecte recent a l’inLab FIB, vam explorar el finetuning de models petits (de quatre a vuit mil milions de par\u00e0metres) com el Qwen3-8B, utilitzant una \u00fanica NVIDIA GeForce RTX 4080 amb 16 GB de VRAM. L’objectiu era la generaci\u00f3 de mem\u00f2ries de subvencions (projecte FabAI Copilot<\/a>) que requereixen contextos de fins a 140.000 tokens, tot respectant les limitacions del maquinari de consum. <\/p>

Aconseguir-ho no va ser possible mitjan\u00e7ant una \u00fanica t\u00e8cnica d’optimitzaci\u00f3. En canvi, el flux de treball d’entrenament va combinar diverses estrat\u00e8gies que apuntaven simult\u00e0niament a diferents fonts de consum de VRAM. <\/p>

Qu\u00e8 passa amb la VRAM durant l’entrenament?<\/strong><\/h5>

Una idea err\u00f2nia comuna \u00e9s que els pesos del model s\u00f3n l’\u00fanic contribuent principal a l’\u00fas de la mem\u00f2ria de la GPU. En la pr\u00e0ctica, la mem\u00f2ria d’entrenament es distribueix entre diversos components: <\/p>

<\/h5>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

El finetuning per a contextos llargs \u00e9s especialment exigent perqu\u00e8 la mem\u00f2ria d’activaci\u00f3 i els c\u00e0lculs d’atenci\u00f3 creixen r\u00e0pidament amb la longitud de la seq\u00fc\u00e8ncia. Fins i tot quan els pesos del model caben a la mem\u00f2ria, l’entrenament de seq\u00fc\u00e8ncies llargues pot provocar errors per exc\u00e9s de mem\u00f2ria (Out-Of-Memory, OOM) nom\u00e9s a causa de les activacions. <\/p>

Reducci\u00f3 de la mem\u00f2ria del model<\/p>

La primera capa d’optimitzaci\u00f3 es va centrar a reduir la petjada de mem\u00f2ria persistent del model i dels estats d’entrenament.<\/p>

Quantitzaci\u00f3 a 4-bit<\/strong><\/h5>

La primera optimitzaci\u00f3 va ser utilitzar els pesos del model quantitzats amb el format NF4 propi de la llibreria BitsAndBytes<\/em>. Aquesta optimitzaci\u00f3 es fa des del principi, ja que normalment es publiquen els par\u00e0metres del model en diferents nivells de precisi\u00f3, permitent als usuaris triar escollir entre intel\u00b7lig\u00e8ncia del model i mem\u00f2ria ocupada. Normalment, les quantitzacions estan disponibles des d\u20191 bit fins a 16 bits, sent la versi\u00f3 de 4 bits escollida, quatre vegades m\u00e9s petita que l\u2019original i oferint un bon comprom\u00eds d\u2019intel\u00b7lig\u00e8ncia. <\/p>

LoRA, RS-LoRA i QLoRA<\/strong><\/h5>

Low-Rank Adaptation (LoRA) redueix el nombre de par\u00e0metres entrenables introduint petites matrius a cada capa del model. A la pr\u00e0ctica, la modificaci\u00f3 de tots els par\u00e0metres sovint \u00e9s inviable no pas pels mateixos pesos, sin\u00f3 perqu\u00e8 els gradients i els estats de l’optimitzador escalen amb el nombre de par\u00e0metres. <\/p>

Es va utilitzar Rank-Stabilized LoRA (RS-LoRA) i Quantized LoRA (QLoRA) aplicat a totes les projeccions lineals per millorar l\u2019estabilitat i poder entrenar en quantitzacions m\u00e9s baixes.<\/p>

Optimitzant l\u2019optimitzador<\/strong><\/h5>

Els estats de l’optimitzador poden consumir quantitats enormes de mem\u00f2ria durant l’entrenament, i de vegades superen la mem\u00f2ria que requereix el mateix model. Per mitigar-ho, durant l’entrenament es va utilitzar optimitzador quantitzats de 8 bits juntament amb paged optimizers<\/em> (paged_adamw_8bit<\/em>). <\/p>

Els paged optimizers<\/em> descarreguen din\u00e0micament els estats de l’optimitzador a la RAM del sistema durant els pics de mem\u00f2ria, evitant errors d’esgotament de la mem\u00f2ria (OOM) durant l’entrenament de contextos llargs. A la pr\u00e0ctica, aix\u00f2 va ser especialment important durant l’entrenament a prop dels l\u00edmits de maquinari de la RTX 4080. <\/p>

Control de la mem\u00f2ria d’activaci\u00f3<\/strong><\/h5>

Tot i que la quantificaci\u00f3 i LoRA<\/em> van reduir l’\u00fas de mem\u00f2ria est\u00e0tica, l’entrenament amb contextos llargs continuava dominat per la mem\u00f2ria d’activaci\u00f3 (activation memory<\/em>). Per tant, van ser necess\u00e0ries diverses optimitzacions addicionals per controlar el creixement dels tensors intermedis durant el forward i backward pass<\/em>. <\/p>

FlashAttention-2<\/strong><\/h5>

FlashAttention-2<\/em> implementa kernels<\/em> que implementen les funcions \u201cd\u2019atenci\u00f3\u201d que requereixen les capes de Transformer<\/em> tenint en compte el tr\u00e0nsit de les dades que minimitzen la reserva de VRAM mitjan\u00e7ant l\u2019agrupaci\u00f3 eficient dels c\u00e0lculs d’atenci\u00f3.<\/p>

Sense nuclis d’atenci\u00f3 optimitzats, les execucions de context llarg sovint superaven els l\u00edmits de mem\u00f2ria a causa del comportament d’escala qu\u00e0drica de l’atenci\u00f3 de l\u2019arquitectura Transformer<\/em>.<\/p>

Gradient Checkpointing<\/strong><\/h5>

Gradient checkpointing<\/em> redueix la mem\u00f2ria d’activaci\u00f3 descartant algunes activacions durant el forward pass<\/em> i recalculant-les durant el pas invers en lloc d’emmagatzemar-les permanentment.<\/p>

Aix\u00f2 introdueix un cl\u00e0ssic comprom\u00eds d’enginyeria: un menor \u00fas de mem\u00f2ria a costa d’un temps de c\u00e0lcul addicional. No obstant aix\u00f2, per a contextos llargs, la recomputaci\u00f3 d’activacions es va tornar essencial per mantenir-se dins del pressupost de 16 GB de VRAM. <\/p>

<\/h5>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t
Kernel Fusion<\/strong><\/h5>

L’entrenament tamb\u00e9 va fer servir kernels<\/em> Triton fusionats a trav\u00e9s del framework<\/em> Unsloth<\/em>. Aquests nuclis combinen operacions adjacents, similar a com funciona el FlashAttention<\/em>, en menys operacions de GPU. <\/p>

La reducci\u00f3 de la materialitzaci\u00f3 de tensors intermedis va ajudar a disminuir la sobrec\u00e0rrega d’activaci\u00f3 i a millorar el rendiment. A la pr\u00e0ctica, per\u00f2, els kernels<\/em> propis de Unsloth<\/em> no s\u00f3n compatibles amb els de Liger-Kernel<\/em>, la qual cosa obligava a fer concessions entre aquestes dues optimitzacions. <\/p>

Acumulaci\u00f3 de Gradients<\/strong><\/h5>

Per controlar encara m\u00e9s el pic d’\u00fas de la VRAM, el proc\u00e9s d’entrenament va utilitzar nom\u00e9s una seq\u00fc\u00e8ncia a cada backward i forward pass<\/em>, per\u00f2 en comptes de limitar-nos a fer una actualitzaci\u00f3 de l\u2019optimitzador amb un sol exemple (pot donar lloc a overfitting<\/em>), es va combinar amb l’acumulaci\u00f3 de gradients (Gradient Accumulation<\/em>).<\/p>

Concretament, en lloc d’actualitzar els par\u00e0metres del model despr\u00e9s de processar cada seq\u00fc\u00e8ncia, els gradients es calculen de manera incremental i s’agreguen en mem\u00f2ria al llarg de diversos passos i actualitzar els pesos amb una \u201cdirecci\u00f3\u201d m\u00e9s precisa.<\/p>

Gesti\u00f3 de contextos llargs<\/strong><\/h5>

M\u00e9s enll\u00e0 de les t\u00e8cniques est\u00e0ndard d’optimitzaci\u00f3 de LLM, el projecte tamb\u00e9 va requerir estrat\u00e8gies expl\u00edcites de gesti\u00f3 de context per donar suport a les c\u00e0rregues de treball de generaci\u00f3 de documents llargs.<\/p>

Smart Context Truncation<\/strong><\/h5>

Es va implementar un algorisme de truncament de decad\u00e8ncia exponencial per mantenir una longitud de context m\u00e0xima de 20.000 tokens en cada pas, tot prioritzant la informaci\u00f3 recent.<\/p>

Tot i que el document sencer pot acabar tenint m\u00e9s de 140.000 tokens de llargada, si dividim intel\u00b7ligentment aquest document, podem atacar cada secci\u00f3 individualment i aix\u00ed ser molt m\u00e9s estrictes amb el context que s\u2019utilitza a cada pas. Aquesta tamb\u00e9 es pot considerar una optimitzaci\u00f3 que ofereix una reducci\u00f3 de mem\u00f2ria a canvi de m\u00e9s temps d\u2019execuci\u00f3 i p\u00e8rdua de context en algun cas. <\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t
\n\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t
Vocabulary Slicing<\/strong><\/h5>

Una optimitzaci\u00f3 especialment efica\u00e7 va consistir a reduir la mida del vocabulari del tokenitzador i del model de 128k tokens a uns 100k. Aix\u00f2 va reduir la mem\u00f2ria necess\u00e0ria tant per a les capes d’embedding<\/em> com per a la capa final del model. <\/p>

Tot i que se’n parla menys que de la quantificaci\u00f3 o la LoRA<\/em>, la reducci\u00f3 de vocabulari va resultar ser una optimitzaci\u00f3 de nivell de sistema sorprenentment efica\u00e7 sota estrictes limitacions de VRAM. Aquesta reducci\u00f3 \u00e9s molt efica\u00e7 si el LLM final funcionar\u00e0 exclusivament en un conjunt tancat d’idiomes, ja que es poden eliminar molts tokens sense cap impacte en el rendiment. <\/p>

Conclusion<\/strong><\/h5>

El resultat m\u00e9s important d’aquest treball no va ser nom\u00e9s la capacitat de realitzar el finetuning<\/em> del LLM, sin\u00f3 tamb\u00e9 la quantitat de coneixement d’enginyeria que va sorgir d’haver de treballar dins d’aquest espai de restriccions.<\/p>

Treballar sota l\u00edmits estrictes de VRAM va canviar fonamentalment la manera d’abordar cada problema. En lloc de confiar en configuracions d’entrenament per defecte, cada etapa i cada par\u00e0metre de configuraci\u00f3 es va haver de q\u00fcestionar, mesurar i simplificar fins que va ser factible. <\/p>

Les restriccions no nom\u00e9s van donar forma a la soluci\u00f3, sin\u00f3 que van donar forma al mateix proc\u00e9s d’aprenentatge.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"

Combinant quantitzaci\u00f3, LoRA, FlashAttention-2 i altres optimitzacions per al finetuning de models LLM en una GPU de consumidor. L’entrenament de grans models del llenguatge (LLM) moderns est\u00e0 fortament limitat per la mem\u00f2ria de la GPU. Tot i que els models recents solen assumir acc\u00e9s a acceleradors empresarials amb entre 40 i 80 GB de VRAM, […]<\/p>\n","protected":false},"author":1302,"featured_media":35899,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[496],"tags":[],"experteses":[],"class_list":["post-35903","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-articulos"],"acf":[],"_links":{"self":[{"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/posts\/35903","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/users\/1302"}],"replies":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/comments?post=35903"}],"version-history":[{"count":1,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/posts\/35903\/revisions"}],"predecessor-version":[{"id":35904,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/posts\/35903\/revisions\/35904"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/media\/35899"}],"wp:attachment":[{"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/media?parent=35903"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/categories?post=35903"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/tags?post=35903"},{"taxonomy":"experteses","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/en\/wp-json\/wp\/v2\/experteses?post=35903"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}