{"id":3068,"date":"2026-10-18T19:24:38","date_gmt":"2026-10-18T18:24:38","guid":{"rendered":"https:\/\/zaccararoberto.eu\/?p=3068"},"modified":"2026-10-18T19:33:00","modified_gmt":"2026-10-18T18:33:00","slug":"quantizzazione","status":"publish","type":"post","link":"https:\/\/zaccararoberto.eu\/index.php\/blog\/quantizzazione\/","title":{"rendered":"Quantizzazione AI"},"content":{"rendered":"\n
\n\n \n
\n Documentazione Ingegneristica<\/span>\n

Architettura Interna e Ottimizzazione dei Modelli di IA<\/h1>\n

Analisi dettagliata di Transformer, meccanismi di attenzione, cicli di addestramento e tecniche di quantizzazione.<\/p>\n <\/header>\n\n \n

\n

1. L’Architettura Transformer e il Self-Attention<\/h2>\n

La stragrande maggioranza dei modelli linguistici moderni (LLM) si basa sull’architettura Transformer<\/strong> (introdotti nel 2017 nel paper “Attention Is All You Need”<\/em>). A differenza delle vecchie reti ricorrenti (RNN\/LSTM), i Transformer elaborano intere sequenze in parallelo grazie a tre componenti chiave:<\/p>\n \n

\n
\n

Tokenizzazione ed Embedding<\/h3>\n

Il testo viene suddiviso in frammenti (token) e convertito in vettori numerici ad alta dimensionalit\u00e0 che catturano le relazioni semantiche nello spazio vettoriale.<\/p>\n <\/div>\n

\n

Multi-Head Self-Attention<\/h3>\n

Permette al modello di valutare il contesto di una parola soppesando la sua relazione con tutte le altre parole della frase, indipendentemente dalla distanza lineare.<\/p>\n <\/div>\n

\n

Feed-Forward Networks (FFN)<\/h3>\n

Reti neurali dense applicate dopo i layer di attenzione per trasformare le rappresentazioni vettoriali e memorizzare i pattern di conoscenza appresi.<\/p>\n <\/div>\n <\/div>\n <\/section>\n\n \n

\n

2. Fasi del Training: Dal Pre-training all’Allineamento<\/h2>\n \n \n \n \n \n \n \n
Fase<\/th>\n Obiettivo Computazionale<\/th>\n Metodologia<\/th>\n <\/tr>\n <\/thead>\n
Pre-training<\/strong><\/td>\n Apprendimento della struttura del linguaggio e della conoscenza del mondo.<\/td>\n Causal Language Modeling (previsione del token successivo su dataset mastodontici).<\/td>\n <\/tr>\n
SFT (Supervised Fine-Tuning)<\/strong><\/td>\n Trasformare il modello da semplice predittore di testo ad assistente conversazionale.<\/td>\n Addestramento supervisionato su coppie di prompt e risposte di alta qualit\u00e0.<\/td>\n <\/tr>\n
Allineamento (RLHF \/ DPO)<\/strong><\/td>\n Garantire sicurezza, utilit\u00e0, accuratezza e conformit\u00e0 alle preferenze umane.<\/td>\n Reinforcement Learning from Human Feedback o Direct Preference Optimization.<\/td>\n <\/tr>\n <\/tbody>\n <\/table>\n <\/section>\n\n \n
\n

3. Inferenza, KV Caching e Quantizzazione<\/h2>\n \n
\n

\u26a1 KV Cache (Key-Value Caching)<\/h3>\n

Durante la generazione autoregressiva di un testo, il modello calcola le chiavi e i valori (Key e Value) per ogni token precedente ad ogni passo. La KV Cache memorizza questi calcoli in memoria per evitare di ricalcolarli da capo, riducendo drasticamente la latenza per token generato.<\/p>\n <\/div>\n\n

\n

\ud83d\udcc9 Tecniche di Quantizzazione (INT8, INT4, GGUF, AWQ)<\/h3>\n

I pesi nativi dei modelli richiedono enormi quantit\u00e0 di VRAM (es. precisione in virgola mobile FP16). La quantizzazione converte questi pesi in formati a bit ridotti (es. 4-bit o 8-bit). Formati come GGUF<\/strong> o AWQ<\/strong> permettono di eseguire modelli da decine di miliardi di parametri su normali GPU consumer o hardware locale senza perdite significative di accuratezza.<\/p>\n <\/div>\n\n

\n

\ud83d\ude80 FlashAttention<\/h3>\n

Un algoritmo di ottimizzazione I\/O che riorganizza il calcolo della matrice di attenzione a livello di GPU SRAM, accelerando l’elaborazione delle lunghe finestre di contesto e riducendo l’ingombro di memoria.<\/p>\n <\/div>\n <\/section>\n\n \n

\n

Impatto Sistemico delle Scelte Architetturali<\/h2>\n

La scelta tra un’architettura densa tradizionale e modelli Mixture-of-Experts (MoE), unita a strategie di quantizzazione avanzate, determina il compromesso ideale tra consumo energetico, requisiti hardware di deployment e velocit\u00e0 di throughput in ambiente di produzione.<\/p>\n <\/section>\n\n \n