Corso pratico di llama.cpp¶
Fai girare modelli linguistici (e visivi) sul tuo computer: portatile, PC, Mac, Raspberry Pi. Dall'installazione alla messa in produzione, con laboratori guidati e un progetto finale. Basato su llama.cpp v0.4.1 (build b11046, settembre 2026). Di Giuseppe Bosi, licenza CC BY 4.0.
Se installi llama.cpp v0.7.0 o successive
Dalla v0.7.0 (15/10/2026) llama serve ascolta sulla porta 9931, non più 8080. Dove il corso scrive
http://127.0.0.1:8080 o localhost:8080, usa 9931 oppure avvia il server con --port 8080. Tutto il resto
funziona uguale. Dettagli in Versione di riferimento.
-
Parti da zero
Installa llama.cpp sulla tua macchina e fai girare il primo modello in 10 minuti.
-
Il modello giusto per te
Raspberry Pi, portatile senza GPU, Mac, GPU da 8 GB: quale modello scegliere e cosa aspettarsi.
-
30 laboratori
Esperienze pratiche con procedura, risultato atteso e consegna. Ogni lab è sotto il suo modulo.
-
6 progetti finali
Assistente RAG, server in produzione, agente con strumenti, edge, quantizzazione, documenti.
Come è organizzato il corso¶
flowchart TB
subgraph base["Base (tutti)"]
direction TB
subgraph base1[" "]
direction LR
A[00 Introduzione] --> B[01 Installazione] --> C[02 Primi passi]
end
subgraph base2[" "]
direction LR
C2[02b Quale modello] --> D[03 Modelli] --> E[04 Server e API]
end
base1 --> base2
end
subgraph spec["Specializzazioni"]
direction LR
F[05 Prestazioni] ~~~ G[06 Output strutturato] ~~~ H[07 Multimodale]
end
subgraph adv["Avanzato"]
direction LR
I[08 Integrazione] ~~~ J[09 Produzione] ~~~ K[10 Dentro ggml]
end
base --> spec --> adv --> P((Progetto finale))Ogni modulo spiega la teoria con schemi e comandi pronti da eseguire; i laboratori sono esperienze pratiche con procedura, risultato atteso e consegna; i progetti finali combinano più moduli in qualcosa di utile. Il menu a sinistra mostra sempre tutti i moduli con i loro laboratori; il menu a destra, i paragrafi della pagina.
Percorsi consigliati¶
Vuoi usare i modelli in locale, in modo privato e gratuito.
Moduli: 00 → 01 → 02 → 02b → 03 → 04 → 06 · Progetti: P1 o P6
Vuoi integrare un modello locale nella tua applicazione.
Moduli: percorso utente + 05 → 07 → 08 · Progetti: P1, P3 o P6
Vuoi servire modelli ad altri, in modo affidabile e misurabile.
Moduli: percorso utente + 05 → 09 · Progetti: P2 o P5
Vuoi capire come funziona dentro e magari contribuire.
Moduli: tutti, incluso 10 · Progetti: P4 o P5
Programma¶
| # | Modulo | Laboratori |
|---|---|---|
| 00 | Introduzione a llama.cpp | 2 |
| 01 | Installazione su varie piattaforme | 4 |
| 02 | Primi passi: llama cli |
3 |
| 02b | Scegliere il modello per la tua macchina | — |
| 03 | Modelli, GGUF e quantizzazione | 3 |
| 04 | llama serve: server e API |
4 |
| 05 | Prestazioni e ottimizzazione | 4 |
| 06 | Output strutturato: GBNF e JSON Schema | 2 |
| 07 | Multimodalità: visione, audio, voce | 2 |
| 08 | Integrare llama.cpp nelle applicazioni | 2 |
| 09 | Messa in produzione | 2 |
| 10 | Approfondimenti: dentro ggml e llama.cpp | 2 |
| — | Progetti di fine corso | 6 tracce |
Cosa ti serve¶
- Un computer con almeno 8 GB di RAM (16 consigliati). GPU facoltativa: il corso gira anche solo su CPU.
- Linux, macOS o Windows; un po' di dimestichezza con il terminale.
- Per i moduli 08–10: basi di Python e/o C++.
Verifica rapida del tuo ambiente: verifica-ambiente.sh. Versione di llama.cpp usata
nel corso: b11046.