Vai al contenuto

Corso pratico di llama.cpp

Fai girare modelli linguistici (e visivi) sul tuo computer: portatile, PC, Mac, Raspberry Pi. Dall'installazione alla messa in produzione, con laboratori guidati e un progetto finale. Basato su llama.cpp v0.4.1 (build b11046, settembre 2026). Di Giuseppe Bosi, licenza CC BY 4.0.

Se installi llama.cpp v0.7.0 o successive

Dalla v0.7.0 (15/10/2026) llama serve ascolta sulla porta 9931, non più 8080. Dove il corso scrive http://127.0.0.1:8080 o localhost:8080, usa 9931 oppure avvia il server con --port 8080. Tutto il resto funziona uguale. Dettagli in Versione di riferimento.

  • Parti da zero


    Installa llama.cpp sulla tua macchina e fai girare il primo modello in 10 minuti.

    Modulo 01 · Installazione

  • Il modello giusto per te


    Raspberry Pi, portatile senza GPU, Mac, GPU da 8 GB: quale modello scegliere e cosa aspettarsi.

    Modulo 02b · Scegliere il modello

  • 30 laboratori


    Esperienze pratiche con procedura, risultato atteso e consegna. Ogni lab è sotto il suo modulo.

    Lab 02-01 · Il primo modello

  • 6 progetti finali


    Assistente RAG, server in produzione, agente con strumenti, edge, quantizzazione, documenti.

    Progetti finali

Come è organizzato il corso

flowchart TB
    subgraph base["Base (tutti)"]
        direction TB
        subgraph base1[" "]
            direction LR
            A[00 Introduzione] --> B[01 Installazione] --> C[02 Primi passi]
        end
        subgraph base2[" "]
            direction LR
            C2[02b Quale modello] --> D[03 Modelli] --> E[04 Server e API]
        end
        base1 --> base2
    end
    subgraph spec["Specializzazioni"]
        direction LR
        F[05 Prestazioni] ~~~ G[06 Output strutturato] ~~~ H[07 Multimodale]
    end
    subgraph adv["Avanzato"]
        direction LR
        I[08 Integrazione] ~~~ J[09 Produzione] ~~~ K[10 Dentro ggml]
    end
    base --> spec --> adv --> P((Progetto finale))

Ogni modulo spiega la teoria con schemi e comandi pronti da eseguire; i laboratori sono esperienze pratiche con procedura, risultato atteso e consegna; i progetti finali combinano più moduli in qualcosa di utile. Il menu a sinistra mostra sempre tutti i moduli con i loro laboratori; il menu a destra, i paragrafi della pagina.

Percorsi consigliati

Vuoi usare i modelli in locale, in modo privato e gratuito.

Moduli: 00 → 01 → 02 → 02b → 03 → 04 → 06 · Progetti: P1 o P6

Vuoi integrare un modello locale nella tua applicazione.

Moduli: percorso utente + 05 → 07 → 08 · Progetti: P1, P3 o P6

Vuoi servire modelli ad altri, in modo affidabile e misurabile.

Moduli: percorso utente + 05 → 09 · Progetti: P2 o P5

Vuoi capire come funziona dentro e magari contribuire.

Moduli: tutti, incluso 10 · Progetti: P4 o P5

Programma

# Modulo Laboratori
00 Introduzione a llama.cpp 2
01 Installazione su varie piattaforme 4
02 Primi passi: llama cli 3
02b Scegliere il modello per la tua macchina —
03 Modelli, GGUF e quantizzazione 3
04 llama serve: server e API 4
05 Prestazioni e ottimizzazione 4
06 Output strutturato: GBNF e JSON Schema 2
07 Multimodalità: visione, audio, voce 2
08 Integrare llama.cpp nelle applicazioni 2
09 Messa in produzione 2
10 Approfondimenti: dentro ggml e llama.cpp 2
— Progetti di fine corso 6 tracce

Cosa ti serve

  • Un computer con almeno 8 GB di RAM (16 consigliati). GPU facoltativa: il corso gira anche solo su CPU.
  • Linux, macOS o Windows; un po' di dimestichezza con il terminale.
  • Per i moduli 08–10: basi di Python e/o C++.

Verifica rapida del tuo ambiente: verifica-ambiente.sh. Versione di llama.cpp usata nel corso: b11046.