Cos'è il Neural Engine di Apple: Guida Completa all'NPU dei Chip Apple Silicon

Se hai acquistato un iPhone o un iPad dopo il 2017, oppure un Mac con Apple Silicon, il tuo dispositivo è equipaggiato con l'Apple Neural Engine (ANE).

Questo processore specializzato ha fatto il suo debutto su iPhone X con il chip A11, progettato inizialmente per gestire funzionalità di machine learning specifiche come Face ID e le Memoji.

Tuttavia, il suo ruolo si è evoluto drasticamente.

Ma cosa fa esattamente questo componente hardware e perché è diventato un pilastro fondamentale per l'intelligenza artificiale nell'ecosistema Apple?

Machine Learning e Neural Engine: le basi fondamentali

Il machine learning sfrutta la potenza di algoritmi complessi e modelli statistici per consentire ai computer di eseguire compiti senza ricevere istruzioni esplicite per ogni singolo passaggio.

Attraverso un processo chiamato "training" (addestramento), i sistemi imparano a fare previsioni o prendere decisioni basandosi sui dati forniti.

Generalmente, questo processo implica l'alimentazione dell'algoritmo con enormi quantità di informazioni, permettendogli di affinare la propria accuratezza nel tempo.

L'addestramento può assumere diverse forme:

•  Utilizzo di dati etichettati (apprendimento supervisionato).
• Apprendimento non supervisionato.
• Reti neurali profonde.

Ad esempio, i moderni Large Language Models (LLM) utilizzano una combinazione sofisticata di fine-tuning supervisionato e non supervisionato, spesso perfezionato successivamente dal feedback umano (RLHF).

Il machine learning è ormai onnipresente: viene applicato in compiti apparentemente banali, come il filtro antispam delle email, fino ad applicazioni avanzate come la computer vision, che permette ai dispositivi di identificare e classificare oggetti nelle foto.

Con l'attuale ondata di entusiasmo per l'intelligenza artificiale, molti sistemi di machine learning e reti neurali vengono ora raggruppati sotto l'etichetta generica di "AI", rendendo i confini tra queste terminologie tecniche sempre più sfumati per l'utente finale.

Perché serve un processore dedicato per il Machine Learning?

Il machine learning richiede un'enorme potenza di calcolo.

Le CPU tradizionali, pur essendo estremamente versatili, non sono le più efficienti per l'addestramento e l'esecuzione di questi algoritmi specifici.

Le GPU (processori grafici), invece, sono processori paralleli capaci di eseguire rapidamente milioni di operazioni matematiche simultanee in un singolo ciclo di clock, risultando molto più adatte alle esigenze del calcolo matriciale tipico del ML.

Apple ha però fatto un passo ulteriore progettando l'Apple Neural Engine (ANE): un componente hardware creato specificamente per supportare e accelerare determinati task di machine learning, sia in fase di addestramento che di esecuzione, tramite il framework Core ML.

Come funziona Core ML con il Neural Engine

È fondamentale comprendere che Core ML, l'API di machine learning di Apple, non si affida esclusivamente all'ANE.

Essa orchestra in modo intelligente l'uso di CPU, GPU e, se presente, del Neural Engine.

Come spiega Apple nella sua documentazione ufficiale:

"Core ML combina perfettamente CPU, GPU e ANE (se disponibile) per creare il piano di esecuzione ibrido più efficace, sfruttando tutti i motori disponibili su un determinato dispositivo. Consente a un'ampia gamma di implementazioni della stessa architettura del modello di beneficiare dell'ANE anche se l'intera esecuzione non può avvenire lì a causa delle idiosincrasie di implementazioni diverse."

In parole povere, questo significa che quando si utilizza Core ML, il sistema utilizzerà automaticamente tutti gli strumenti hardware a sua disposizione.

Il grande vantaggio di questo approccio è l'astrazione: gli sviluppatori non devono preoccuparsi di programmare per ogni singola configurazione hardware; utilizzando Core ML, ottengono probabilmente le migliori prestazioni possibili indipendentemente dal dispositivo su cui girano le operazioni.

A differenza di una GPU, non esiste un framework pubblico per programmare direttamente sul Neural Engine.

Esistono alcuni progetti di nicchia (spesso definiti "esoterici") progettati per tentare di misurare le prestazioni grezze del Neural Engine, e altri strumenti come Geekbench AI, che tuttavia faticano a isolare correttamente il contributo del solo Neural Engine rispetto agli altri componenti.

Le prestazioni del Neural Engine: i numeri a confronto

Apple ha fornito dati precisi sull'evoluzione della potenza di calcolo:

• Il Neural Engine del chip M1 può eseguire fino a 11 trilioni di operazioni (FP16) al secondo.
• Nei chip M2 e M3, questa capacità sale a 15,8 trilioni di operazioni al secondo.
• Con il chip M4, si raggiunge l'impressionante cifra di 38 trilioni di operazioni al secondo.
  

Tuttavia, l'ANE non va visto semplicemente come un acceleratore per la matematica in virgola mobile: è meglio concepirlo come un ottimizzatore del consumo energetico.

Essendo specializzato, può essere sfruttato per determinati tipi di attività ML risultando più veloce e utilizzando molta meno memoria e potenza rispetto a CPU e GPU.

Questo è il segreto che consente l'esecuzione di attività di machine learning complesse direttamente sul dispositivo (on-device) senza drenare la batteria.

NPU: una tecnologia non solo Apple

L'ANE non è una tecnologia esclusiva di Apple; rientra nella categoria delle NPU (Neural Processing Unit), note anche come acceleratori AI.

Processori neurali simili si trovano:

• Nell'AI Engine dei chip Qualcomm Snapdragon.
• Nell'NPU dei chip Samsung Exynos.
• Nell'NPU Da Vinci dei chip Huawei Kirin.

C'è un filo conduttore che molti lettori avranno notato: tutti i chipset menzionati sono basati su architettura ARM.

L'assenza storica di NPU nel mondo PC x86 è dovuta a diversi fattori:

1. Consumi: L'architettura x86 non era tradizionalmente destinata a dispositivi a bassissimo consumo energetico (come smartphone e wearable), dove ogni watt conta.
2. Potenza delle GPU: I computer di fascia alta dispongono di GPU dedicate eccezionalmente potenti. Le GPU possono eseguire le stesse operazioni di una NPU e svolgere molti altri compiti, rendendole più versatili sia per l'addestramento che per l'esecuzione, sebbene al costo di un TDP (Thermal Design Power) molto più elevato.
   
3. Confronto: Il Neural Engine dell'M4 gestisce 38 trilioni di operazioni, ma una GPU NVIDIA di fascia alta può superare i 1.300 trilioni.
4. Tipo di attività: Le NPU eccellono in compiti come il riconoscimento facciale e la fotografia computazionale, funzioni che storicamente non erano prioritarie sui desktop.

Tuttavia, stiamo assistendo a un cambiamento radicale con l'ascesa dell'"AI" su desktop e la domanda crescente di potenza di calcolo locale.

Ad esempio, le specifiche per i PC Windows 11 Copilot+ richiedono ora un minimo di 40 trilioni di operazioni al secondo, spingendo l'adozione di NPU anche su PC.

Applicazioni pratiche: la fotografia computazionale

Utilizziamo un esempio del mondo reale per comprendere l'utilità dell'NPU.

Core ML è il fondamento della fotografia computazionale di Apple.

Come tutti sanno, oggi quando si scatta una foto non esiste più il concetto di "nessun filtro": vengono eseguite miliardi di operazioni per elaborare l'immagine grezza.

Queste includono:

• Rilevamento dei volti e analisi della scena.
• Bilanciamento del colore e riduzione del rumore.
• Smart HDR e fusione di esposizioni multiple.
• Stabilizzazione video ed emulazione della profondità di campo (Modalità Cinema).

Tutto questo richiede milioni di calcoli che devono avvenire in tempo reale o quasi istantaneamente.

Invece di intasare la CPU e la GPU con queste matrici di operazioni in virgola mobile, il Neural Engine si fa carico del "lavoro pesante" con efficienza.

Apple ha sviluppato un intero ecosistema chiamato Apple Neural Scene Analyzer (ANSA).

Questa è la spina dorsale di funzionalità come "Ricordi" nell'app Foto, dove le immagini vengono etichettate, l'estetica viene valutata, vengono individuati duplicati e riconosciuti oggetti specifici.

Tutto questo avviene sul dispositivo utilizzando la privacy differenziale: Foto apprende informazioni su persone e luoghi significativi per creare ricordi, proteggendo al contempo l'anonimato dell'utente.

Per approfondimenti tecnici (e per vedere quanto sia difficile reperire info ufficiali), una delle migliori risorse non ufficiali è la repository The Neural Engine — what do we know about it?.

Neural Engine e Apple Watch

Il Neural Engine è particolarmente critico per Apple Watch, un dispositivo dove l'efficienza energetica è tutto.

Dalla Series 4 in poi, la linea include un Neural Engine ridotto per assistere l'elaborazione on-device.

Nel materiale di marketing per il Series 9, Apple suggerisce che il Neural Engine è fondamentale persino per gestire la gesture del "doppio tocco" (Double Tap), dimostrando come l'AI gestisca anche l'interazione fisica e i sensori di movimento.

Apple Intelligence e il futuro del Neural Engine

Sarà interessante vedere come Apple sfrutterà questa potenza in futuro.

Sembra sempre più probabile un approccio ibrido: Apple utilizzerà servizi cloud ("Private Cloud Compute") per le funzionalità AI più pesanti, dato che l'AI locale è molto intensiva in termini di RAM.

In test recenti è stato dimostrato come il limite di 8 GB di RAM su un Mac mini M1 possa essere un collo di bottiglia, venendo talvolta superato in fluidità da macchine molto più vecchie (come un Mac Pro 2013) ma dotate di più memoria.

Apple potrebbe dover riconsiderare le configurazioni base in futuro, anche se in parte ha già iniziato almeno sui mac dove ha alzato il quantitativo di RAM minimo a 16 GB.

Il recente WWDC si è focalizzato su Apple Intelligence.

Questa strategia prevede di eseguire modelli locali e inoltrare le richieste al cloud solo quando necessario.

Le funzionalità includono:

• Editing generativo del testo e delle immagini.
• Creazione di "Genmoji" (emoji generate dall'AI).
• Interazioni in linguaggio naturale molto più avanzate per Siri.
• Notifiche personalizzate e riassunti intelligenti.

Solo i Mac con chip della serie M e gli iPhone con A17 Pro (e successivi) sono confermati per supportare Apple Intelligence, segnalando un taglio netto col passato hardware.

Se eseguita bene, sarà la strategia AI più coesa e utile per le persone comuni, anche se mi aspetto delle difficoltà iniziali.

Training, inferenza e dettagli tecnici sulla precisione

È importante notare che nella pagina AI di Apple, il Neural Engine non è menzionato come parte della catena per l'addestramento (training) on-device.

Questo perché l'ANE è ottimizzato principalmente per l'esecuzione (inferenza) del machine learning.

Ciò è evidenziato dal supporto nativo per la precisione FP16 (virgola mobile a 16 bit), mentre CPU e GPU possono gestire FP32, che ha una precisione superiore necessaria per i calcoli complessi di retro-propagazione durante il training.

Cosa significa in pratica? 

Gli NPU nei dispositivi consumer servono a usare modelli esistenti, non a crearne di nuovi da zero.

Per l'addestramento serio, si continuano a usare GPU costose o cluster cloud.

Approfondimento: bit e numeri

Senza scendere troppo nel tecnico, ecco come funziona la precisione:

• 1 bit può memorizzare 2 valori (0 o 1).
• 2 bit possono memorizzare 4 valori.
• 16 bit possono memorizzare 65.536 valori.
• 32 bit possono memorizzare oltre 4 miliardi di valori.
  

Per i numeri non interi (con la virgola), si usa il formato a virgola mobile (floating point).

Questo sistema specifica dove si trova la virgola usando componenti come la mantissa e l'esponente, permettendo al numero di "fluttuare".

Nel machine learning, il formato FP16 è popolare perché offre il miglior equilibrio tra accuratezza, uso della memoria e velocità.

I modelli vengono spesso "quantizzati" (ridotti) da 32 a 16 bit: si perde una frazione infinitesimale di precisione, ma si guadagna enormemente in velocità ed efficienza, un po' come ridurre la profondità colore di un'immagine per renderla più leggera.

App Intents Framework per gli sviluppatori

Un tassello cruciale della nuova strategia è il framework App Intents.

Apple ora fornisce agli sviluppatori questo strumento che "apre" le applicazioni alle interazioni eseguite da Siri e Apple Intelligence.

Grazie ad App Intents, l'AI può comprendere il contesto personale dell'utente e agisce all'interno delle app (es: "Siri, modifica la foto che ho appena scattato e mandala a Marco").

Questo framework consente agli sviluppatori di esporre le funzionalità delle loro app al sistema operativo basandosi su modelli predefiniti (intents) già addestrati da Apple, senza dover creare i propri modelli di machine learning da zero.

Quanto questo framework sarà adottato dagli sviluppatori determinerà il vero successo dell'integrazione di Siri con le app di terze parti.

Conclusione: il Neural Engine in sintesi

In definitiva, il Neural Engine è un'unità di elaborazione neurale on-device integrata in Apple Silicon, che lavora in concerto con CPU e GPU.

È eccellente per le operazioni matriciali ed è, in parte, un sofisticato meccanismo di risparmio energetico: gestisce il calcolo AI a basso consumo evitando di svegliare la GPU, molto più affamata di energia.

Con l'evoluzione di Apple Intelligence, il Neural Engine passerà da componente "invisibile" a motore centrale dell'esperienza utente, rendendo possibili esperienze potenti e rispettose della privacy direttamente sui nostri dispositivi.