Domanda
Voce o testo
MIC / TABLETConversational avatar · real-time installation
Una presenza
digitale capace
di ascoltare.
Zeno è un avatar conversazionale collegato a un’intelligenza artificiale. L’utente formula una domanda tramite microfono o tablet; il sistema genera la risposta e l’avatar la restituisce sincronizzando voce, labbra, testa e corpo in tempo reale.
Esplora il sistema↓01 / THE CHALLENGE
Non bastava far parlare un avatar.
Doveva sembrare presente.
Il punto critico era orchestrare tecnologie diverse in un unico flusso continuo: catturare l’audio, comprenderlo, costruire una risposta, trasformarla in voce e sincronizzarla con un volto digitale — senza spezzare la naturalezza dell’interazione.
02 / REAL-TIME PIPELINE
Una conversazione,
sei passaggi.
Node.js coordina i servizi AI. Una workstation Windows con GPU RTX esegue TouchDesigner, trasforma la risposta in voce e movimento e invia direttamente il risultato al display.
Comprensione
Speech to text
WHISPERAI response
Contesto + linguaggio
GROQ / LLAMAVoce
Text to speech
ELEVENLABSAvatar
Labbra, testa e corpo
TOUCHDESIGNERDisplay
Output diretto
RTX / HDMI · DPWEBSOCKETNODE.JSARKIT BLENDSHAPESUDPHD OUTPUT
02B / PHYSICAL INSTALLATION
Dalla domanda
allo schermo.
L’esperienza è stata progettata come un unico sistema: l’interazione arriva dal microfono o dal tablet, i servizi AI costruiscono la risposta e una workstation dedicata gestisce in tempo reale voce, animazione e uscita video.
Microfono
oppure tablet
Comprensione,
risposta e voce
Node.js +
TouchDesigner
Voce, lip sync,
testa e corpo
Segnale video
HDMI / DisplayPort
CPUAMD Ryzen 7 5800X
GPURTX 5060 Ti · 16 GB
MEMORY32 GB RAM
STORAGE1 TB NVMe SSD
OSWindows 11
Un’interazione collettiva: l’utente dialoga con Zeno attraverso tablet e microfono, mentre il pubblico osserva l’avatar a figura intera all’interno dell’Holobox.
END-TO-END SYSTEM L’utente non vede la complessità tecnica: pone una domanda e riceve una risposta incarnata, sincronizzata e immediata.
03 / HUMAN + AI
L’AI ha accelerato il codice.
L’integrazione ha costruito l’esperienza.
40%
AI-ASSISTED
Scaffolding e debug logico
- Struttura del server Node.js
- Comunicazione WebSocket
- Integrazione Groq, ElevenLabs e Whisper
- Architettura degli stati conversazionali
- Supporto al debug degli indici ARKit
Claude come consulente tecnico e co-sviluppatore
60%
DESIGNED + ENGINEERED
La parte che il modello non poteva vedere
- Network CHOP / DAT in TouchDesigner
- Mappatura dei blendshape sulla geometria
- Timing e calibrazione del lip sync
- Sette stati video controllati via UDP
- Autenticazione e rotazione chiavi in produzione
Integrazione, test e messa a punto sull’installazione fisica
04 / TOUCHDESIGNER CORE
Dal dato
al gesto.
I messaggi che arrivano dal server non sono un risultato finale: diventano voce, movimenti delle labbra, rotazioni della testa, gesti del corpo e transizioni. La rete TouchDesigner traduce ogni evento in comportamento visivo.
DATwebsocket_inJSON stream
CHOPface_values52 channels
GEOmetahumanARKit shapes
AUDIOlip_synctiming / gain
UDPstate_out7 states
04B / INSIDE THE BUILD
Il sistema,
visto da dentro.
Screenshot reali del processo di sviluppo: dalla mappatura dei blendshape al rilevamento della voce, fino al controllo dei flussi audio e degli stati.
05 / RESULT
Real-time.
Responsive.
Ready to interact.
Il sistema completo opera con una latenza compatibile con l’uso installativo: dalla domanda via microfono o tablet alla risposta AI incarnata dal character, fino all’uscita video diretta dalla workstation al display.
Zeno dimostra dove l’AI genera valore concreto: accelera struttura e iterazione, mentre progettazione, sensibilità visiva e integrazione fisica restano il cuore del lavoro.
Interactive systems / digital humans / creative technology