HW/SW Acceleration of VLA Models for Robotics on Mesh-of-Tiles Architectures

I modelli Vision-Language-Action (VLA) si stanno affermando come paradigma unificante per l'autonomia robotica, mappando flussi video e istruzioni in linguaggio naturale direttamente in comandi motori. Su piattaforme embodied i backbone transformer devono eseguire entro latenze ad anello chiuso di decine di ms e pochi watt. Gli acceleratori mesh-of-tiles come MAGIA offrono la densita' di calcolo necessaria, ma sfruttarli richiede co-design HW/SW.Questo Incarico di Ricerca, allineato con il progetto ARCHYTAS, si focalizza sull'accelerazione HW/SW di modelli VLA e di navigazione autonoma su architetture mesh-of-tiles, con MAGIA come piattaforma di riferimento. L'incaricato si concentrera' su: 1) mapping dei carichi VLA sulla mesh (partizionamento, tiling, scheduling, quantizzazione); 2) estensioni hardware e supporti dataflow per gli operatori dominanti; 3) stack software (compilatore, runtime, kernel, dispatch host-tessuto) e validazione end-to-end di un task di navigazione su FPGA.