Federico Manuri

Il termine “remesh” indica una tecnica per ricostruire automaticame la geometria di un oggetto 3D con una topologia diversa, generalmente più uniforme. La tecnica del remesh permette inoltre di aumentare o ridurre la topologia della mesh in base alla definizione desiderata ed è usata specialmente per convertire immagini generate tramite la tecnica dello sculpting. Ambiti d’uso tipici del remesh riguardano la semplificazione di oggetti 3D ad alta definizione che devono essere animati, oppure la semplificazione di oggetti 3D per l’uso in ambito gaming (es. oggetti di scena, ambienti, edifici, ecc.). Generalmente, queste tecniche richiedono l’interazione dell’utente per guidare la scelta delle impostazioni di remesh e valutare il risultato ottenuto. Questa tesi propone di investigare il design e lo sviluppo di soluzioni di resmesh automatiche o semiautomatiche, partendo dall’analisi dello stato dell’arte e da quanto sviluppato dal nostro gruppo di ricerca in tesi precedenti, utilizzando le più recenti tecniche di computer vision ed intelligenza artificiale.

I metodi di object detection si basano prevalentemente su approcci di deep learning
supervisionato, che richiedono ingenti quantità di dati etichettati. Per incrementare la
disponibilità di dati, è possibile ricorrere a tecniche di data augmentation, tra cui la
generazione di dati completamente sintetici, soluzione promettente in quanto consente
di ottenere dati automaticamente etichettati, riducendo tempi e costi di acquisizione.
Tuttavia, tali approcci presentano criticità legate alla complessità delle procedure
richieste, quali la conversione da immagini 2D a modelli 3D e il rendering fotorealistico.
Queste problematiche risultano particolarmente rilevanti nei contesti industriali,
caratterizzati da asset e oggetti altamente specifici e difficilmente reperibili nei dataset
pubblici.
La presente tesi si propone pertanto di sviluppare una pipeline efficace che consenta la
generazione agevole di dataset sintetici per compiti di object detection in ambito
industriale. Il lavoro prevede un’analisi dello stato dell’arte e la successiva
progettazione e validazione della pipeline su un caso d’uso industriale reale.
Esempi simili/utili:
• https://www.youtube.com/watch?v=HHzNIh72B_Y
• https://www.youtube.com/watch?v=iuDv3TS-xQA
• https://www.youtube.com/watch?v=dxlyCPGCvy8
• https://www.youtube.com/watch?v=pJfHiVo8GUg
• https://www.youtube.com/watch?v=BuL7RroTG7s

Le interfacce neurali permettono di leggere i segnali derivanti dall’attività cerebrale, quali il segnale elettroencefalografico, e a trasmetterli ad un dispositivo esterno, come un computer. Le interfacce neurali attive vengono usate per interagire con l’interfaccia utente di un sistema, ed in particolar modo possono rivelarsi utili a supporto di persone con disabilità. Le interfacce neurali passive vengono invece usate per monitorare lo stato dell’utente, come ad esempio i livelli di stress, attenzione e carico cognitivo. Questa tesi si propone di investigare l’uso di interfacce neurali a supporto dell’interazione uomo-macchina.

Le interfacce neurali permettono di leggere i segnali derivanti dall’attività cerebrale, quali il segnale elettroencefalografico, e a trasmetterli ad un dispositivo esterno, come un computer. Le interfacce neurali attive vengono usate per interagire con l’interfaccia utente di un sistema. Le interfacce neurali passive vengono invece usate per monitorare lo stato dell’utente, come ad esempio i livello di stress, attenzione e carico cognitivo. Questa tesi si propone di investigare l’uso di interfacce neurali per l’interazione con manipolatori robotici in scenari di robotica collaborativa.

Un dataset sintetico è un insieme di dati generati artificialmente tramite algoritmi o simulazioni, anziché raccolti da osservazioni o misurazioni reali del mondo. Vengono spesso utilizzati quando i dati reali sono scarsi, costosi o difficili da ottenere, quando serve un alto grado di controllo sulle caratteristiche dei dati, o quando ci sono vincoli legati alla privacy o alla sicurezza. Ad esempio, dataset sintetici di scene 3D renderizzate vengono creati per addestrare modelli per il riconoscimento o la ricostruzione di oggetti. In alcuni casi presentano degli svantaggi, in quanto possono non riflettere perfettamente la complessità del mondo reale o possono presentare differenze tali rispetto ai dati reali reali da ridurre la performance dei modelli. Questa tesi si pone come obiettivo quello di colmare il gap tra i dataset sintetici e quelli reali esplorando soluzioni alternative e complementari come il rendering fotorealistico e il transfer fotorealistico.

Il progetto di tesi prevede la realizzazione di una piattaforma per la progettazione di layout di postazioni di lavoro in VR immersiva. L’applicazione dovrà includere funzionalità quali: importazione di modelli CAD (matematiche), manipolazione e ridimensionamento “semplice” di primitive 3D, gestione dei layout, strumenti di misurazione delle distanze e interazione tramite dispositivi di input avanzati come il guanto ManusVR.
Particolari attenzioni dovranno essere poste alla struttura del software, che dovrà risultare scalabile e facilmente estendibile attraverso moduli aggiuntivi (frame) con minimo intervento sul codice esistente. L’interfaccia grafica utente dovrà essere ottimizzata per un utilizzo efficace in ambiente immersivo, con comandi facilmente accessibili e tempi di risposta ridotti, garantendo un’ottima user experience anche per utenti non esperti in software 3D.

La tesi ha l’obiettivo di valutare e confrontare sistemi di motion capture basati su piattaforme inerziali. Il confronto coinvolgerà sistemi professionali e sistemi consumer.

Il progetto di tesi prevede l’integrazione di un LLM in un banco di lavoro sensorizzato che permetta ad un operatore di effettuare alcuni task industriali (e.g., assemblaggio, misurazione, etc.) utilizzando un sistema di Realtà Aumentata (AR) proiettata.
Si partirà da un modello LLM già esistente che dovrà essere addestrato sui dati relativi al task che dovrà compiere l’operatore (fine tuning). Inoltre, LLM dovrà funzionare su un dispositivo installato su rete locale e non si potranno usare servizi funzionanti su server pubblici. Il ruolo del LLM sarà di supporto all’operatore che potrà interagirci tramite un’interfaccia vocale.
Una volta completata la parte di integrazione LLM, si integrerà un sistema di AR proiettato in grado di proiettare i contenuti virtuali sul banco di lavoro evitando occlusioni ed ottimizzando gli spazi. Inoltre, l’operatore dovrà poter interagire con in contenuti virtuali usando un’interazione basati su gesti e vocale.

The student will implement a real-time computer vision pipeline for tracking medical manikins and surgical tools, He will develop methods for 3D object detection and pose estimation and integrate the real objects as virtual overlays into a Unity-based XR environment. The thesis will focus on algorithm development and real-time graphics rendering, with the main goal of increasing realism and interactivity in medical and surgical training simulations.