Adattare gli LLM a ragionare su contesti lunghi in domini difficili

I moderni LLM possono elaborare input molto lunghi, con finestre di contesto che raggiungono centinaia di migliaia di token, ma spesso non riescono a integrarne le informazioni nel loro complesso (e.g., risoluzione di catene causali, tracciamento dello stato delle entità menzionate). Il candidato selezionato si occuperà di ricercare tecniche per migliorare le capacità di long-context reasoning a partire da testi con una chiara struttura esplicita (enciclopedie, documentazione tecnica) fino a testi narrativi, dove la struttura implicita obbliga il modello a ragionare sull'intero testo anziché appoggiarsi a riferimenti espliciti ed eventualmente a utilizzare informazioni presenti all'interno di basi documentali esterne.