Roses UPC. Sant Jordi Digital 2023

Les Roses UPC 2023 es construeixen a partir de dues entrades diferents: un esbós d’una figura i un text descriptiu en format lliure introduïts per l’usuari. El resultat és un imatge amb una o més roses que segueix la forma de l’esbós i intenta reflectir el text descriptiu. 

Per generar aquesta imatge s’ha fet servir un model generatiu de deep learning que consta d’una arquitectura de xarxes neuronals capaç de produir una imatge a partir d’un text i un esbós. El model que s’ha utilitzat és ControlNet: una xarxa neuronal basada en el model text-a-imatge anomenat Stable Diffusion.

Stable Diffusion és un model d’intel·ligència artificial dissenyat per crear imatges a partir de text. És a dir, donant-li un text d’entrada, et genera una imatge que coincideixi amb la descripció d’aquest text.

Per tal de guiar el procés de construcció de la imatge que es genera a partir del text, s’ha fet servir ControlNet, una modificació de l’arquitectura d’Stable Diffusion que permet condicionar com es vol que es generi la imatge a partir d’un esbós inicial fet per l’usuari. Així doncs, amb ControlNet s’estan utilitzant esbossos i contorns per dir exactament a Stable Diffusion com es vol condicionar la composició de la imatge a partir del text introduït. 

El projecte també permet veure una galeria amb totes les roses que s’han generat.

Aquest projecte és un encàrrec del Gabinet del Rector de la UPC que ha organitzat el Sant Jordi Digital 2023 de la UPC, que  juntament amb UPCArts, han volgut crear un sistema per generar roses virtuals amb Intel·ligència Artificial. 

Aquest sistema ha estat desenvolupat per l’inLab FIB amb la col·laboració del Servei de Comunicació de la UPC i UPCArts.

El 2022 l’inLab FIB també es va encarregar del desenvolupament de la generació de les roses UPC. Les roses es generaven a partir d’una descripció i l’estil d’un artista. https://roses-inlab.fib.upc.edu/2022/