Category Archives: PhotoScan

Si parla di fotogrammetria a Super Quark

La prima puntata di SuperQuark della stagione 2017 è stata per noi una splendida occasione per aiutare a spiegare la tecnica fotogrammetrica di modellazione 3D e parlare di alcuni progetti di Cultural Heritage che abbiamo realizzato sfruttando questa tecnica.
In particolare abbiamo avuto modo di mostrare il progetto Isabella d’Este Virtual Studiolo.

TeatroVirtualeIsabellaStudiolo

Siamo molto contenti che la regia abbia scelto di coinvolgerci e che i giovani del laboratorio abbiano avuto l’occasione di mostrarsi nelle loro attività.

Trovate la puntata completa sul sito di Rai play

Isabella d’Este Virtual Studiolo al Future Film Short

E anche quest’anno siamo contentissimi di annunciarvi che Isabella d’Este Virtual sudiolo, the video è stata accettato al concorso Future Film Shorts, la sezione del Future Film Festival dedicata ai cortometraggi di animazione.

logo-future

Il corto sarà visibile durante il Future Film Festival la sera di venerdì 5 maggio, ore 22.30, e sabato 6 maggio, ore 10.00, e sul sito del Festival da oggi al 6 maggio a mezzanotte per il concorso online di Future Film Shorts.

vota adesso
Nel corso di questi giorni, infatti, anche il pubblico del web potrà votare.

03

Quindi.. Votate! Votate! Votate!

Un nuovo fantasmagorico progetto: Isabella d’Este Virtual Studiolo

Il VisitLab è felice di introdurre i lettori del suo blog ad un nuovo progetto. Lasciamoci guidare in questo viaggio dalle parole di  Deanna Shemek, capo progetto di Isabella d’Este Virtual Studiolo:

My visit to Cineca last month was really amazing. I’m from the University of California, Santa Cruz, and I went to Cineca’s Visit Lab in March to meet with a team of super-smart people there. Together we are building an immersive, virtual recreation of the famous Renaissance studiolo of Isabella d’Este.

Isabella d'Este

Isabella d’Este, Tiziano, 1534-1536, Olio su tela, 102×64 cm, Kunsthistorisches Museum, Vienna

The Samuel H. Kress Foundation gave us money to make a short film about our project, to help us find more funding to build it.

Isabella led an active life, especially for a woman of the sixteenth century. She married Francesco II Gonzaga, marchese of Mantua in 1490 and governed their city state with him. In her spare time, she commissioned and played music by important composers like Tromboncino and Cara. She ran a perfume pharmacy and grew her own flowers for those products. She collected art and antiquities, and showed them off in her special space, her camerini, also known as the studiolo and grotta. A lot of her paintings, sculptures, and other beautiful things are now in museums around the world, and we are working together to put as much of it as we can back together, so people around the world can visit the studiolo virtually.

Giovanni

This is Giovanni, the film director at Visit Lab. He has a lot of good ideas.

 

Meeting

We got right to work, talking about our plans. How can we tell people about the Virtual Studiolo in a film of just 2 minutes?

 

Virtual theatre

Then we went into Cineca’s virtual theater to look at the models they have made so far. This is Mission Control. Antonella and Daniele set up the model for me to look at.

 

Virtual Theatre 2

Virtual Studiolo nel Virtual Theatre

Maria Chiara joined us, and we took a look at the photogrammetry model they have made of the real Studiolo, in the Palazzo Ducale of Mantua.

 

Studiolo 3D

There are lots of working phases in the process (mainly involving Blender)

 

Virtual Studiolo work in progress

Wow, they can even turn the studiolo inside-out!

 

Antonella & Deanna

We talked about our next steps.

 

Working group

We like it, so far! I can’t wait to see what comes next.

 

Fermi Supercomputer

And before I go, I get to meet the big guys: This is the supercomputer hardware room. I’m standing next to Fermi
Maybe these were made in California, but the Virtual Studiolo will be Made in Italy!
Thanks, Antonella, Maria Chiara, Daniele, and Giovanni!

Grazie a te, Deanna.

Continuate a seguirci per altri aggiornamenti sul progetto.

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – impostazioni avanzate

Chiariamo adesso un po’ meglio la funzione dei parametri delle singole impostazioni di PhotoScan:

Align Photos

  • Accuracy: con impostazioni più basse il programma sfuma un gruppo di pixel maggiore per la sovrapposizione delle immagini a discapito della qualità
  • Pair Preselection: per velocizzare il processo è possibile spingere il programma a limitarsi a coppie di foto affini
  • Key e Tie point limit: indica il numero di feature o key point ricercati dal programma, in genere non è necessario il doppio della impostazione di default

Build Dense Cloud

  • Quality: più alta è questa impostazione, più dettagliato sarà il risultato finale a scapito delle risorse e del tempo necessario all’elaborazione
  • Depth filtering: Abbassare, ma mai disabiltarla completamente, nel caso di oggetti che presentano spigolosità

Build Mesh

  • Surface type: impostare su Height Field solo nel caso di riprese aeree
  • Source data: è possibile selezionare il sorgente dei punti tra la dense cloud e i punti generati durante l’allineamento
  • Face count: indica il numero di facce generate per la mesh, è possibile impostare il numero manualmente a seconda delle esigenze
  • Interpolation: cerca di coprire i buchi generati dalla dense cloud; Extrapolation ne aumenta la qualità

Build Texture

  • Mapping mode: indica il modo in cui vengono ritagliate le foto per generare la texture; generic crea numerosi tagli da ogni angolazione ed è l’impostazione generalmente più utile; ortophoto è utile dall’alto, spherical per gli oggetti tondi, mentre single camera utilizza solo una foto come riferimento
  • Blending mode: mosaic è sempre l’impostazione consigliata
  • Texture size/count: il primo valore indica la dimensione finale dell’immagine, è sempre consigliabile sovraddimensionarla, mentre il secondo indica il numero di immagini create
  • Enable color correction: corregge automaticamente valori come la saturazione e la luminosità della texture, è possibile comunque modificare questi valori in seguito attraverso programmi di fotoritocco

Per migliorare la resa finale degli oggetti in 3D è possibile ricorrere a maschere e marker.

I marker sono semplici bandierine che vengono posizionate in alcune parti dell’oggetto, in modo tale che il programma capisca come l’oggetto si stia spostando.

Invece le maschere vengono utilizzate per far capire al programma qual’è il soggetto e, quindi, ciò che deve essere trasformato in 3D.

Oggetti scontornati

Oggetti scontornati

In alcuni casi, infatti, si è riscontra un’incapacità da parte del programma di allineare tutte le foto, per colpa di fotografie che in alcuni punti risultavano poco dettagliate. Per cercare di risolvere questo problema è stato provato lo strumento “maschera”.

Esso ci permette di selezionare le singole parti della foto che a noi interessano , in modo che il programma possa concentrarsi unicamente sulla zona selezionata e compiere un lavoro più dettagliato. In pratica, l’oggetto che si desidera ricostruire viene scontornato manualmente.

Galette prima della maschera

Gallette prima della maschera

Gailette dopo la maschera

Gallette dopo la maschera

Non è necessario che lo strumento maschera sia applicato su tutti gli scatti. Si può provare a vedere se, scontornando poche foto per ciascun tipo di inquadratura, il risultato è soddisfacente. Nel caso della ricostruzione del cornetto il risultato alla fine è stato ugualmente ottimo e 59 foto su 59 sono state allineate.

Ricostruzione prima dell'applicazione della maschera

Ricostruzione prima dell’applicazione della maschera

Ricostruzione 3D del cornetto dopo l'applicazione della maschera

Ricostruzione 3D del cornetto dopo l’applicazione della maschera

In altri casi di ricostruzioni non ben riuscite, abbiamo cambiato i parametri nell’allineamento delle foto: aumentato l’accuratezza, aumentato gli indici dell’allineamento. In questo modo, da una pesca apparentemente mangiucchiata, ne abbiamo ottenuta una perfetta.

Pesca

Al prossimo articolo per un approfondimento sui markers.

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – parte III

Una volta acquisiti i set di foto degli oggetti che si desidera ricostruire in fotogrammetria – come abbiamo visto nella parte I e parte II di questo breve tutorial – si passa alla fase successiva, di vera e propria ricostruzione 3D.
Attualmente, ci è stato spiegato dai ragazzi del VisitLab, il software più semplice ed efficace per questo scopo è PhotoScan di Agisoft.

Kiwigrammetria

Kiwigrammetria

Il processo seguito è stato il seguente (Photoscan su Ubuntu):

  • Si selezionano tutte le foto con Ctrl + A e le si sposta nella cartella photos, in basso sulla sinistra.
  • Bisogna fare sempre attenzione alla memoria del computer, quindi, monitorarla nel SYSTEM MONITOR – RESOURCES. Se l’applicazione occupa troppa RAM, chiuderla prima di bloccare il computer.
  • Una volta viste le foto, eliminare quelle che sembrano scorrette, cliccando su ‘’disabilita foto’’.
  • Aprire la cartella WORKFLOW e cliccare ALIGN PHOTOS per poter allineare le foto. Il computer cercherà di capire se gli stessi punti fatti da angolazioni diverse corrispondono, facendoli coincidere di solito a due a due (pair preselection, con i livelli Generic, Disabled e Reference).
Pannello di allineamento

Pannello di allineamento

  • Accuracy : consiste nell’analizzare la posizione delle immagini attraverso i pixel (può essere Low , Medium, High) . Low – analizza una porzione di pixel (quadrato 9×9) ricavandone una media tra i colori. Medium (4×4 ) e High (1)  analizzano i pixel in maniera più dettagliata. Di solito si preferisce impostare ‘’accuracy=medium’’. Impostando il parametro su Low, nel caso si voglia una maggiore velocità, il risultato avrà una qualità più bassa.
  • Key point limit: riguarda l’allineamento dei punti; per un maggior allineamento bisogna aumentare il numero di key point.
  • Controllare se le foto sono ben allineate cliccando sul triangolino alla sinistra di “Chunk” e poi di “Cameras” e notando le sigle NA-NC (foto non allineata). Le fotografie fuori allineamento andranno scartate.
  • Sempre cliccando su WORKFLOW, passiamo a BUILD DENSE CLOUD. Impostiamo QUALITY=MEDIUM (opzioni: ultra high, high, low, medium) e poi DEPTH FILTERING=AGGRESSIVE. Se ci sono oggetti appuntiti selezioneremo, invece, il parametro MILD . Depth filtering è un filtro di profondità, che definisce quanto è importante la spigolosità dell’oggetto: aggressive (smussa tutti gli angoli), moderate, mild, disabled. Non è consigliato disabilitare questo parametro.

Pannello BDC

  • Comparirà sullo schermo una nuvola di punti:
  • Ridimensionare la regione dei punti interessati (Resize Region), in modo da racchiudere l’oggetto all’interno del parallelepipedo (bounding box).
    Parametri 2
    Trascinare i pin ( pallini azzurri ) verso la zona che più ci interessa in modo tale che il cubo possa racchiudere l’oggetto nella zona da analizzare. Per vederlo meglio e nella sue varie angolazioni, disabilitare l’icona della macchinetta fotografica sulla barra degli strumenti, in alto (Show Cameras);
  • Pulire i punti della nuvola posizionatisi erroneamente utilizzando gli strumenti di selezione corretti.Photoscan, strumenti di selezione
  • Creare la Mesh, costituita da facce delimitate da segmenti, linee spezzate generate dalla connessione di vertici, visualizzabile nell’impostazione senza colori.
  • In WORKFLOW selezionare BUILD MESH, regolare il tipo di superficie (surface type: arbitrary, high field), l’origine dei dati (source data, ovvero l’analisi in maniera più approfondita dei punti: dense cloud, sparse cloud-face count), il numero di facce (face count, ovvero il numero delle facce prese in considerazione: high, medium, low, custom – l’opzione ‘Custom’ viene utilizzata per personalizzare il numero di facce, come nei video games), interpolation, che agisce quando è presente un buco tra un punto ed un altro (disabled, enabled, extrapolated). È consigliato abilitare questo parametro. Selezionando ‘Extrapolated’ si cerca di chiudere gli spazi vuoti anche in assenza di foto.
  • Impostiamo FACE COUNT=MEDIUM, SOURCE DATA=DENSE CLOUD, SURFACE TYPES= ARBITRARY.
  • Attendere il caricamento e spostarsi in una delle visuali tra Shaded, Solid, Wireframe.
  • Sempre in WORKFLOW andiamo ora su BUILD TEXTURE ed operiamo sui parametri.

    • texture size (con indici in potenza di 2)
    • blending moderate (tipo di sfumatura): mosaic, average
    • mapping moderate (mappatura – mette in relazione un oggetto in 3D su una superficie in 2D mediante unwrap, a mo’ di incarto): generic (consigliato), orthophoto (per ricostruire la texture di un terreno) , adaptive orthophoto, spherical (si usa con oggetti tondi o sferici), single camera (proietta un’unica foto).
    • enable color correction
  • Impostiamo MAPPING MODE=GENERIC, BLENDING MODE=MOSAIC e scegliamo in base alle nostre esigenze la TEXTURE SIZE.

  • Si esegue quindi il salvataggio della texture nell’apposita cartella, rinominando il file con la dicitura <titolo del file>.psz

kiwi

  • Dopo tutti questi passaggi, nel caso in cui l’immagine presentasse difetti:

    • Cliccare le icone con il cerchio, il quadrato e “libero” per eliminare macchie e varie imperfezioni.
    • Tappare i buchi selezionando TOOLS, poi MESH e infine CLOSE HOLES, impostando 100% per chiudere anche i buchi più larghi.

close holes

Nel prossimo post proveremo ad approfondire alcune impostazioni avanzate.