Tag Archives: fotogrammetria digitale

Si parla di fotogrammetria a Super Quark

La prima puntata di SuperQuark della stagione 2017 è stata per noi una splendida occasione per aiutare a spiegare la tecnica fotogrammetrica di modellazione 3D e parlare di alcuni progetti di Cultural Heritage che abbiamo realizzato sfruttando questa tecnica.
In particolare abbiamo avuto modo di mostrare il progetto Isabella d’Este Virtual Studiolo.

TeatroVirtualeIsabellaStudiolo

Siamo molto contenti che la regia abbia scelto di coinvolgerci e che i giovani del laboratorio abbiano avuto l’occasione di mostrarsi nelle loro attività.

Trovate la puntata completa sul sito di Rai play

Il video Isabella d’Este Virtual Studiolo ha vinto!

Il premio del pubblico online del Future Film Short è andato quest’anno al nostro video Isabella d’Este Virtual Studiolo!!
Un grande GRAZIE a tutti voi che ci avete votato permettendoci di vincere!

FFF_award_2
Antonella e Giovanni sul palco del Future Film Festival insieme a Giulietta Fara e Oscar Cosulich, oranizzatori della manifestazione

FFF_Award_3

Per tutti voi, amici, stiamo organizzando un evento. Stay tuned!!

Isabella d’Este Virtual Studiolo al Future Film Short

E anche quest’anno siamo contentissimi di annunciarvi che Isabella d’Este Virtual sudiolo, the video è stata accettato al concorso Future Film Shorts, la sezione del Future Film Festival dedicata ai cortometraggi di animazione.

logo-future

Il corto sarà visibile durante il Future Film Festival la sera di venerdì 5 maggio, ore 22.30, e sabato 6 maggio, ore 10.00, e sul sito del Festival da oggi al 6 maggio a mezzanotte per il concorso online di Future Film Shorts.

vota adesso
Nel corso di questi giorni, infatti, anche il pubblico del web potrà votare.

03

Quindi.. Votate! Votate! Votate!

Un nuovo fantasmagorico progetto: Isabella d’Este Virtual Studiolo

Il VisitLab è felice di introdurre i lettori del suo blog ad un nuovo progetto. Lasciamoci guidare in questo viaggio dalle parole di  Deanna Shemek, capo progetto di Isabella d’Este Virtual Studiolo:

My visit to Cineca last month was really amazing. I’m from the University of California, Santa Cruz, and I went to Cineca’s Visit Lab in March to meet with a team of super-smart people there. Together we are building an immersive, virtual recreation of the famous Renaissance studiolo of Isabella d’Este.

Isabella d'Este

Isabella d’Este, Tiziano, 1534-1536, Olio su tela, 102×64 cm, Kunsthistorisches Museum, Vienna

The Samuel H. Kress Foundation gave us money to make a short film about our project, to help us find more funding to build it.

Isabella led an active life, especially for a woman of the sixteenth century. She married Francesco II Gonzaga, marchese of Mantua in 1490 and governed their city state with him. In her spare time, she commissioned and played music by important composers like Tromboncino and Cara. She ran a perfume pharmacy and grew her own flowers for those products. She collected art and antiquities, and showed them off in her special space, her camerini, also known as the studiolo and grotta. A lot of her paintings, sculptures, and other beautiful things are now in museums around the world, and we are working together to put as much of it as we can back together, so people around the world can visit the studiolo virtually.

Giovanni

This is Giovanni, the film director at Visit Lab. He has a lot of good ideas.

 

Meeting

We got right to work, talking about our plans. How can we tell people about the Virtual Studiolo in a film of just 2 minutes?

 

Virtual theatre

Then we went into Cineca’s virtual theater to look at the models they have made so far. This is Mission Control. Antonella and Daniele set up the model for me to look at.

 

Virtual Theatre 2

Virtual Studiolo nel Virtual Theatre

Maria Chiara joined us, and we took a look at the photogrammetry model they have made of the real Studiolo, in the Palazzo Ducale of Mantua.

 

Studiolo 3D

There are lots of working phases in the process (mainly involving Blender)

 

Virtual Studiolo work in progress

Wow, they can even turn the studiolo inside-out!

 

Antonella & Deanna

We talked about our next steps.

 

Working group

We like it, so far! I can’t wait to see what comes next.

 

Fermi Supercomputer

And before I go, I get to meet the big guys: This is the supercomputer hardware room. I’m standing next to Fermi
Maybe these were made in California, but the Virtual Studiolo will be Made in Italy!
Thanks, Antonella, Maria Chiara, Daniele, and Giovanni!

Grazie a te, Deanna.

Continuate a seguirci per altri aggiornamenti sul progetto.

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – impostazioni avanzate

Chiariamo adesso un po’ meglio la funzione dei parametri delle singole impostazioni di PhotoScan:

Align Photos

  • Accuracy: con impostazioni più basse il programma sfuma un gruppo di pixel maggiore per la sovrapposizione delle immagini a discapito della qualità
  • Pair Preselection: per velocizzare il processo è possibile spingere il programma a limitarsi a coppie di foto affini
  • Key e Tie point limit: indica il numero di feature o key point ricercati dal programma, in genere non è necessario il doppio della impostazione di default

Build Dense Cloud

  • Quality: più alta è questa impostazione, più dettagliato sarà il risultato finale a scapito delle risorse e del tempo necessario all’elaborazione
  • Depth filtering: Abbassare, ma mai disabiltarla completamente, nel caso di oggetti che presentano spigolosità

Build Mesh

  • Surface type: impostare su Height Field solo nel caso di riprese aeree
  • Source data: è possibile selezionare il sorgente dei punti tra la dense cloud e i punti generati durante l’allineamento
  • Face count: indica il numero di facce generate per la mesh, è possibile impostare il numero manualmente a seconda delle esigenze
  • Interpolation: cerca di coprire i buchi generati dalla dense cloud; Extrapolation ne aumenta la qualità

Build Texture

  • Mapping mode: indica il modo in cui vengono ritagliate le foto per generare la texture; generic crea numerosi tagli da ogni angolazione ed è l’impostazione generalmente più utile; ortophoto è utile dall’alto, spherical per gli oggetti tondi, mentre single camera utilizza solo una foto come riferimento
  • Blending mode: mosaic è sempre l’impostazione consigliata
  • Texture size/count: il primo valore indica la dimensione finale dell’immagine, è sempre consigliabile sovraddimensionarla, mentre il secondo indica il numero di immagini create
  • Enable color correction: corregge automaticamente valori come la saturazione e la luminosità della texture, è possibile comunque modificare questi valori in seguito attraverso programmi di fotoritocco

Per migliorare la resa finale degli oggetti in 3D è possibile ricorrere a maschere e marker.

I marker sono semplici bandierine che vengono posizionate in alcune parti dell’oggetto, in modo tale che il programma capisca come l’oggetto si stia spostando.

Invece le maschere vengono utilizzate per far capire al programma qual’è il soggetto e, quindi, ciò che deve essere trasformato in 3D.

Oggetti scontornati

Oggetti scontornati

In alcuni casi, infatti, si è riscontra un’incapacità da parte del programma di allineare tutte le foto, per colpa di fotografie che in alcuni punti risultavano poco dettagliate. Per cercare di risolvere questo problema è stato provato lo strumento “maschera”.

Esso ci permette di selezionare le singole parti della foto che a noi interessano , in modo che il programma possa concentrarsi unicamente sulla zona selezionata e compiere un lavoro più dettagliato. In pratica, l’oggetto che si desidera ricostruire viene scontornato manualmente.

Galette prima della maschera

Gallette prima della maschera

Gailette dopo la maschera

Gallette dopo la maschera

Non è necessario che lo strumento maschera sia applicato su tutti gli scatti. Si può provare a vedere se, scontornando poche foto per ciascun tipo di inquadratura, il risultato è soddisfacente. Nel caso della ricostruzione del cornetto il risultato alla fine è stato ugualmente ottimo e 59 foto su 59 sono state allineate.

Ricostruzione prima dell'applicazione della maschera

Ricostruzione prima dell’applicazione della maschera

Ricostruzione 3D del cornetto dopo l'applicazione della maschera

Ricostruzione 3D del cornetto dopo l’applicazione della maschera

In altri casi di ricostruzioni non ben riuscite, abbiamo cambiato i parametri nell’allineamento delle foto: aumentato l’accuratezza, aumentato gli indici dell’allineamento. In questo modo, da una pesca apparentemente mangiucchiata, ne abbiamo ottenuta una perfetta.

Pesca

Al prossimo articolo per un approfondimento sui markers.

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – parte III

Una volta acquisiti i set di foto degli oggetti che si desidera ricostruire in fotogrammetria – come abbiamo visto nella parte I e parte II di questo breve tutorial – si passa alla fase successiva, di vera e propria ricostruzione 3D.
Attualmente, ci è stato spiegato dai ragazzi del VisitLab, il software più semplice ed efficace per questo scopo è PhotoScan di Agisoft.

Kiwigrammetria

Kiwigrammetria

Il processo seguito è stato il seguente (Photoscan su Ubuntu):

  • Si selezionano tutte le foto con Ctrl + A e le si sposta nella cartella photos, in basso sulla sinistra.
  • Bisogna fare sempre attenzione alla memoria del computer, quindi, monitorarla nel SYSTEM MONITOR – RESOURCES. Se l’applicazione occupa troppa RAM, chiuderla prima di bloccare il computer.
  • Una volta viste le foto, eliminare quelle che sembrano scorrette, cliccando su ‘’disabilita foto’’.
  • Aprire la cartella WORKFLOW e cliccare ALIGN PHOTOS per poter allineare le foto. Il computer cercherà di capire se gli stessi punti fatti da angolazioni diverse corrispondono, facendoli coincidere di solito a due a due (pair preselection, con i livelli Generic, Disabled e Reference).
Pannello di allineamento

Pannello di allineamento

  • Accuracy : consiste nell’analizzare la posizione delle immagini attraverso i pixel (può essere Low , Medium, High) . Low – analizza una porzione di pixel (quadrato 9×9) ricavandone una media tra i colori. Medium (4×4 ) e High (1)  analizzano i pixel in maniera più dettagliata. Di solito si preferisce impostare ‘’accuracy=medium’’. Impostando il parametro su Low, nel caso si voglia una maggiore velocità, il risultato avrà una qualità più bassa.
  • Key point limit: riguarda l’allineamento dei punti; per un maggior allineamento bisogna aumentare il numero di key point.
  • Controllare se le foto sono ben allineate cliccando sul triangolino alla sinistra di “Chunk” e poi di “Cameras” e notando le sigle NA-NC (foto non allineata). Le fotografie fuori allineamento andranno scartate.
  • Sempre cliccando su WORKFLOW, passiamo a BUILD DENSE CLOUD. Impostiamo QUALITY=MEDIUM (opzioni: ultra high, high, low, medium) e poi DEPTH FILTERING=AGGRESSIVE. Se ci sono oggetti appuntiti selezioneremo, invece, il parametro MILD . Depth filtering è un filtro di profondità, che definisce quanto è importante la spigolosità dell’oggetto: aggressive (smussa tutti gli angoli), moderate, mild, disabled. Non è consigliato disabilitare questo parametro.

Pannello BDC

  • Comparirà sullo schermo una nuvola di punti:
  • Ridimensionare la regione dei punti interessati (Resize Region), in modo da racchiudere l’oggetto all’interno del parallelepipedo (bounding box).
    Parametri 2
    Trascinare i pin ( pallini azzurri ) verso la zona che più ci interessa in modo tale che il cubo possa racchiudere l’oggetto nella zona da analizzare. Per vederlo meglio e nella sue varie angolazioni, disabilitare l’icona della macchinetta fotografica sulla barra degli strumenti, in alto (Show Cameras);
  • Pulire i punti della nuvola posizionatisi erroneamente utilizzando gli strumenti di selezione corretti.Photoscan, strumenti di selezione
  • Creare la Mesh, costituita da facce delimitate da segmenti, linee spezzate generate dalla connessione di vertici, visualizzabile nell’impostazione senza colori.
  • In WORKFLOW selezionare BUILD MESH, regolare il tipo di superficie (surface type: arbitrary, high field), l’origine dei dati (source data, ovvero l’analisi in maniera più approfondita dei punti: dense cloud, sparse cloud-face count), il numero di facce (face count, ovvero il numero delle facce prese in considerazione: high, medium, low, custom – l’opzione ‘Custom’ viene utilizzata per personalizzare il numero di facce, come nei video games), interpolation, che agisce quando è presente un buco tra un punto ed un altro (disabled, enabled, extrapolated). È consigliato abilitare questo parametro. Selezionando ‘Extrapolated’ si cerca di chiudere gli spazi vuoti anche in assenza di foto.
  • Impostiamo FACE COUNT=MEDIUM, SOURCE DATA=DENSE CLOUD, SURFACE TYPES= ARBITRARY.
  • Attendere il caricamento e spostarsi in una delle visuali tra Shaded, Solid, Wireframe.
  • Sempre in WORKFLOW andiamo ora su BUILD TEXTURE ed operiamo sui parametri.

    • texture size (con indici in potenza di 2)
    • blending moderate (tipo di sfumatura): mosaic, average
    • mapping moderate (mappatura – mette in relazione un oggetto in 3D su una superficie in 2D mediante unwrap, a mo’ di incarto): generic (consigliato), orthophoto (per ricostruire la texture di un terreno) , adaptive orthophoto, spherical (si usa con oggetti tondi o sferici), single camera (proietta un’unica foto).
    • enable color correction
  • Impostiamo MAPPING MODE=GENERIC, BLENDING MODE=MOSAIC e scegliamo in base alle nostre esigenze la TEXTURE SIZE.

  • Si esegue quindi il salvataggio della texture nell’apposita cartella, rinominando il file con la dicitura <titolo del file>.psz

kiwi

  • Dopo tutti questi passaggi, nel caso in cui l’immagine presentasse difetti:

    • Cliccare le icone con il cerchio, il quadrato e “libero” per eliminare macchie e varie imperfezioni.
    • Tappare i buchi selezionando TOOLS, poi MESH e infine CLOSE HOLES, impostando 100% per chiudere anche i buchi più larghi.

close holes

Nel prossimo post proveremo ad approfondire alcune impostazioni avanzate.

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – parte II

come scattare

La prima attività di sperimentazione è stata eseguita su una serie di oggetti, che sono stati fotografati tenendo conto delle indicazioni ricevute in precedenza, come l’importanza di eseguire molti scatti, dall’alto e dal basso, per evitare che il programma inserisca tappi o buchi a sostituire le parti mancanti. In questo caso, le foto andrebbero ulteriormente modificate utilizzando altri software.

Scatto eseguito da una angolazione bassa

Scatto eseguito da una angolazione bassa

Sono stati effettuati i seguenti passaggi per realizzare una corretta sessione di scatti:

  • Posizionato l’oggetto in un ambiente con la corretta illuminazione
  • Posizionato l’oggetto su una superficie con punti di riferimento, come la carta di giornale
  • Corretto l’impostazione dei parametri ISO ed esposizione, al fine di evitare rumore e favorire la corretta distinguibilità del soggetto.
  • Evitato eventuali bagliori presenti durante gli scatti
  • Evitato il passaggio delle persone nella scena e il movimento del soggetto e del piano di appoggio
  • In mancanza di una strumentazione automatica, ci si è mossi attorno all’oggetto a piccoli passi, con tre successive sequenze di scatti partendo dal basso sino a fotografare l’oggetto dall’alto
  • Concentrato il fuoco sulla massa del soggetto e non solo su un particolare
  • Scattato foto con posizionamenti diversi per cogliere anche i più piccoli dettagli
  • Revisionato la corretta realizzazione delle foto

 

Foto errata - soggetto principale sfocato

Foto errata – soggetto principale sfocato

Foto corretta - soggetto principale nitido

Foto corretta – soggetto principale nitido

Un numero adeguato di scatti permette di scartare senza problemi quelli errati. Nella sessione di sperimentazione, sono stati realizzati circa 90 scatti per soggetto.
Messa a fuoco non corretta o uno sfondo pieno di particolari possono infatti ostacolare il programma nel processo di ricostruzione fotogrammetrica.

Oggetto centrato e a fuoco contornato da una serie di punti di riferimento

Oggetto centrato e a fuoco contornato da una serie di punti di riferimento

Scatti di sperimentazione - statistiche

Scatti di sperimentazione – statistiche

I ragazzi del Liceo Cagnazzi ci spiegano la fotogrammetria – parte I

Che cos’è la Fotogrammetria? Una tecnica per ricostruire modelli 3D attraverso una serie di foto scattate intorno all’oggetto utilizzando i mezzi più disparati (droni, fotocamere).

Ma facciamo un passo indietro e chiediamoci “sappiamo scattare una buona foto” e quali parametri dobbiamo conoscere ed impostare?

Esposizione fotografica

  • apertura del diaframma, per regolare la quantità della luce che attraversa l’obiettivo.
  • tempo di esposizione,durante il quale l’otturatore della macchina fotografica rimane aperto per permettere alla luce di entrare.
  • ISO, indica la sensibilità del sensore alla luce. Più alto è il valore dell’ISO, più elevata è la sensibilità alla luce e la possibilità che si crei rumore.

Diaframma Chiuso: foto scura, buona messa a fuoco
Diaframma Aperto: foto luminosa, rischio foto sfocata

ISO Basso: foto meno sgranata (consigliati 100/400)
ISO Alto: foto molto sgranata

Tempo di esposizione più lungo: effetti di luce particolari, con aiuto del cavalletto
Tempo di esposizione più basso: usata per foto in movimento

Regole applicate in Fotogrammetria

1.ISO BASSO

2.DIAFRAMMA PIU’ CHIUSO POSSIBILE (per una maggiore messa a fuoco)

3.VELOCITÀ DI SCATTO PREFERIBILMENTE ALTA (adattabile a seconda del contesto)

L’oggetto deve essere ben distinguibile nei suoi colori, perciò è opportuno regolare l’esposizione a seconda della luminosità dell’ambiente e dell’oggetto. Una foto sovraesposta è  molto bianca e luminosa, invece una sottoesposta è buia e nera. Entrambi questi tipi di foto non sono adatti alla fotogrammetria, dato che lo scopo di quest’ultima è acquisire la maggior parte di informazioni dalla foto stessa.

L’apertura del fuoco deve essere stretta in modo da mettere ben a fuoco l’oggetto, ma bisogna tener conto della luce ambientale e ricordare che con il diaframma più chiuso la foto potrebbe risultare mossa, quindi l’ideale sarebbe servirsi di un cavalletto.

Esempio di ISO elevato (800) con rumore ben visibile.

Esempio di ISO elevato (800) con rumore ben visibile.

E’ importante anche evitare superfici lucide e troppo chiare o troppo scure.
Durante la preparazione degli scatti bisogna quindi tener conto della opacità degli oggetti, in quanto i riflessi ne alterano la geometria.
E’ indispensabile lasciare dei punti di riferimento immobili sul fondale in contrasto con l’oggetto e scattare foto da qualsiasi angolazione, evitando di tralasciare parti dell’oggetto, spostandosi con piccoli movimenti attorno ad esso.

image10

Esempio di foto regolata correttamente. Smartphone con ISO 100

Se non vi è possibilità di scattare foto in un ambiente controllato, è preferibile allestire gli scatti all’ombra, con una luce il più possibile diffusa, ricordandosi di scattare velocemente per evitare i cambiamenti di illuminazione, facendo attenzione agli oggetti in movimento e ai bagliori che altererebbero le texture create dal programma.

Foto con impostazioni corrette ma bagliore sul fondale.

Foto con impostazioni corrette ma bagliore sul fondale.

 

Invasione!!!

Dal 7 settembre, e per un mese, 15 meritevoli ed entusiasti ragazzi del Liceo Cagnazzi di Altamura saranno insieme a noi per imparare a modellare in 3D con la tecnica della fotogrammetria e conoscere un po’ più da vicino il rutilante mondo della Virtual Cultural Heritage.
Il progetto “Odisseo 2, museo laboratorio delle scienze” è stato sostenuto dal Fondo Sociale Europeo attraverso la Regione Puglia.

Liceo Cagnazzi Progetto Odisseo

Ce la faranno a sopravvivere o si perderanno nei meandri della computer grafica?

Virtual Theatre Cineca

Vedremo..

Intanto diamo loro un caloroso benvenuto!

Festa grande in laboratorio

IMG_5148

La sala della cultura di Palazzo Pepoli, che ospiterà l’installazione del Sarcofago degli Sposi, è stata ricostruita in fotogrammetria, a partire da PhotoScan ed importata ed elaborata poi in MeshLab e Blender. La ricostruzione servirà per realizzare la matrice della proiezione in 3D architectural mapping.

Continue reading