TMO's main goal is: Monitor

TMO’s main goal is:
                                    Monitor,
Real Scene    3D Model            printer, other
                                     devices

     High Dynamic        TMO   Low Dynamic Range
     Range Image                    Image

        reproducing the Visual Sensation
                  of the Scene.

TMO’s sub-goals:

•   Compress the Dynamic Range
•   Preserve Visibility
•   Preserve Overall Contrast
•   Preserve Saturation
•   Recover Perceived Colors
•   Lightness/Brightness Match

Relationships between goals
                      Compress Dynamic Range

                                                Preserve Overall
Preserve Visibility
                                                    Contrast

  Recover the
                                               Preserve Saturation
Perceived Colors

                        Lightness/Brightness
    Need Trade-off           Matching
    Coherent
    Not correlated

Tone reproduction

•Pro:    Semplice
•Contro: Niente scene in ambienti aperti
         Stesso contesto!

Quali realtime?

Rassegna
•   Ward ’97
•   Jobson ‘97
•   Pattanaik ‘98
•   Reinhard ‘02
•   Durand ‘02
•   Fattal ’02
•   Hitah ’03

Ward ‘97
“A Visibility Matching Tone Reproduction Operator for
               High Dynamic Range Scenes”

•   histogram adjustment technique
•   local adaptation luminances
•   human contrast sensitivity, glare, spatial acuity, and
    color sensitivity

Metodo – hist. Adj.

Metodo – hist. Adj.

Metodo – hist. Adj.

Metodo – hist. Eq. – hist. Adj.

Metodo – hist. Adj. – ceil: JND

Metodo – parti aggiuntive

   • Veiling luminance
   • Color sensitivity
   • Visual acuity

Jobson ‘97
    “A Multiscale Retinex for Color Rendition and Dynamic
                       Range Compression”

•         “Lontanamente” Retinex like
•         Algoritmo locale
•         Basato su center/surround
•         Ampiamente “ritoccato” per avere risultati decenti
•         2 fasi:
      •     MultiScaleRetinex
      •     Color Restoration

Metodo - MSR
          Center/Surround Retinex

          Gaussiana per calcolare
          il surround

          Media pesata del center/
          surround con diversi
          raggi per il surr.

Metodo - MSR

Esempi

Metodo - CR

       Calcolo del rapporto
       dinamico in ingresso

       Ri-espansione della
       dinamica

Esempi

Pattanaik ‘98
    “A Multiscale Model of Adaptation and Spatial Vision
                   for Realistic Image Display”

•        Applicazione SPARTANA di svariati dati ottenuti in
         condizioni controllate e con particolari stimoli
•        Multilivello
•        Low-frequency trattate “a parte”
•        Curve utilizzate:
     –     TVI (Threshold versus Intensity, legge di Weber-Fechner)
     –     CSF (Contrast Sensitivity Function)

Metodo - Schema
 Generazione immagine retinica

 Creazione immagini passa-banda

 Applicazione TVI

 Applicazione CSF

 Creazione immagine per display

Metodo - curve

TVI            CSF

Esempi

Esempi

Esempi

Reinhard ‘02
    “Photographic Tone Reproduction for Digital
                       Images”

•       Ispirato al metodo fotografico di Ansel Adams
        (metodo zonale)
•       Globale
•       Aggiunta di una componente locale per ridare
        “contrasto” (dodging and burning)
•       Parametri:
    –     Key Value
    –     φ - sharpening

Mappaggio zone

Metodo – parte globale

            Stima del key della scena

            Mappaggio della scena rispetto al
            grigio medio di rif. α=0.18
            Rimappaggio della scena che non
            “brucia” le parti più luminose

Effetto del key-value α

Locale: auto burning and dodging

Effetto del valore di φ

Esempi

Esempi

Durand ‘02
    “Fast Bilateral Filtering for the Display of High-
                  Dynamic-Range Images”

•       Reduces the contrast while preserving detail

•       Two-scale decomposition:

    •      base layer, encoding large-scale variations (compresso)

    •      detail layer (non viene toccato)
•       Edge-preserving filter

•       Lavora solo sulla luminosità

•       Metodo segnalistico (non imita il SVU umano, non è un
        metodo di tone mapping secondo la definizione di
        Tumblin)

Metodo – Bilateral filtering

Esempi

Esempi

Esempi

Fattal ‘02
      “Gradient Domain High Dynamic Range
                   Compression”

•   Our method is conceptually simple, computationally
    efficient, robust, and easy to use.

•   We manipulate the gradient field of the luminance
    image by attenuating the magnitudes of large
    gradients.

•   drastic dynamic range compression

•   preserving fine details

•   avoiding artifacts

Metodo – compessione del
              gradiente
Scanline        H(x)=log(Scan)        H’(x)

G(x)=Φ(H’(x))       I(x)         Out=exp(I(x))

Metodo – compressione
            multilivello
• Il livello di compressione di un pixel viene
  determinato in modo “morbido”
  considerando i livelli di compressione
  ottenuti su varie scale di
  sottocampionamento
• Obiettivo: Evitare gli artefatti!

Metodo – colore?

Esempi

Esempi

Hitah ‘03

•   Inspired by HVS
•   Estimates perceived colors
•   Local and global behavior
•   Unsupervised
•   Robust (developed to deal with un-calibrated images)
• High computational cost!

Metodo
Ic    Chromatic/Spatial                Rc        Dynamic Tone              Oc
        Adaptation                             Reproduction Scaling

        Spatial
                        s() function
     relationship

       Estim. local slope               Estim. output gray              User
     using local estimated contrast    using input luminance in cd/   controlled
                                                    m2

Modello

               ∑ s( I (i) − I ( j))d (i, j)
             j∈I , j ≠ i
                           c       c

 Rc (i ) =
                               normi

                                    Rmax
Oc (i ) = round [GreyOut          +       Rc (i )]
                                    127.5

Funzione s()

      +1

       slope
               I(i)-I(j)

      -1

Funzione d()

   l (i, j ) = ( xi − x j ) 2 + ( yi − y j ) 2

                  −αl (i , j )        −α [l (i , j )]2
              e                  +e
d (i, j ) =
                                  2

                    α=0.01

Spatial variant slope
                     1                 1
 slopei , j =                  ⋅
                      1          LocalContrasti
                1−
                   d (i, j )
                                       Ii − I j
                                ∑ d (i, j)
                                j∈I
      LocalContrasti =
                                          1
                                ∑j∈I
                                       d (i, j )

Estimating output mean gray

              255 ⋅ (2 + log10 ( µ LUM ,input ))
  Grayout =
                              9

Color Recovering

“Linear mapping”    Hitah

Preserving Saturation

Brightness/Luminance Match
        (max lum=3.5 cd/m2)

Noise enhancement

Results on synthetic images
          (input in cd/m2)

Results on real HDR images
          (input in cd/m2)

Results on real HDR images
                (input in cd/m2)

[Debevec]

Visual comparison
      Ward      Fattal        Rehinard   Hitah

                Color constancy effect

[Debevec]

Visual comparison
   Ward              Fattal          Rehinard          Hitah

Strong glare    Un-natural    (too   Poor overall   Good trade-off
   effect           detailed)          contrast

Visual comparison
            Ward          Rehinard         Hitah

         Well saturated   Poor overall   Good overall
                            contrast     contrast – less
                                         saturated sky

[Ward]

Visual comparison
 Ward         ACE “basic”

Rehinard        Hitah