Images et convolutions

class: center, middle

# Qu'est ce qu'une image, qu'est ce qu'une convolution?

Paul Gay

???

Plan
- applications, motivations, ce que vous verrez cette année
- Definition d'une image, binaire, rgb show the baboon, medecine, etc 
- grandeur mesurée: domaine, capteur
- Un contour dans une image, quelque zooms
- Parler des artifacts
- operations de base, rotation, resize
- filtres detection de contours, lissage
- Il y a des manières plus propres de faire, ça, mais bon pour nous ça ira.
- Generalisation notions de convolutions
- Generalisation, detection d'objets
- non convolution: le cas de la médiane

---

# Domaines d'applications
pourquoi nous voudrions travailler avec des images

.center[<img src="images/cours_ti1/domaines.png" style="width: 600px;" />
 
		 ]
Et beaucoup d'autres...

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities1.png" style="width: 500px;" />
 
]

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities2.png" style="width: 500px;" />
 
]

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities3.png" style="width: 500px;" />
 
]

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities4.png" style="width: 500px;" />
 
]

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities5.png" style="width: 500px;" />
 
]

---

# Différents types d'images

.center[<img src="images/cours_ti1/modalities.png" style="width: 500px;" />
 
]

Et beaucoup d'autres...

---

## Differents traitements

.center[<img src="images/cours_ti1/processings.png" style="width: 600px;" />
 ]
	
Et beaucoup d'autres...
---

## Differents traitements

.center[<img src="images/cours_ti1/processings_us.png" style="width: 600px;" />
 ]
	
En 2019, le deep learning est surtout utilisé pour la ségmentation/détection
---

## Definition d'une image

#### C'est juste un tableau de chiffres.

.center[<img src="images/cours_ti1/image_definition_1.png" style="width: 700px;" />
 ]
	
---
## Definition d'une image

#### C'est juste un tableau de chiffres.

.center[<img src="images/cours_ti1/image_definition_2.png" style="width: 700px;" />
 ]
	
---
## Definition d'une image

#### C'est juste un tableau de chiffres.

.center[<img src="images/cours_ti1/image_definition_all.png" style="width: 700px;" />
 ]

Lire et afficher une image en python
```
1 $ im = imageio.imread("lena_gray.jpeg") # Load the image
2 $ lena_gray = np.array(im) # convert to a numpy array 
3 $ eye_lena = lena_gray[111:126,106:130,0] # crop the eye part
4 $ print(eye_lena.shape)                                                                                                                                                                                     
Out[25]: (15, 24)
5 $ print(eye_lena[5,17])
Out[26]: 14
```

---

## Une image RGB? Une pile de 3 images

.center[<img src="images/cours_ti1/rgb.png" style="width: 600px;" />
 ]

Source: Alice POREBSKI EIL
---

## Une image RGB? Une pile de 3 images

.center[<img src="images/cours_ti1/baboon_rgb1.png" style="width: 600px;" />
 ]

Quelle image correspond à quel canal?
---

## Une image RGB? Une pile de 3 images

.center[<img src="images/cours_ti1/baboon_rgb.png" style="width: 600px;" />
 ]

---

## Résolution spatiale, résolution tonale

.center[<img src="images/cours_ti1/quantification_echantillonnage.png" style="width: 600px;" />
 ]

Source: Antoine MANZANERA Cours TERI – Master IAD UPMC Paris 6
---

## Opérations de bases: translation, rotation

.center[<img src="images/cours_ti1/transformation1.png" style="width: 600px;" />
 ]

Quel est le résultat de ce code?
```
shifted = np.zeros((img.shape[0], img.shape[1]))
for i in range(img.shape[0]):
    for j in range(img.shape[1]):
        if i>=50:
            shifted[i,j] = img[i-50,j]
```

---

## Opérations de bases: translation, rotation

.center[<img src="images/cours_ti1/transformation2.png" style="width: 600px;" />
 ]

## Opérations de bases: translation, rotation

.center[<img src="images/cours_ti1/transformation.png" style="width: 600px;" />
 ]

Comment obtenir une rotation?

---

## Opérations de bases: translation, rotation

.center[<img src="images/cours_ti1/transformation.png" style="width: 600px;" />
 ]

```
rotated = np.zeros((img.shape[0], img.shape[1]))
R = np.array(((np.cos(np.pi/3), -np.sin(np.pi/3)),
 (np.sin(np.pi/3), np.cos(np.pi/3))))
c = np.array(img.shape)//2
for i in range(img.shape[0]):
 for j in range(img.shape[1]):
 ii, jj = R.dot(np.array((i,j)) - c).astype('int') + c
 if 0 <= ii < img.shape[0] and 0 <= jj < img.shape[1]:
 rotated[ii,jj] = img[i,j]
```
---
## Transformation affines
La position du pixel $\begin{pmatrix}x & y \end{pmatrix}^T$ peut être modifiée par:
$$\begin{pmatrix}x' \\ y' \end{pmatrix} = A \begin{pmatrix}x & y \end{pmatrix}^T + B,$$
où $A\in \Re^{2,2}$ et $B\in\Re^{2,1}$
.left-column[
- Translation
- Rotation
- Aggrandissement/réduction (shearing)
]
.right-column[
.center[<img src="images/cours_ti1/affine.png" style="width: 300px;" />
 ]
]

Nous verrons au prochain cours que cela n'inclue pas les effets de perspective.

Plus d'infos sur les transformations géometriques: 
<a href="https://homepages.inf.ed.ac.uk/rbf/HIPR2/affine.htm">https://homepages.inf.ed.ac.uk/rbf/HIPR2/affine.htm </a>
---

## Comment le sens se traduit en pixel?

Il est très compliqué de passer d'un tas de nombres associés à des pixels jusqu'à la détection d'un objet.

.left-column[
L'apparence d'un objet peut varier par:
- Translation
- Rotation
- Point de vue
- Changement dans l'illumination 
- variation intra-classe
]
.right-column[
.center[<img src="images/cours_ti1/computervision_challenge_chihuahua.png" style="width: 300px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" /> 
 ]
]

---
## Detection de contours

.center[<img src="images/cours_ti1/square.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" /> 
 ]

Commençons donc: supposons que nous souhaitons détecter les contours sur cette image.
---
## Detection de contours

.center[<img src="images/cours_ti1/square_num.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" /> 
 ]

En particulier sur cette ligne
---
## Detection de contours

.center[<img src="images/cours_ti1/square_num_ar.png" style="width: 400px;" /> <img src="images/cours_ti1/contour.png" style="width: 200px;" /> 
 ]

Les contours apparaissent aux changements brusques de valeur des pixels.
---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_1_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

Appliquons un filtre k sur une des lignes avec:
$$k = \begin{pmatrix}-1 & 0 & 1\end{pmatrix}$$
---

## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_2_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

Appliquons un filtre k sur une des lignes avec:
$$k = \begin{pmatrix}-1 & 0 & 1\end{pmatrix}$$

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_3_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

Appliquons un filtre k sur une des lignes avec:
$$k = \begin{pmatrix}-1 & 0 & 1\end{pmatrix}$$

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_4_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_5_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_6_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_7_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_8_.png" style="width: 400px;" /> <img src="images/cours_ti1/empty.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_8_.png" style="width: 400px;" /> <img src="images/cours_ti1/contours2.png" style="width: 200px;" />
 ]

---
## Détection de contours

.center[<img src="images/cours_ti1/imconv1D_8_.png" style="width: 400px;" /> <img src="images/cours_ti1/contours_thresh.png" style="width: 200px;" />
 ]

Convolution 1D discrète entre un signal $f$ et un filtre $k$ de taille d :

$$(f \star k) (i) = \sum\_{n=-\frac{d-1}{2}}^{\frac{d-1}{2}} f(i-n).k(n)$$

---

## Application sur une image réelle

.center[<img src="images/cours_ti1/lena_canny.png" style="width: 600px;" />
 ]

---

## Application sur une image réelle

.center[<img src="images/cours_ti1/lena_canny.png" style="width: 600px;" />
 ]

Notez que les contours ne correspondent pas exactement aux frontières des objets.
---