1. Fragestellung

In der Darstellung bestehen Bilder aus Pixel und der Farbe des Pixels. Die JPEG Norm (siehe z. B. (Hudson et al. 2017)) beschreibt z. B. ein Verfahren der Bildkompression.

Die Wahrnehmung von Farben unterscheidet sich aber, siehe z. B. (Paramei and Oakley 2014). In dieser kurzen Fallstudie soll untersucht werden, ob und wie die Anzahl der Farben durch eine einfache Clusteranalyse reduziert werden kann und wie das resultierenden Bild aussieht.

Eine andere Herangehensweise der Komplexitätsreduktion ist die Hauptkomponentenanalyse (siehe z. B. (Mudrova and Procházka 2005)). Auch dies wird vorgestellt.

2. Bilder und Pixel in R

Die Verschiedenfarbige Schwertlilie, lat.: iris versicolor, ist vermutlich eine der drei berühmtesten Blumen in der Statistik und Data-Science. An ihnen wurde im Jahre 1936 von Sir Ronald Aylmer Fisher die Grundlage der Linearen Diskriminanzanalyse als Beispiel eingeführt (Fisher 1936). Hier ein Foto von Armin Hauke:

# Ggfs. Paket jpeg installieren
# install.packages("jpeg")
library(jpeg)
# Ggfs. Paket scales installieren
# install.packages("scales")
library(scales)
# Ggfs. Paket mosaic installieren
# install.packages("mosaic")
library(mosaic)

img <- readJPEG("irisversi.jpg")

dimension <- dim(img)
dimension

## [1]  768 1024    3

img_rgb <- data.frame(
  x = rep(1:dimension[2], each = dimension[1]), # Bildspalte
  y = rep(dimension[1]:1, dimension[2]), # Bildzeile
  R = as.vector(img[,,1]), # Rotanteil
  G = as.vector(img[,,2]), # Gelbanteil
  B = as.vector(img[,,3]) # Blauanteil
)

# Kontrolle
str(img_rgb)

## 'data.frame':    786432 obs. of  5 variables:
##  $ x: int  1 1 1 1 1 1 1 1 1 1 ...
##  $ y: int  768 767 766 765 764 763 762 761 760 759 ...
##  $ R: num  0.0824 0.0784 0.0706 0.0667 0.0627 ...
##  $ G: num  0.176 0.173 0.165 0.165 0.161 ...
##  $ B: num  0.0745 0.0706 0.0627 0.051 0.0471 ...

n_color <- img_rgb %>%
  select(R,G,B) %>%
  unique() %>%
  nrow()

n_color

## [1] 191005

3. Clusteranalyse

k-Means Clusterung der Pixel auf Basis der Farben auf \(k=16\) Farbcluster:

set.seed(1896)
k_means <- kmeans(img_rgb[,c("R","G","B")], centers = 16, 
                  iter.max = 25, nstart = 10)

Farbdarstellung der resultierenden 16 Farben:

k_means$centers %>%
  rgb() %>%
  show_col()

Häufigkeitsverteilung der Clusterzentren (Farben):

gf_col(k_means$size ~ 1:16, fill = rgb(k_means$centers))

Es werden überwiegend Grün- und Lilatöne verwendet.

Erzeugung des Bildes, in dem jedem Pixel die Farbe des zugeordneten Zentrums zugewiesen wird:

# Datensatz
reduced.df <- k_means$centers[k_means$cluster,]
# Array
img_new <- array(NA, dimension)
for(i in 1:3) img_new[,,i] <- matrix(reduced.df[,i], nrow=dimension[1]) 
# Speichern
writeJPEG(img_new, "irisversi_reduced_cluster.jpg")

Das Bild, welches anstatt 191005 nur die 16 auf RGB Ebene gelusterten Farben hat sieht wie folgt aus:

Hinweis: Bei 8 Farben würde man weniger Details erkennen:

4. Hauptkomponentenanalyse

Durchführen der Hauptkomponentenanalyse der Farbtöne der Pixel:

pca <-prcomp(img_rgb[,c("R","G","B")])
summary(pca)

## Importance of components:
##                           PC1    PC2     PC3
## Standard deviation     0.4026 0.1595 0.03776
## Proportion of Variance 0.8578 0.1347 0.00754
## Cumulative Proportion  0.8578 0.9925 1.00000

Die erste Hauptkomponente der Farbtöne enthält 0.85779 der Gesamtvarianz.

Berechnung des Scores jedes Pixels auf der ersten Hauptkomponente:

scores <- predict(pca)[,1]

Skalierung auf \([0,1]\) durch \(x_i=\frac{x_i-\min(x)}{\max(x)-\min(x)}\) als Graustufe:

scores <- (scores-min(scores)) / (max(scores)-min(scores))

# Array
img_new <- array(NA, c(dimension[1:2],1))
img_new[,,1] <- scores
# Speichern
writeJPEG(img_new, "irisversi_reduced_pca1.jpg")

Das Bild, welches anstatt 191005 Farben nur die Graustufe der ersten Hauptkomponente enthält sieht wie folgt aus:

Das Originalbild ist auch in nur einem Farbton (Graustufen) sehr gut zu erkennen.

Für die weiteren Hauptkomponenten ergibt sich:

# 2. Hauptkomponente
scores <- predict(pca)[,2]
scores <- (scores-min(scores)) / (max(scores)-min(scores))
# Array
img_new <- array(NA, c(dimension[1:2],1))
img_new[,,1] <- scores
# Speichern
writeJPEG(img_new, "irisversi_reduced_pca2.jpg")

# 3. Hauptkomponente
scores <- predict(pca)[,3]
scores <- (scores-min(scores)) / (max(scores)-min(scores))
# Array
img_new <- array(NA, c(dimension[1:2],1))
img_new[,,1] <- scores
# Speichern
writeJPEG(img_new, "irisversi_reduced_pca3.jpg")

Als Bild:

Der Kontrast der Bilder sinkt mit den jeweiligen Hauptkomponenten.

5. Ergebnisse und Ausblick

Die Komplexitätsreduktion des Bildes (Original; Oben) durch Clusteranalyse auf 16 Farben (Mitte) oder auf die erste Hauptkomponente als Graustufe (Unten) ergibt insgesamt:

Auch wenn hier naive, statistische Verfahren angewendet wurden, ohne die Besonderheiten von Bildern zu berücksichtigen (siehe z. B. (Sonka, Hlavac, and Boyle 2014)), so zeigt das Ergebnis doch, wie klassische Verfahren für Bilder angewendet werden können und das trotz Komplexitätsreduktion die relevante Information erhalten bleiben kann.

Auf Bildebene sind die genannten Verfahren in der Praxis häufig Vorverarbeitungsschritte um z. B. Bilder zu vergleichen oder wiederzuerkennen.

Anhang: Versionshinweise

• Datum erstellt: 2019-06-13
• R Version: 3.6.0

Verwendete Pakte:

• jpeg Version: 0.1.8
• scales Version: 1.0.0
• mosaic Version: 1.5.0