Classificació d'objectes (I)

Què és la classificació d'imatges?

La classificació d'imatges és la capacitat d'un algorisme per assignar una o més etiquetes a una imatge. Per exemple, donada una foto, el model pot dir: "això és un gat", "això és una cadira", "això és un cotxe".

MobileNet és un model pre-entrenat que pot reconèixer més de 1.000 categories d'objectes diferents: animals, vehicles, mobles, instruments musicals, aliments...

MobileNet amb ml5.js

El patró per utilitzar MobileNet amb ml5.js és el que vam veure al Tema 21. Aquí el repassem amb més detall:

let classifier;
let img;

function preload() {
  img = loadImage('gat.jpg');
}

function setup() {
  createCanvas(400, 300);
  classifier = ml5.imageClassifier('MobileNet', modelReady);
}

function modelReady() {
  classifier.classify(img, gotResults);
}

function gotResults(error, results) {
  if (error) { console.error(error); return; }
  // results és un array d'objectes {label, confidence}
  println(results[0].label);        // 'tabby cat'
  println(results[0].confidence);   // 0.95
}

results és un array ordenat per confiança decreixent. results[0] és la millor predicció, results[1] la segona millor, etc.

Classificació simulada: formes i etiquetes

Simulem el comportament de MobileNet: segons la forma que "veu" (controlada pel ratolí), el sistema assigna una etiqueta i un color diferent.

let zona = floor(map(mouseX, 0, width, 0, 5));
let etiquetes = ['Gat', 'Gos', 'Ocell', 'Cotxe', 'Cadira'];
let confiances = [0.95, 0.87, 0.72, 0.68, 0.55];

fill(colors[zona]);
ellipse(width/2, 120, 120, 120);
text('Predicció: ' + etiquetes[zona], 20, 30);
text('Confiança: ' + (confiances[zona]*100) + '%', 20, 55);

Art generatiu basat en classificació

La classificació d'objectes pot ser el motor d'una obra generativa: cada objecte detectat genera un tipus diferent de formes, colors o partícules.

if (zona === 0) { // Gat: partícules que pugen
  particules.push({ x: random(width), y: random(height),
    vy: random(-2, -0.5), col: color(255, 200, 100) });
} else if (zona === 1) { // Gos: partícules que es dispersen
  particules.push({ x: random(width), y: random(height),
    vx: random(-2, 2), vy: random(-1, 1), col: color(100, 200, 255) });
} // ...

Exemples creatius pas a pas

for (let i = 0; i < 5; i++) {
  let c = confiances[i];
  fill(lerpColor(color(255, 0, 0), color(0, 255, 0), c));
  rect(100, y, c * 200, 25);
  text(etiquetes[i], 10, y + 18);
  text(nf(c * 100, 1, 0) + '%', 310, y + 18);
}

let zona = floor(map(mouseX, 0, width, 0, 6));
let objectes = ['Fons buit', 'Persona', 'Gat', 'Gos', 'Planta', 'Tassa'];
stroke(colorsMarc[zona]); strokeWeight(3); noFill();
rect(40, 40, 240, 120);
text(objectes[zona], 60, 80);

Consells per treballar amb MobileNet

• Categories: MobileNet reconeix 1.000 categories de ImageNet. Consulta la llista completa per saber què pot detectar.
• Mida de la imatge: el model espera imatges de 224x224 píxels. ml5.js redimensiona automàticament.
• Confiança: no et quedis només amb la primera predicció. Explora les 5 primeres per veure si hi ha ambigüitat.
• Vídeo en temps real: pots classificar cada pocs frames per no sobrecarregar el processador.
• Combina amb creativitat: utilitza l'etiqueta detectada com a paràmetre per a colors, formes, sons o comportaments.