Un laboratorio de IA que se ejecuta en tu navegador

Josep Castells · · 3 min de lectura

Portada con las cifras del Laboratorio: 93,2 % del Probador, 97,1 % de la Voz y 0,428 de mAP del detector
Imagen: StellifyIT

Demos de machine learning con sus cifras reales, que se ejecutan en tu dispositivo sin enviar nada a ningún servidor.

Cuando una empresa me pregunta si la inteligencia artificial le sirve, la respuesta honesta casi nunca cabe en una presentación. Hace falta verla funcionar con datos de verdad, ver dónde acierta y, sobre todo, dónde falla. Por eso monté el Laboratorio: una colección de modelos que se ejecutan enteros en tu navegador, sin servidor de por medio.

Qué hay dentro

Cada demo es un modelo real con su ficha: con qué datos se entrenó, cuánto acierta y en qué condiciones se midió.

  • [Probador](/laboratorio/probador). Dibujas una prenda o se la enseñas a la cámara y tres arquitecturas distintas (una red densa, una convolucional y un vision transformer) dicen qué ven. La convolucional acierta el 93,2 % de las imágenes del conjunto de prueba de Fashion-MNIST, frente al 87,7 % de la red densa. También enseña el mapa de calor de dónde se fija el modelo y en qué vecindario del espacio latente cae tu dibujo.
  • [Voz](/laboratorio/voz). Un modelo de 73.004 parámetros reconoce diez palabras en inglés, el silencio y «otra palabra». Acierta el 97,1 % en el conjunto de prueba de Speech Commands y el 94,8 % cuando se le añade ruido de fondo. Con él mueves una serpiente con la voz y puedes comprobar qué tal entiende tu acento.
  • [Detección](/laboratorio/deteccion). Ochenta tipos de objeto desde la cámara, con seguimiento entre fotogramas, un contador de paso por línea y un desenfoque de privacidad. Usa D-FINE-N, un detector de unos cuatro millones de parámetros con licencia Apache 2.0. Su mAP en COCO es 0,428; esa cifra es la de la ficha del autor, no la he medido yo, y la página lo dice.
  • [Conducción autónoma](/laboratorio/conduccion-autonoma). Una nube de puntos de lidar con sus cajas 3D, la segmentación y las seis cámaras de PandaSet, con caras y matrículas desenfocadas antes de publicarlas.
  • Ingredientes. Un detector propio entrenado con clases de comida de Open Images. Todavía no está entrenado del todo, así que su página dice «en preparación» y no se indexa.

Por qué en el navegador

Los modelos se descargan una vez desde este dominio y la inferencia corre en tu dispositivo con ONNX Runtime Web: en la tarjeta gráfica si el navegador tiene WebGPU, y si no, en el procesador con WebAssembly. La cámara, el micrófono y las fotos que uses no salen de tu navegador.

Hay tres razones para hacerlo así:

  1. Privacidad sin letra pequeña. Si la imagen nunca sale del dispositivo, no hay nada que custodiar en un servidor.
  2. Coste. El servidor de esta web no tiene tarjeta gráfica. Ejecutar los modelos en tu equipo es lo que permite ofrecer las demos sin cobrar ni limitar el uso.
  3. Honestidad. No son capturas ni vídeos grabados: si un modelo se equivoca con tu dibujo o con tu acento, lo ves en directo.

Nada se descarga al abrir la página. Cada demo te dice cuánto pesa su modelo y espera a que lo pidas: el Probador, unos 6,7 MB; la Voz, menos de 400 KB.

Lo que aprendí montándolo

Medir antes de enseñar. Ninguna cifra de las fichas está escrita a mano: salen de los ficheros de métricas que genera cada entrenamiento, con el conjunto de prueba oficial evaluado una sola vez. Cuando una cifra no la he medido yo, como el mAP del detector, la ficha lo dice.

Las exportaciones también fallan. Las versiones ONNX publicadas de D-FINE daban resultados rotos, así que lo exporté de nuevo desde PyTorch. Antes de publicarlo comparé las versiones reducidas (fp16 e int8) con el original en 46 imágenes: coinciden en prácticamente todas las detecciones.

La licencia decide antes que la precisión. La familia de detectores más conocida tiene licencia AGPL, que obligaría a abrir el código de esta web. Lo cuento con detalle en Datos y modelos que se pueden usar en una web comercial.

Para qué sirve a un negocio

El Laboratorio no es un producto: es el banco de pruebas donde aprendo qué funciona fuera de una diapositiva. La detección con cámara, por ejemplo, es la base de cosas muy concretas en una nave o un almacén: contar, avisar de que algo está donde no debe o anonimizar imágenes antes de guardarlas. Si tienes un caso así, empezamos por un diagnóstico gratuito y vemos si tiene sentido.

Más del blog

¿Lo vemos en tu negocio?

Cuéntame qué proceso te come horas y vemos si la IA lo resuelve, con un diagnóstico gratuito.