Laboratorio

Lidar y fusión de sensores · PandaSet

Conducción 3D

Recorre escenas reales de conducción autónoma: nube de puntos lidar, cajas 3D, segmentación por clase, seis cámaras sincronizadas y un detector comparado con la verdad.

Se ejecuta en tu navegador
Necesita WebGL
—latencia—inferencias/s—modelo—carga—

Ficha del modelo

Datos
PandaSetCC BY 4.0 (+ Dataset Terms) · Hesai & Scale AI
Modelo
Sin modelo: datos anotados de PandaSetCC BY 4.0
Entrenamiento
0 épocas · CPU · 0 minPreprocesado, sin entrenamiento.

  • Escena 1

    80 fotogramas · 32.000 puntos/fotograma · 29.6 MB

    Pedestrian 141 · Car 90 · Pedestrian with Object 51 · Cones 32 · Bicycle 31

  • Escena 2

    80 fotogramas · 32.000 puntos/fotograma · 29.4 MB

    Temporary Construction Barriers 138 · Car 68 · Pedestrian 51 · Pedestrian with Object 31 · Cones 9

Dónde falla

  • Son anotaciones humanas de PandaSet, no predicciones de un modelo: las cajas y la segmentación muestran lo que un sistema debería aprender.
  • Solo se publica el lidar Pandar64 y, para que cargue rápido, un máximo de 32.000 puntos por barrido (el original tiene unos 100.000).
  • Dos secuencias de 8 segundos en San Francisco, de día: no representan lluvia, noche ni otras ciudades.
  • Las caras y matrículas se difuminan a partir de las cajas anotadas; un objeto sin anotar no se difumina (las imágenes publicadas son pequeñas).
  • Cámaras y lidar no disparan a la vez (hasta ~50 ms de desfase): en objetos rápidos la proyección puede desplazarse unos píxeles.
  • Datos de PandaSet (Hesai y Scale AI) bajo CC BY 4.0 y sus Dataset Terms; Hesai y Scale AI no patrocinan ni avalan esta web.

Ficha generada por el pipeline de entrenamiento el 2026-10-18.

Qué estás viendo

PandaSet son escenas de ocho segundos grabadas en California por un coche con un lidar giratorio, un lidar frontal y seis cámaras, publicadas por Hesai y Scale AI con licencia CC BY 4.0. Cada punto de la nube es un rebote láser; las cajas son las anotaciones humanas de coches, peatones, ciclistas y señales.

Fusión de sensores

Las cajas viven en el espacio 3D del coche; las cámaras, en píxeles. Con la calibración de cada cámara (su posición y su lente) cada esquina de una caja se proyecta sobre la imagen. Encima, el detector entrenado con COCO busca objetos en la cámara frontal y la demo compara lo que encuentra con lo que hay de verdad: así se ve qué se le escapa a una cámara que el lidar sí ve.

Peso y privacidad

Una escena original pesa gigas. Para el navegador, los puntos se reducen y se empaquetan en enteros de 16 bits, y las imágenes se recomprimen a baja resolución, con caras y matrículas ilegibles.

¿Tu negocio necesita un modelo como estos, o basta con una regla bien puesta? Lo vemos en el diagnóstico gratuito.

Pedir diagnóstico
Pedir diagnóstico