One, two, three, recording…

Ha llegado el momento cumbre de mi primer proyecto en CMU, The Data Collection. Algunos no sabréis muy bien que es a lo que me estoy dedicando aquí, pues bien, voy a aprovechar esta entrada para explicar un poco lo que ha venido siendo mi trabajo.

Estoy trabajando en un proyecto del Quality of Life Technology Center titulado Grand Challenge Data Collection. Este proyecto que es financiado en parte por la National Science Foundation (este organismo es uno de los culpables de que EE.UU sea puntero en investigación) pretende generar y hacer accesible al público una base de datos multimodal. ¿Qué es esto que tan bien suena? Pues una base de datos multimodal es un conjunto muy grande de datos de diferente naturaleza, por tanto, datos que deben ser adquiridos empleando diferentes sistemas de adquisición. En particular, en nuestra base de datos incorporamos: video, audio, motion capture data, phisiological data, inertial data and RFID data.

Como sistemas de adquisición empleamos hardware comercial y software a medida (implementado por nosotros). Cómo os podéis imaginar, para colectar audio empleamos micrófonos y para colectar video empleamos cámaras.

Para colectar motion capture data empleamos un sistema carísimo como el que emplean los fabricantes de videojuegos. Este caro y complejo sistema consiste en una serie de cámaras ultrarapidas de gran resolución, capaces de capturar 160 imágenes de 16 Millones de pixeles en un segundo (brutal). Además de ser cámaras ópticas, y costar unos $20,000 , disponen de una serie de transceptores (transmisores + receptores) de infrarrojos que miden las reflexiones producidas en una serie de markers que se colocan en el cuerpo u objeto bajo estudio. Procesando correctamente la información recibida por las distintas cámaras se logra realizar un tracking fiel del movimiento.

Para colectar phisiological data empleamos un dispositivo comercial llamado bodymedia. Este dispositivo nos suministra datos como temperatura corporal, conductividad de la piel, aceleración experimentada en dos ejes ortogonales con lo que es capaz de realizar una estima del número de pasos que da el sujeto y otra serie de medidas.

Para capturar inertial data empleamos unos dispositivos llamados IMU (Inertial Measurement Unit). Este dispositivo nos suministra datos de aceleración angular, velocidad angular y magnitud de campo magnético experimentado por el dispositivo en tres ejes ortogonales (X, Y, Z). Versiones simplificadas y customizadas de estos dispositivos son las que emplea Nintendo en los joysticks de su Nintendo Wii y también Apple en sus IPhones.

También conocéis ejemplos de uso de tecnología RFID, por ejemplo esta se usa en los microchip que se insertan a los perros para tener un historial del mismo, también en sistemas de seguridad. Quien haya intentado robar una botella de alcohol en un centro comercial se ha podido encontrar con una paganita con un microchip y una antena impresa que podía delatarlo. Nosotros también usamos este tipo de pegatina para realizar un tracking de las tareas que el individuo realiza.

A todo esto, no os he contado todavía en qué situación colectamos datos. Pues se trata de colectar todo este tipo de datos mientras un individuo (para nosotros SubjectXX) cocina cinco diferentes recetas. Las recetas son de los más variado; una pizza de tomate, queso y peperoni, unos huevos revueltos (scrambled eggs), una ensalada (lettuce, cucumber, cellery, carrot, crutoms and salad dressing), un sándwich con peanut butter and jelly y un brownie. Por supuesto, la cocina es como la que podemos tener en casa, ahora, llena de pegatinas RFID, micrófonos, cámaras y suciedad acumulada.

Pues hace tres semanas comenzamos con The Data Collection, montamos una cocina en el Motion Capture Lab y nos preparamos para colectar datos de 27 personas. Al final este trabajo se convierte en una rutina: Llega al Lab a las nueva menos algo, enciende ordenadores, prepara software y hardware, cuidad que estén todos los alimentos y utensilios que se necesitan para cada receta y, cuando llega el subject, explícale de que va el experimento, qué es lo que tiene que hacer y qué es lo que no, colocale todos los sensores, la mochila y comienza a grabar mientras suplicas que todo marche sin problemas. Al final el hará lo que quiera y tu podrás echar unas risas. Ahora me viene a la cabeza el caso de uno que, conocedor de que el orden de los factores no afecta el producto, echó el peperoni y el queso en la pizza antes que el pizza sauce (el tomate), os podéis imaginar la que armó…

Al final nos hacemos con una inmensa cantidad de datos, unos 12 TB, datos que hay que procesar y esto es lo que nos va a tener ocupados un par de semanas más. Sincronizar modos, eliminar offset, montar videos, actualizar la web. Por cierto, si alguien quiere visitarla, está en proceso de mejora pero la web es www.kitchen.cs.cmu.edu.

Bueno y os preguntareis, todo esto ¿para qué? ¿De aquí va a salir un robot que sepa cocinar? la respuesta es dura, lo siento, NO y NO nunca…¿Entonces? Pues esto sirve para varias cosas: Una, mi advisor justifica una serie de gastos ante sus superiores y publica unos cuantos paper. Dos, hacemos un bien a la humanidad en general y a la comunidad científica en particular. Si, estos datos los ponemos a disposición de todo aquél interesado en trabajar con ellos. Con estos datos se pueden desarrollar algoritmos de machine learning y computer visión, dos ramas importantes de la robótica actual.

Bueno, el balance de The Data Collection positivo, of course. Ya llegó un momento en el que comíamos sin tener hambre, teníamos un sujeto por la mañana y otro por la tarde. Es decir, dos pizzas, dos huevos revueltos, dos ensaladas, dos sándwich y dos brownies todos los días, durante tres semanas, pues uno lo acaba aborreciendo….

Ahora voy a comenzar otro proyecto colaborando con el Department of Psychology at University of Pittsburgh, no se aún muy bien qué es lo que haré pero sounds good, ya os contaré.

Best regards.
Jesus Mora