{"id":1660,"date":"2014-10-01T10:54:46","date_gmt":"2014-10-01T08:54:46","guid":{"rendered":"https:\/\/inlab.fib.upc.edu\/?p=1660"},"modified":"2014-10-01T10:54:46","modified_gmt":"2014-10-01T08:54:46","slug":"interaccion-3d-con-leap-motion","status":"publish","type":"post","link":"https:\/\/inlab.fib.upc.edu\/es\/uncategorized-ca\/interaccion-3d-con-leap-motion","title":{"rendered":"Interacci\u00f3n 3D con Leap Motion"},"content":{"rendered":"

LeapMotion <\/strong>permite la interacción <\/strong>entre el usuario y el ordenador mediante gestos en el espacio<\/strong>, consiguiendo una nueva experiencia de usuario muy diferente a la habitual con la interacción a través del teclado y ratón. Así pues, LeapMotion permitirá interactuar <\/strong>con gestos en la demostración del proyecto NECADA.<\/strong><\/p>\n

<\/p>\n

En esta entrada os presentamos Leap Motion, el último dispositivo HMI (Human Machine Interface) con el que estamos trabajando en el inLab. LeapMotion permite la interacción entre el usuario y el ordenador mediante gestos en el espacio, consiguiendo una nueva experiencia de usuario muy diferente a la habitual con la interacción a través del teclado y ratón. Así pues, a través del LeapMotion será posible interactuar con gestos en la demostración del proyecto NECADA.<\/p>\n

Hasta ahora la forma más común de interactuar con nuestros ordenadores ha sido el ratón y el teclado, pero poco a poco vemos, con la introducción de smartphones y tablets, como la forma de interactuar está cambiando y buscando nuevas formas de interactuar es donde entra Leap Motion.<\/p>\n

Leap Motion es un sensor de movimiento que nos permite controlar el ordenador mediante gestos que realizamos en el aire. Está formado por una parte hardware y otra de software.<\/p>\n

El hardware de Leap Motion está formado por un pequeño aparato, compuesto por 2 cámaras e infrarrojos.  Este aparato detecta ambas manos, con sus respectivos dedos, junto con el antebrazo del usuario.<\/p>\n

La parte de software recibe los datos del sensor y analiza para obtener la información sobre las manos, dedos, brazos y herramientas (puntero). El software contiene un modelo interno de una mano y lo compara con los datos que recibe para obtener la información lo más precisa posible.<\/p>\n

¿Cómo empezar a usarlo?<\/h2>\n

Para empezar a utilizar Leap Motion simplemente basta con conectar el controlador mediante un usb a nuestro ordenador e instalar un software que podemos encontrar en su página web<\/a>.<\/p>\n

Con dicho software viene  “Airpace” que tiene una serie de aplicaciones preinstaladas con las que poder empezar a probar Leap Motion.<\/p>\n

Leap Motion funciona mediante las aplicaciones que se encuentran en la “Airspace Store”, la cual funciona como una tienda de aplicaciones donde los usuarios pueden encontrar todo tipo de aplicaciones: juegos, musicales… entre las que también se encuentran algunas para poder utilizar el ordenador mediante gestos.<\/p>\n

¿Cómo crear una  aplicación?<\/h2>\n

Si queremos desarrollar nuestros propios proyectos con Leap Motion, podemos realizar en distintos entornos de desarrollo:<\/p>\n

\"\"<\/p>\n

 <\/p>\n

En nuestro caso nos hemos decantado por Unity\/C#.<\/p>\n

Lo primero que deberemos hacer es descargar el sdk de Leap Motion<\/a> y una vez descargado copiar las siguientes librerías a la carpeta raíz de nuestro proyecto:<\/p>\n

En Windows:<\/p>\n

x86\/LeapCSharp.dll
\nx86\/Leap.dll<\/span><\/p>\n

En Mac:<\/p>\n

libLeapCSharp.dylib
\nlibLeap.dylib<\/span><\/p>\n

En la carpeta de Assets copiar: LeapCSharp.NET.3.5.dll.<\/p>\n

Una vez tengamos descargado el sdk y todo puesto donde toca, hemos de tener en cuenta que el software de Leap Motion obtiene la información “Frame by Frame” y es este “Frame” el que contiene toda la información de nuestras manos (posición, orientación, velocidad…).<\/p>\n

En nuestro caso como utilizaremos Unity, utilizaremos la función “Update()” que es llamada automáticamente por Unity a cada frame para obtener el “Frame” de Leap Motion.<\/p>\n

He aquí un pequeño ejemplo de como acceder a la API de Leap Motion sería:<\/p>\n

\r\nusing UnityEngine;\r\nusing System.Collections;\r\nusing Leap;\r\npublic class LeapBehavior : MonoBehaviour {\r\n\r\n    Controller controller;\r\n    void Start ()\r\n    {\r\n        controller = new Controller();\r\n    }\r\n\r\n    void Update ()\r\n    {\r\n        Frame frame = controller.Frame();\r\n        \/\/…\r\n    }\r\n}<\/pre>\n
Las partes más importantes de este código son:<\/p>\n
Using Leap:<\/span> Se encarga de acceder a la API de Leap Motion
\nController:<\/span> Representa el controlador del Leap Motion, que nos da la información, por eso debe ser llamado al principio de todo siempre.
\nFrame frame = controller.Frame()<\/span>: nos da la información del “Frame” actual i a partir de este obtener la información que queremos.<\/p>\n
A partir del frame podemos obtener distinta información como:<\/p>\n
Hands:<\/span> Información de las manos, la identidad (derecha o izquierda), la posición, orientación, velocidad, una lista con los dedos asociados a la mano…
\nArm:<\/span> Información del brazo, tamaño, orientación…
\nFingers:<\/span>  Información de cada dedo de una mano, son identificados por nombre y se puede obtener la dirección y posición. Además podemos obtener información de cada uno de los huesos:
\n    Bone:<\/span> Describe la posición y orientación de cada uno de los huesos de la mano.<\/span><\/p>\n
\r\n\"\"<\/pre>\n
 <\/p>\n
Además podemos detectar distintos gestos (Gesture en Leap Motion API) predefinidos como:<\/p>\n
Circle: Dibujar un circulo en el aire.
\nSwipe: Movimiento lineal con la mano y dedos.
\nKey Tap: Movimiento como si pulsara un botón de un teclado.
\nScreen Tap: Movimiento como si pulsara sobre la pantalla.<\/p>\n
Mostraremos un pequeño ejemplo de cómo utilizar gestos, en nuestro caso el de “Circle”:<\/p>\n
Primero de todo, como hemos indicado antes necesitaremos tener el controlador, y habilitaremos el gesto que queremos utilizar (podemos habilitar más de uno).<\/p>\n
controller.EnableGesture(Gesture.GestureType.TYPE_CIRCLE);<\/span><\/p>\n
Luego podríamos configurar los parámetros de cómo queremos que sea el gesto.<\/p>\n
controller.Config.SetFloat("Gesture.Circle.MinRadius", 10.0f);<\/span><\/p>\n
controller.Config.SetFloat("Gesture.Circle.MinArc", .5f);<\/span><\/p>\n
controller.Config.Save();<\/span><\/p>\n
Más adelante a cada frame obtendremos los gestos que Leap Motion haya detectado.<\/p>\n
GestureList gesturesInFrame = frame.Gestures();<\/span><\/p>\n
Y ejecutaremos el caso que queramos.<\/p>\n
\r\nif (!gesturesInFrame.IsEmpty) {\r\n    foreach (Gesture gesture in gesturesInFrame) {\r\n        switch (gesture.Type) {\r\n            case Gesture.GestureType.TYPECIRCLE:\r\n            \/\/Handle circle gestures\r\n            break;\r\n            case Gesture.GestureType.TYPEKEYTAP:\r\n            \/\/Handle key tap gestures\r\n            break;\r\n            case Gesture.GestureType.TYPESCREENTAP:\r\n            \/\/Handle screen tap gestures\r\n            break;\r\n            case Gesture.GestureType.TYPESWIPE:\r\n            \/\/Handle swipe gestures\r\n            break;\r\n            default:\r\n            \/\/Handle unrecognized gestures\r\n            break;\r\n        }\r\n    }\r\n}<\/pre>\n
Al usar un switch podremos controlar todos los gestos que queramos utilizar, siempre acordándonos de habilitar-lo primero.<\/p>\n
Esto sería lo más básico para empezar a crear nuestra aplicación con Leap Motion y Unity a partir de aquí, se pueden probar distintas demos<\/a> que nos ofrecen ellos y mirar algunas librerías<\/a> de ayuda.<\/p>\n","protected":false},"excerpt":{"rendered":"
LeapMotion permite la interacción entre el usuario y el ordenador mediante gestos en el espacio, consiguiendo una nueva experiencia de usuario muy diferente a la habitual con la interacción a través del teclado y ratón. Así pues, LeapMotion permitirá interactuar con gestos en la demostración del proyecto NECADA.<\/p>\n","protected":false},"author":594,"featured_media":1651,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1],"tags":[],"experteses":[],"class_list":["post-1660","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized-ca"],"acf":[],"_links":{"self":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts\/1660","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/users\/594"}],"replies":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/comments?post=1660"}],"version-history":[{"count":0,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/posts\/1660\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/media\/1651"}],"wp:attachment":[{"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/media?parent=1660"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/categories?post=1660"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/tags?post=1660"},{"taxonomy":"experteses","embeddable":true,"href":"https:\/\/inlab.fib.upc.edu\/es\/wp-json\/wp\/v2\/experteses?post=1660"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}