AGARRE BIMANUAL DE OBJETOS ASISTIDO PORVISION

J.A. Castro-Vargas1, B.S. Zapata-Impata1,2, P. Gil1,2, J. Pomares31Instituto Universitario de Investigacion Informatica, Universidad de Alicante, 03690, Alicante

2Grupo AUROVA. Dep. Fısica, Ingenierıa de Sistemas y Teorıa de la Senal, Universidad de Alicante, 03690, Alicante3Grupo HURO. Dep. Fısica, Ingenierıa de Sistemas y Teorıa de la Senal, Universidad de Alicante, 03690, Alicante

{jacastro,brayan.impata,pablo.gil, jpomares}@ua.es

Resumen

Las tareas de manipulacion de objetos, en oca-siones, requieren hacer uso de dos o mas robots co-operando. En la industria 4.0 cada vez es mas de-mandada la robotica asistencial por ejemplo parallevar a cabo tareas como levantar, arrastrar oempujar un bulto/paquete de elevado peso y/o deciertas dimensiones. Por lo que cada vez es masfrecuente encontrar robots con forma humana des-tinados a ayudar al operario humano en activi-dades en las que se dan este tipo de movimien-tos. En este artıculo se presenta una plataformarobotica asistida por vision para llevar a cabo tare-as de agarre y manipulacion bimanual de objetos.La plataforma robotica consta de un torso metalicocon articulacion rotacional en la cadera y de dosmanipuladores industriales, de 7 grados de liber-tad, que actuan como brazos y que a su vez mon-tan en sus extremos sendas manos roboticas mul-tidedo. Cada una de las extremidades superioresesta dotada de percepcion visual, ya que hacen usode 2 sensores RGBD ubicados en configuracioneye-to-hand. La plataforma ha sido empleada ytesteada con exito para llevar a cabo agarres bi-manuales de objetos en aras de poder desarrollartareas de manipulacion cooperativa de manera co-ordinada entre ambas extremidades.

Palabras clave: Deteccion de puntos de agarre,agarre bimanual, agarre cooperativo, RGBD,nubes de puntos, manipulacion robotica.

1 INTRODUCCION

La industria 4.0 demanda la realizacion de activi-dades productivas cada vez mas complejas que re-quieren, en ocasiones, la realizacion de tareas demanera colaborativa entre robots y operadores hu-manos [2]. Ademas, en ocasiones el robot quecolabora con el humano tiene que haber sidodisenado para llevar a cabo tareas con un altogrado de adaptabilidad. Este tipo de robots per-mite al humano una mejora de las condicioneslaborales, evitando al operador humano posturasno ergonomicas cuando levanta objetos de ciertovolumen, aunque tenga un peso contenido, o re-

duciendo lesiones cuando se trata de mover obje-tos pesados y que requieren cierto esfuerzo fısico.

En el ambito cientıfico e industrial se trabaja apor-tando soluciones basadas en sistemas multirobotindividuales, o en dos o mas sistemas multirobotcapaces de funcionar de manera individual, perotambien de hacerlo de manera conjunta para de-sarrollar una tarea de modo cooperativo, dondetienen cabida los manipuladores industriales bi-manuales [13]. En el pasado, la robotica industrialya resolvio el problema de mover objetos pesadosy voluminosos, construyendo grandes robots in-dustriales, capaces de manipular un objeto perodonde la colaboracion junto al humano se hacıaimposible por peligrosidad y espacio de trabajorequerido por el robot.

En los ultimos anos se estan introduciendo en losentornos de trabajo robots colaborativos muchomas pequenos y en una gran mayorıa de casos conapariencia similar al humano pero dotados de ununico brazo robotico como por ejemplo TIAGo dePAL robotics [9] y SAWYER de Rethink robotics[8] o dotados con dos brazos roboticos como TA-LOS [14] y BAXTER [10] de los dos mismos fa-bricantes. Estos ultimos al estar dotados de dosextremidades permiten llevar a cabo tareas coope-rativas entre ambos brazos. No obstante, el disenoy materiales de construccion limitan la aplicabili-dad cuando el objeto no es ligero o de pequenasdimensiones. En estos casos, hay soluciones masindustriales como el robot YUMI-IRB 14000 deABB (hasta 500gr) o el robot LBR-iiwa de KUKA(hasta 14kg en el modelo R820) como es discutidoen [6].

La manipulacion bimanual es una tarea queabarca diferentes etapas, como son la planificaciondel agarre, el control del robot y la percepcion delagarre, entre otros. El trabajo aquı presentado secentra principalmente en la primera etapa, y masconcretamente en estimar puntos de contacto paragarantizar un agarre inicial bimanual estable [7],que permita levantar un objeto sin llevar a cabouna adaptacion del agarre durante la manipula-cion dextrogira de un objeto.

En la industria 4.0, los robots aun se enfrentan

Actas de las XXXIX Jornadas de Automática, Badajoz, 5-7 de Septiembre de 2018

1030

con dificultades cuando se trata de agarrar obje-tos con formas, tamanos y materiales distintos.Para conseguir robots autonomos capaces de re-alizar agarres en estos entornos cambiantes, sehace imprescindible el uso de informacion extraıdade sensores integrados en el robot [1] siendo fre-cuente los sensores de fuerza [12], tactiles [5], sis-temas de vision [3], ası como una combinacion dealgunos o de todos ellos. En esta lınea, nuestrotrabajo presenta una aproximacion para llevar acabo un agarre inicial bimanual que esta basada,unicamente, en datos procedentes de un sistemade vision.

El presente trabajo se estructura de la siguientemanera. En la siguiente seccion se contextualizala tecnica aplicada. La seccion 3 describe la ar-quitectura robotica del sistema empleada en la ex-perimentacion, que incluye tanto los robots comoel sistema de percepcion visual. En la seccion4, se describe el metodo de deteccion de puntosde agarre para tareas de agarre bimanual. En laseccion 5 se presenta la planificacion del agarrebimanual y posteriormente, los experimentos lle-vados a cabo para mostrar el funcionamiento delsistema. Finalmente en la seccion 6 se muestranlas conclusiones.

2 TRABAJOS RELACIONADOS

En el estado del arte es posible encontrar tres tiposde aproximaciones basadas en vision para calcularpuntos de agarre sobre un objeto.

1. Reconstruccion de objetos: Algunos au-tores han propuesto bases de datos con aga-rres precalculados sobre figuras geometricasbasicas [16]. Durante un agarre real en elsistema robotico, el robot descompone unaimagen RGBD para obtener reconstruccionesde formas geometricas como cilindros o cu-bos. Entonces, estas partes del objeto realse utilizan para buscar correspondencias conlas geometrıas basicas. Una vez se encuen-tra una semejanza, se utilizan las estrategiaspredefinidas sobre como agarrar dicha formageometrica.

2. Aprendizaje automatico: La estimacionde puntos de agarre se transforman en unproblema de clasificacion. Ası, en [4] se in-troduce la idea de lo que se denomina elrectangulo de agarre: un rectangulo con unaorientacion en el espacio de una imagen 2D,donde dos de sus lados representan las pin-zas roboticas y los otros dos representan laapertura de dicha pinza. Con ello, la tarease transforma en clasificar estos rectangulossegun la calidad del agarre que resultarıa de

ubicar la pinza robotica en la posicion delrectangulo sobre el objeto.

3. Analisis de nubes de puntos: Se em-plean nubes de puntos 3D obtenidas, ha-bitualmente, a partir de sensores RGBD otiempo de vuelo (ToF: Time of Flight) porqueestas tienen la ventaja de contener mucha masinformacion sobre el volumen, la superficie yla localizacion de los objetos que la simplecomposicion RGBD o de imagenes 2D. En [11]se lleva a cabo uno de los primeros trabajosdonde se propone calcular los puntos de con-tacto usando este tipo de datos. Sus autoresproponen buscar primero la superficie planamas alta del objeto y entonces calculan elpunto mas cercano al centroide en el borde delobjeto. El segundo punto de agarre lo definenen el lado opuesto. Recientemente, en [15] seproponen buscar configuraciones antipodalesde la pinza robotica sobre el la nube de pun-tos 3D del objeto. De esta manera, consiguenpuntos de contacto donde la pinza puede re-alizar agarres estables. Estas configuracionesson luego clasificadas por una red convolu-cional (CNN) que es la encargada de predecirlas posibilidades de exito en el agarre. Hayque hacer notar que en todos estos trabajos,la experimentacion nunca es bimanual.

En nuestro trabajo se sigue la tercera metodologıapresentada y es aplicada a agarre bimanual.Nosotros utilizamos dos sensores visuales con losque registramos dos nubes de puntos 3D, cada unode ellos facilita una vista parcial de los objetospresentes en el area de trabajo. Ademas, convienemencionar que nuestro metodo trabaja con obje-tos desconocidos. Esto es, el sistema no ha sidoentrenado para agarrar objetos a partir de objetosconocidos, ni se utilizan modelos 3D de los objetosa agarrar para realizar los calculos de los puntosde agarre.

3 ARQUITECTURA DELSISTEMA

En el desarrollo de este trabajo han sido utiliza-dos 2 robots manipuladores PA10 de siete gra-dos de libertad (Tabla 1), montados ambos sobreun estructura solida articulada que hace de torso(Tabla 2). La estructura del torso dispone de ungrado de libertad para dotar al sistema robotico demovimientos rotacionales de cadera. Cada brazomonta en su extremo una mano Allegro, zurda ydiestra respectivamente, para realizar los agarres.Ambas manos estan dotadas de cuatro dedos ar-ticulados con cuatro grados de libertad cada una.En este trabajo, solo se emplean tres de los dedos

1031

para garantizar un agarre estable y a la vez evitarla complejidad de planificar los algoritmos de ma-nipulacion con 4 dedos. En particular, se empleael pulgar, el indice y el corazon, prescindiendo delanular. La Figura 1 muestra el sistema roboticobimanual formado por los 2 PA-10, las 2 manosAllegro y el torso articulado.

Tabla 1: Denavit-Hartenberg de cada PA10.

Articulacion ai di αi θiGS1/WS1 0 315/317 −π/2 θ1GS2/WS2 0 0 π/2 θ2GS3/WS3 0 450/450 −π/2 θ3GE1/WE1 0 0 π/2 θ4GE2/WE2 0 500/480 −π/2 θ5

GW1/WW1 0 0 π/2 θ6GW2/WW2 0 80/70 −π/2 θ7

Tabla 2: Denavit-Hartenberg del torso.

ai di αi θiTronco (T) 0 d1 −π/2 θ1PA10 Izquierdo a2 d2 −π/3 −π/2PA10 Derecho a3 d3 π/3 π/2

Figura 1: Robot bimanual

Ademas, en cada lateral del sistema robotico sedispone de una camara RGBD con configuracioneye-to-hand para recibir informacion de la es-cena. Concretamente, se han utilizado dos Intelrealsense SR300 con un rango trabajo de 0.2 a1.5 metros, disenadas para trabajar en interiores.Las camaras son usadas para detectar las nubesde puntos de objetos en la escena primero y pos-teriormente estimar los puntos de agarre sobre lasnubes de puntos de cada uno de los objetos.

3.1 SISTEMA ROBOTICO BIMANUAL

Para el control del sistema robotico, anterior-mente comentado, se utiliza la plataforma soft-ware ROS (Robot Operating System) y en parti-

cular, el paquete integrado MoveIt. ROS ha fa-cilitado la integracion del algoritmo propuesto enuna misma unidad de control permitiendo tantola comunicacion con los dos brazos como conlas dos manos roboticas, gestionando el conjuntobrazo y mano robotica como una unica cadenacinematica cuando se requiere, y funcionando cadaconjunto como una extremidad de tren superiortratando de emular el comportamiento humano.Ademas, ROS habilita a nuestro algoritmo paraplanificar trayectorias ambas extremidades supe-riores en base a la informacion visual propor-cionada por las dos camaras RGBD.

A partir de la informacion de cada una de lascamaras RGBD, se obtiene puntos de agarre sobreel objeto para cada una de las manos roboticas.Y a partir de las posiciones poc=(xoc,yoc,zoc)de cada uno de los puntos de agarre estimados,con respecto a las camaras RGBD, se determinala posicion y orientacion que deben alcanzar losdedos de la mano mediante el producto del vec-tor de las posiciones por la matriz de transfor-macion de coordenadas de camara a robot Tc

r.Despues, haciendo uso de Moveit se planificany evaluan trayectorias para alcanzar cada puntopor=(xor,yory,zor) logrando la pose correcta dela mano para ejecutar con exito el agarre.

Sin embargo, la planificacion del movimiento cam-bia cuando los dedos de ambas manos roboticashan alcanzado los puntos por, y han sido ade-cuadamente orientadas hasta agarrar el objetocorrectamente. En esta situacion, si se quiereejecutar un movimiento y aplicarlo al objeto, talcomo cambiar la orientacion de este o desplazarlohacia otra posicion es necesario que ambos bra-zos trabajen en sintonıa, como una unica cadenacinematica para todo el conjunto articular. Paraconseguirlo se ha definido el objeto agarrado porlos brazos como un eslabon adicional de la cadenacinematica, de modo que al cambiar la posicion es-pacial u orientacion del objeto los brazos respon-dan trabajando conjuntamente como un unicorobot.

3.2 SISTEMA DE PERCEPCIONVISUAL

El sistema de percepcion visual, en la actualidad,consta de dos camaras RGBD situados en los late-rales del robot con una configuracion eye-to-handy con un campo visual orientado hacia el area detrabajo de los robots. En el area de trabajo sedispone de una mesa, de altura regulable, sobrela que situan los objetos susceptibles de ser ma-nipulados. El empleo de dos camaras viene mo-tivado por conseguir un punto de vista lo masadecuado posible para observacion de la escena

1032

y obtener trayectorias adecuadas para cada extre-midad robotica. Ası, cada punto de vista comple-menta posibles perdidas de informacion debido aoclusiones entre los objetos y proporciona infor-macion de las caracterısticas de los objetos pararealizar una agarre efectivo por cada mano. Nues-tro algoritmo se ejecuta de manera independientepara cada una de las nubes de puntos adquiridaspor cada una de las camaras. De modo que sedispone de dos flujos visuales paralelos de proce-samiento. El resultado del procesamiento de am-bos flujos es la obtencion de dos conjuntos de pun-tos de agarre poc y p′

oc, uno para cada camara.No obstante, debido a las interferencias que el in-frarrojo de una camara causa sobre la otra se re-quiere que durante la captura de nubes de pun-tos se conmute entre ambas camaras el encendidoy apagado de los emisores de luz infrarroja. Demodo que el tiempo de adquisicion no es igual enambas camaras, hay un pequeno desfase, entre elframe I de una camara y el mismo frame I′ en laotra camara.

A continuacion en la Seccion 4 se expone lametodologıa para estimar los agarres a partir delas nubes de puntos generadas a partir de losframes de cada camara y ası, posteriormente pla-nificar el movimiento de agarre y su ejecucion(Seccion 5).

4 ESTIMACION DEL AGARREEN NUBES DE PUNTOS

Para realizar el calculo de los puntos de agarresobre los objetos se parte de las nubes de pun-tos de cada frame I y I′ proporcionadas porcada una de las camaras respectivamente (Figura2(arriba)). Primero, se segmenta cada una de lasnubes de puntos para encontrar la superficie so-bre la que estan apoyados los objetos y eliminarotros planos como podrıa ser el fondo de la escena(Figura 2(abajo-izquierda)). El resultado son gru-pos de puntos que conforman nubes de puntos maspequenas y no conectadas entre sı. Cada una deestas nuevas nubes POi

y P′Oi

(donde i indica elidentificador de objeto) constituyen un objeto dis-tinto para cada camara. Despues, y previamentea estimar los puntos de agarre para cada robot enlas distintas nubes POi

y P′Oi

se aplica un filtroestadıstico con el fin de eliminar puntos ruidososy suavizar la geometrıa de las nubes.

En segundo lugar, para cada objeto detectado de-terminados por POi

y P′Oi

, se calcula el eje princi-pal eOi y e′

Oi, que proporciona una estimacion dela orientacion de cada objeto que representa (estade pie, acostado por una cara, de pie e inclinado,etc.). Para ello, se aplica la tecnica de Analisis deComponentes Principales (PCA, de sus siglas en

ingles) para encontrar ese eje mayor en los puntosdel objeto. Posteriormente, se calcula el centroidede cada nube de objeto, cOi y c′Oi , que sera deutilidad para tener una estimacion del centro demasas del objeto.

La idea principal es calcular puntos de agarre queconfiguren un agarre de la mano robotica de formaque la muneca de esta este perpendicular al ob-jeto y cerca de su centro de masas, para ası con-seguir realizar agarres estables. Esto es porquese asume que los objetos son solidos y tienen unamasa distribuida uniformemente. En consecuen-cia, el eje del objeto aproximado por PCA y elcentroide, nos permiten calcular el plano de corteperpendicular al objeto que lo corta por su cen-troide. En nuestro caso, se considera que las areaspotenciales de agarre mas estable deben estar en-tonces en los bordes opuestos del objeto que estancerca de este plano perpendicular (Figura 2(abajo-centro)). Por lo tanto, se define como configu-racion de agarre a la pareja formada por un puntode cada una de estas dos areas (Figura 2(abajo-derecha) ).

Finalmente, cada configuracion de agarre es en-tonces evaluada con una metrica que mide la posi-bilidad de que el agarre sea estable, dado el puntode vista que tenemos del objeto con la nube depuntos y la mano robotica utilizada. Esta metricafue evaluada por los autores en [17] y se calculaconsiderando los siguientes premisas:

1. Distancia de cada punto de agarre con elplano de corte al eje de la altura del objeto.Es decir, el plano que intersecciona perpen-dicularmente sobre el eje del objeto. Cuantomas cerca esten estos puntos al plano de corte,mas cerca estaran los puntos a una aproxi-macion del centro de masas del objeto. Estoes deseable para que al ejercer fuerza con lamano robotica, esta fuerza este cerca de dichocentro y ası evitar que el objeto se balanceeen la mano.

2. Curvatura en los puntos de agarre. Nuestroalgoritmo mide la curvatura de los puntos enlas areas potenciales de agarre para poderevaluar si los dedos se apoyaran en una su-perficie plana o no. Nuestra metrica evaluaramejor aquellas configuraciones que posicionenla mano sobre areas planas, ya que estas apor-taran una mayor area de contacto entre el ob-jeto y los dedos del robot, por lo que el agarresera mas estable.

3. Configuracion antipodal. Las configuracionesde agarre deben proponer puntos de contactodonde la mano robotica pueda aplicar fuerzas

1033

colineales y opuestas, lo cual asegura unamayor estabilidad del objeto en la mano.

4. Perpendicularidad de los puntos. Los pun-tos de agarre deben estar conectados por unalınea que es paralela a la superficie del planode corte calculado, para formar agarres pa-ralelos a este plano y no en diagonal. Elplano es perpendicular al eje del objeto, asıque para asegurar que el agarre es perpendi-cular al objeto se debe disponer de puntos deagarre lo mas paralelos a este plano. De otraforma, el agarre tenderıa a ser paralelo al ejedel objeto, por lo que habrıa mayor riesgo dedeslizamientos.

En resumen, el objetivo de esta metrica es pun-tuar mejor aquellas configuraciones de agarre quesituan la mano robotica con su palma mirando ha-cia el objeto, con sus dedos perpendiculares al ejede dicho objeto, paralelos al plano de corte cal-culado y cercanos al centroide. Con estas basicascondiciones geometricas, podemos encontrar aga-rres estables para cualquier objeto detectado porel sistema de vision.

Figura 2: Escena con nubes de puntos des ambascamaras POi

y P′Oi

(arriba) y fases del algoritmo(abajo), en el que de izquierda a derecha se mues-tra la segmentacion, deteccion de zona candidatade agarre en base a ejes eOi

y e′Oi y centros cOi

y c′Oi , ası como la seleccion optima de puntos deagarre poc y p′

oc dentro de las zonas candidatasen base la metrica disenada.

5 PLANIFICACION BIMANUALPARA EL AGARRE

El proceso de planificacion bimanual utiliza la lo-calizacion de los puntos de agarre obtenidos porel sistema de percepcion (Seccion 4), una veztransformados al sistema del robot (Seccion 3),por=(xor,yory,zor) para determinar la pose co-rrecta para ambas manos y ası llevar a cabo unagarre bimanual existoso.

El proceso de agarre bimanual consta de variasfases observables en la Figura 4. El sistema recogeinformacion RGBD de las camaras y las procesapara obtener puntos de agarre para cada una delas manos roboticas, de acuerdo al algoritmo pre-sentado en la seccion 4. Al mismo tiempo, se cal-culan las dimensiones aproximadas del objeto pre-sente en la escena. Para ello, se calcula el bound-ing box 3D orientado que envuelve las nubes depuntos que representan las vistas parciales de losobjetos bb(POi

) y bb(P′Oi

). Despues, se calculala distancia euclıdea entre ambos bounding boxcomo la distancia entre los centroides cOi y c′Oi

previamente calculados. Esa distancia determinala anchura del objeto. Posteriormente, el punto decorte de cada eje principal eOi

y e′Oi con los co-

rrespondientes bb(POi) y bb(P′

Oi) determinan la

altura del objeto. De modo que es posible repre-sentar un bounding box virtual que casi envuelve alos bb(POi

) y bb(P′Oi

) de cada vista del objeto,y sus dimensiones aproximadas (altura y anchura)se asemejan bastante a la altura del objeto y la an-chura de este. Este bounding box virtual bbvOi

es empleado para aproximar el tamano del objetoreal a partir de ambas vistas parciales.

Es importante determinar las dimensiones del ob-jeto porque la configuracion de agarre bimanualdepende, tanto del tamano del objeto como de lasdimensiones de las manos roboticas que se em-pleen. En nuestro caso, las manos roboticas Al-legro tienen unas dimensiones de 248mm de longi-tud entre el extremo del dedo y la muneca conla mano abierta y una anchura aproximada de242mm con la mano extendida y todos los dedosempleando la maxima separacion posible. En estetrabajo, los objetos que se han considerado sondel tipo paquete, como los que se gestionan en unalmacen. Por sus formas geometricas, los casosbasicos que se pueden dar se reducen a objetosapoyados por la cara de mayor tamano (objetoacostado) o apoyados por la cara de menor tamano(objeto de pie). En el primer caso, bbvOi

sera unobjeto ancho (mas anchura que altura), mientrasque en el segundo caso, bbvOi

sera un objeto an-gosto (mas altura que anchura).

Esta tipologıa de objeto, determina la configu-racion de agarre bimanualmente robotico (Figura4). Si el objeto es ancho (i.e. objeto acostado), lasmanos agarraran posicionandose de acuerdo a lospuntos calculados para cada brazo segun la vistaasociada por y p′

or. Se considera esa configuracionde agarre si su anchura es inferior a la suma de laslongitudes de ambas manos. Si por el contrario, elobjeto es alto (i.e. objeto de pie) habra que mo-dificar la manera de estimar los puntos de agarre,modificando ligeramente con una etapa adicional,el algoritmo de la seccion 3. La idea, en este caso,

1034

Figura 3: En las figura se observa en la parte de arriba el robot real y en la de abajo el robot virtual.De izquierda a derecha se observan las fases para ejecucion de la planificacion sobre un objeto ancho.Primera columna pre-agarre, segunda columna sujecion del objeto y ultima columna levantamiento delobjeto.

consiste en particionar tanto POicomo P′

Oien

dos clusteres P1Oiy P2Oi

para una vista y P1′Oi

y P2′Oi

para la otra vista. La particion se llevaa cabo generando un plano que corta a eOi

y e′Oi

y contiene cOiy c′Oi. Una vez particionada las

nubes, para cada uno de los fragmentos, se pro-cede de la misma manera a como se ha hecho enla seccion 3, calculando el nuevo centroide y poste-riormente la region candidata de agarre y los pun-tos que mejor ratio tienen en ella. De este modo,es posible evitar colisiones frontales entre ambasmanos, garantizando que la zona de agarre de unamano este desplazada hacia arriba o hacia abajocon respecto de la otra lo suficiente como paratratar de mantener la estabilidad en el agarre. Hayque notar que la estimacion de puntos de agarrecomentados en la seccion 3, consideran la anchurade las manos como uno de los parametros que seponderan para determinar los mejores puntos deagarre. En la Figura 3 puede observarse la eje-cucion del sistema sobre un objeto ancho.

Figura 4: Diagrama explicativo de la planificacionbimanual.

1035

6 CONCLUSIONES

En este trabajo se ha presentado un sistemarobotico bimanual para el agarre asistido porvision. El sistema presentado usa tecnicas devision 3D para determinar puntos de agarre a par-tir de dos vistas parciales de la escena. El algo-ritmo de deteccion de puntos de agarre evalua lasuperficie del objeto proporcionada por las dos vis-tas para determinar primero regiones candidatasy despues potenciales puntos dentro de estas. Lasregiones se estiman considerando factores que in-fluyen en la estabilidad del agarre. Posterior-mente, el sistema robotico bimanual propuesto seha probado en actividades de agarre de objetos deltipo paquete, como los que se manipulan en la in-dustria logıstica y de almacenaje. En el futuro, sepretende analizar el comportamiento del sistemaen tareas complejas de manipulacion como las quese requieren en la industria 4.0 para automatizarla actividad de almacenaje de paquetes u otro tipode objetos.

Agradecimientos

Este trabajo ha sido financiado por el proyecto eu-ropeo COMMANDIA (SOE2/P1/F0638) que estacofinanciado por el programa Interreg-V Sudoe yel Fondo Europeo de Desarrollo Regional, ası comopor el proyecto nacional DPI2015-68087-R.

English summary

BIMANUAL GRASPING OF OB-JECTS ASSISTED BY VISION

Abstract

Manipulation tasks of objects, sometimes,requires the use of two or more cooperat-ing robots. In the industry 4.0, assistancerobotic is being more and more demanded,for example, to carry out tasks such as lift-ing, dragging or pushing of both heavy andbig packages. Consequently, it is possibleto find robots with human appearance ad-dressed on helping human operators in ac-tivities in which these types of movementsoccur. In this article, a vision-assistedrobotic platform is presented to carry outboth grasping tasks and bimanual manip-ulation of objects. The robotic platformconsists of a metallic torso with rotationaljoint at the hip and two industrial manipu-lators, with 7 degrees of freedom, which act

as arms. Each arm mounts a multi-fingerrobotic hand at the end.Each of the up-per extremities use visual perception from3 RGBD sensors located in an eye-to-handconfiguration. The platform has been suc-cessfully used and tested to carry out bi-manual object grasping in order to developcooperative manipulation tasks in a coordi-nated way between both robotic extremities.

Keywords: Detection of grasping points,bimanual grasping, cooperative grasping,RGBD, point clouds, robotic manipula-tion.

Referencias

[1] Bagnell, J. A., Cavalcanti, F., Cui, L., Gal-luzzo, T., Hebert, M., Kazemi, M., Klingen-smith, M., Libby, J., Liu, T. Y., Pollard, N.,et al. (2012). An integrated system for au-tonomous robotics manipulation. In Proceed-ings of the IEEE/RSJ International Confer-ence on Intelligent Robots and Systems (IROS),pages 2955–2962. IEEE.

[2] Domel, A., Kriegel, S., Kaßecker, M., Brucker,M., Bodenmuller, T., and Suppa, M. (2017).Toward fully autonomous mobile manipulationfor industrial environments. International Jour-nal of Advanced Robotic Systems, 14(4):1–19.

[3] Hudson, N., Ma, J., Hebert, P., Jain, A., Ba-jracharya, M., Allen, T., Sharan, R., Horowitz,M., Kuo, C., Howard, T., et al. (2014). Model-based autonomous system for performing dex-terous, human-level manipulation tasks. Au-tonomous Robots, 36(1-2):31–49.

[4] Jiang, Y., Moseson, S., and Saxena, A. (2011).Efficient grasping from rgbd images: Learningusing a new rectangle representation. In Pro-ceedings of the IEEE International Conferenceon Robotics and Automation (ICRA), pages3304–3311.

[5] Kappassov, Z., Corrales, J.-A., and Perdereau,V. (2015). Tactile sensing in dexterous robothands. Robotics and Autonomous Systems,74:195–220.

[6] Khalid, A., Kirisci, P., Ghrairi, Z., Thoben,K.-D., and Pannek, J. (2016). A methodologyto develop collaborative robotic cyber physicalsystems for production environments. LogisticsResearch, 9(1):23:1–15.

[7] Leon, B., Morales, A., and Sancho-Bru, J.(2014). Robot grasping foundations. In From

1036

Robot to Human Grasping Simulation, vol-ume 19, pages 15–31. Springer.

[8] Mucchiani, C., Kennedy, M., Yim, M., andSeo, J. (2018). Object picking through in-handmanipulation using passive end-effectors withzero mobility. IEEE Robotics and AutomationLetters, 3(2):1096–1103.

[9] Pages, J., Marchionni, L., and Ferro, F.(2016). Tiago: the modular robot that adaptsto different research needs. In Proceedings ofIEEE/RSJ International Conference on Intelli-gent Robots and Systems (IROS)-Workshop onRobot Modularity. IEEE.

[10] Pinto, L. and Gupta, A. (2016). Supersiz-ing self-supervision: Learning to grasp from 50ktries and 700 robot hours. In Proceedings ofIEEE International Conference on Robotics andAutomation (ICRA), pages 3406–3413. IEEE.

[11] Richtsfeld, M. and Vincze, M. (2008). Grasp-ing of unknown objects from a table top. InWorkshop on Vision in Action: Efficient strate-gies for cognitive agents in complex environ-ments.

[12] Righetti, L., Kalakrishnan, M., Pastor, P.,Binney, J., Kelly, J., Voorhies, R. C., Sukhatme,G. S., and Schaal, S. (2014). An autonomousmanipulation system based on force control andoptimization. Autonomous Robots, 36(1-2):11–30.

[13] Smith, C., Karayiannidis, Y., Nalpantidis,L., Gratal, X., Qi, P., Dimarogonas, D. V.,and Kragic, D. (2012). Dual arm manipula-tion—a survey. Robotics and Autonomous sys-tems, 60(10):1340–1353.

[14] Stasse, O., Flayols, T., Budhiraja, R.,Giraud-Esclasse, K., Carpentier, J., Del Prete,A., Soueres, P., Mansard, N., Lamiraux, F.,Laumond, J.-P., et al. (2017). Talos: A newhumanoid research platform targeted for indus-trial applications. pages 689–695.

[15] ten Pas, A., Gualtieri, M., Saenko, K., andPlatt, R. (2017). Grasp pose detection in pointclouds. The International Journal of RoboticsResearch, 36(13-14):1455–1473.

[16] Vahrenkamp, N., Westkamp, L., Yamanobe,N., Aksoy, E. E., and Asfour, T. (2016). Part-based grasp planning for familiar objects. InProceedings of the 16th International Confer-ence on Humanoid Robots (Humanoids), pages919–925. IEEE.

[17] Zapata-Impata, B. S., Mateo, C. M., Gil, P.,and Pomares, J. (2017). Using geometry to de-tect grasping points on 3d unknown point cloud.In Proceedings of the 14th International Confer-

ence on Informatics in Control (ICINCO), vol-ume 2, pages 154–161. INSTICC, SciTePress.

c© 2018 by the authors.Submitted for possibleopen access publication

under the terms and conditions of the CreativeCommons Attribution CC-BY-NC 3.0 license(http://creativecommons.org/licenses/by-nc/3.0/).

1037