Please wait, Page is Loading...
 

Précédent: <<Commande référencée capteurs

Commande référencée vision

La commande référencée vision corke96 hutchinson96 chaumette02 chaumette06 consiste à contrôler les mouvements d’un système robotique en utilisant des informations visuelles, notées s, issues d’une ou plusieurs caméras (ou plus généralement d’un capteur de vision) embarquées ou non sur le système. De nombreux travaux sont basés sur l’exploitation de ces données pour réaliser différents objectifs tels que le positionnement face à un objet, son suivi, sa saisie, etc. La première utilisation de la vision en boucle fermée est due à Shirai et Inoue shirai73 qui décrivirent comment un capteur de vision pouvait augmenter la précision du positionnement. On parlait alors de retour par vision (visual feedback). Mais c’est à Hill et Park hill79 que l’on doit l’apparition du terme asservissement visuel (visual servoing). Plusieurs approches ont depuis vu le jour. Sanderson et Weiss sanderson80 en propose ainsi deux grandes classes selon l’utilisation des informations visuelles : l’asservissement visuel 3D (ou position-based control) et l’asservissement visuel 2D (ou image-based control). Notons qu’il existe aussi des approches intermédiaires plus récentes telles que l’asservissement visuel 2D½ malis98 ou d2D/dt cretual98.


Asservissement visuel 3D

asservissemet visuel 3D

Fig.1: Principe de l’asservissement visuel 3D.

L’asservissement visuel 3D utilise en entrée de la boucle de commande des informations tridimensionnelles, à savoir la situation r de la caméra, par rapport à l’objet d’intérêt. La tâche à réaliser s’exprime alors sous la forme d’une situation de référence r à atteindre (voir figure 1). La commande repose ainsi sur la détermination de la situation r de la caméra, à partir des informations visuelles extraites de l’image (voir figure 1).

De nombreuses méthodes permettent d’estimer la situation d’une caméra par rapport à un objet à partir de l’image perçue de cet objet. Elles reposent très généralement sur la connaissance a priori d’un modèle (3D ou 2D) de l’objet et des paramètres intrinsèques de la caméra. Ces méthodes utilisent des informations visuelles de différentes nature, telles que des points horaud89 haralick89, des droites dhome89… Toutefois des travaux, issus des recherches en reconstruction 3D par vision dynamique, permettent d’estimer le modèle de l’objet d’intérêt, ou de localiser la caméra à partir de mesures de mouvement 2D ou 3D, élargissant ainsi les tâches considérées.

Le principal avantage de l’asservissement visuel 3D est de permettre la définition de loi de commande non spécifique au capteur (on synthètise des correcteurs qui assurent la convergence vers la pose désirée)
L’inconvénient réside principalement par la nécessité d’obtenir une bonne estimation de la pose. Cela requiert en générale d’avoir un bon modèle des capteurs et des paramètres de calibration, de pouvoir mettre en correspondance les informations…


Asservissement visuel 2D

asservissemet visuel 2D

Fig.2: Principe de l’asservissement visuel 2D.

Les techniques d’asservissement visuel 2D utilisent directement les informations visuelles, notée s, extraites de l’image. La tâche à réaliser est alors spécifiée directement dans l’image en termes d’indices visuels de référence s à atteindre. La loi de commande consiste alors à contrôler le mouvement de la caméra de manière à annuler l’erreur entre les informations visuelles courantes s(t) et le motif désiré s* (voir figure 2). Cette approche permet donc de s’affranchir de l’étape de reconstruction 3D de la cible et des problèmes qui y sont liés.

Le choix des informations visuelles et l’obtention de la relation les liant au mouvement de la caméra sont deux aspects fondamentaux de l’asservissement visuel 2D. Cette relation, obtenue par dérivation des informations sensorielles s par rapport à la situation r de la caméra, est définie par une matrice appelée jacobienne de l’image ou matrice d’interaction. La synthèse de la commande repose sur l’élaboration d’une méthode de calcul explicite de cette matrice souvent associée à des primitives géométrique simples, telles que des points feddema89, des droites, des cercles, des ellipses chaumette90, ou encore des moments de l’image chaumette04. Ainsi, les asservissements visuels 2D sont, d’une manière générale, des lois de commandes relativement rapides à calculer (eg. fonction du temps de calcul de traitement d'images:), puisqu’il n’y a pas de phase de reconstruction 3D. Ce gain de temps n’est pas négligeable puisque le délai d’application de la commande est réduit, ce qui contribue à la stabilité du système wunsch97. De plus, les asservissements basés sur l’image permettent la réalisation de tâches de manière très efficace et précise. C’est ainsi que ce type de commande se rencontre de plus en plus dans différents domaines d’application. Citons par exemple la conduite d’engins sous-marins rives97icra rives97iros, de véhicules autonomes personnels martinet00 ou agricoles khadraoui98. La robotique chirurgicale apparaît également comme un champ d’application privilégié des dernières avancées de l’asservissement visuel 2D krupa03 vitrani06.

Le principal avantage de l’asservissement visuel 2D est, contrairement au 3D, il n’y a pas de calcul de la pose de la caméra. Il possède donc une bonne robustesse aux erreurs de calibration.
Dans la mesure où tout se passe dans l’image, l’inconvénient qui est en découle est que l’on n’a pas toujours un bon comportement dans le 3D.

Les travaux que j'ai mené dans le cadre de ma thèse exploitent principalement l'asservissement visuel 2D. Je me suis plus particulièrement intéressé à la définition de stratégie de commande référencée vision pour un robot mobile de type char (soit non-holonome): le robot Super Scout II développé par la société Nomadic Technologies, et mis à notre disposition par l’AIP-PRIMECA de Toulouse.

À titre d'exemple, vous pouvez visualiser ci-dessous un exemple d'expérimentation d'asservissement visuel simple sur notre robot Super Scout II.


Voir la vidéo sur YouTube

Asservissement visuel 2D½

asservissement2D5

Fig.3: Principe de l’asservissement visuel 2D½.

L’asservissement visuel 2D½ malis98 malis00 fang02exploite des informations à la fois de nature 2D et 3D. Cette technique est basée sur l’estimation de l’homographie, notée H, qui relie l’image d’au moins trois points entre différents plans projectifs faugeras93 (voir figure 3). L’homographie est une application projective bijective, correspondant à une transformation linéaire entre deux plans projectifs. Plus précisément, elle permet d’établir (à un facteur d’échelle α près) une bijection entre un objet de l’espace 3D et une image 2D, ou bien entre deux images 2D d’un même objet. Dans ce dernier cas, elle permet de lier les projections d’un ensemble de points 3D P , appartenant à un même plan, sur deux plans image Π1 et Π2 par la relation: p/Π2 = α H p/Π1,  ∀α∈R, où p/Π1 et p/Π2 représentent respectivement la projection des points P sur les plans Π1 et Π2.

Ainsi, l’asservissement visuel 2D½ repose sur la détermination de l’homographie H entre l’image courante et l’image désirée. En effet, à partir de cette homographie il est possible de calculer le déplacement en rotation R que la caméra doit effectuer pour atteindre la situation spécifiée, ainsi que la direction de son déplacement en translation. Comme la translation à réaliser n’est connue qu’à un facteur d’échelle α près, un asservissement visuel purement 3D est impossible. Cependant, il est possible d’aboutir à une solution grâce à la combinaison des informations 2D (fournies par l’image) et 3D disponibles. Le vecteur des informations visuelles s est donc défini sur la base de donnée 2D et 3D. Ainsi, l’asservissement visuel 2D½ est une approche intermédiaire entre l’asservissement 3D et 2D. La boucle d’asservissement ainsi synthétisée permet de séparer la rotation et la translation de la caméra, et d’obtenir un fort découplage de la loi de commande. L’avantage majeur de cette approche est que la connaissance du modèle géométrique 3D de l’objet n’est plus nécessaire. La seule information 3D utilisée dans la synthèse de la commande est la profondeur désirée z d’un point de l’objet.


Références

chaumette02  BIB:chaumette02
  F. Chaumette. "Asservissement visuel". La commande des robots manipulateurs, Hermès, Khalil, W., Traité IC2 : p. 105–150. November 2002.
chaumette04  BIB:chaumette04  DOI:10.1109/TRO.2004.829463
  F. Chaumette. "Image moments: a general and useful set of features for visual servoing". IEEE Transactions on Robotics and Automation, Vol. 20(4) : p. 713–723. August 2004.
chaumette06  BIB:chaumette06  DOI:10.1109/MRA.2006.250573
  F. Chaumette and S. Hutchinson. "Visual Servo Control, Part I: Basic Approaches". IEEE Robotics and Automation Magazine, Vol. 13(4) : p. 82–90. December 2006.
chaumette90  BIB:chaumette90
  F. Chaumette. "La relation vision-commande : théorie et application à des tâches robotiques". PhD thesis, Université de Rennes 1, IRISA. July 1990.
corke96  BIB:corke96
  P.I. Corke. "Visual control of robots : High performance visual servoing". Research Studies Press LTD, Mechatronics. November 1996.
cretual98  BIB:cretual98
  Armel Crétual. "Asservissement visuel à partir d'information de mouvement dans l'image". PhD thesis, Université de Rennes 1, IRISA. November 1998.
dhome89  BIB:dhome89
  G. Rives, J.T. Lapreste, M. Dhome and M. Richetin. "Determination of the attitude of 3D objects from a single perspective view". IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11(12) : p. 1265–1278. December 1989.
fang02  BIB:fang02
  D.M. Dawson, M.S. de Queiroz, W.E. Dixon and Y. Fang. "Homography-based visual servoing of wheeled mobile robots". IEEE International Conference on Decision and Control (CDC'02), Vol. 3 : p. 2866–2871. December 2002.
faugeras93  BIB:faugeras93
  O. Faugeras. "Three-Dimensional Computer Vision : A Geometric Viewpoint". MIT Press. Cambridge. November 1993.
feddema89  BIB:feddema89  DOI:10.1109/70.88086
  J.T. Feddema and O.R. Mitchell. "Vision-Guided Servoing with Feature-Based Trajectory Generation". IEEE Transactions on Robotics and Automation, Vol. 5(5) : p. 691–700. October 1989.
haralick89  BIB:haralick89  DOI:10.1109/21.44063
  C.-N. Lee, H. Joo, M. Kim, R. Haralick and V. Vaidya. "Pose estimation from corresponding point data". IEEE Transactions on Systems, Man, and Cybernetics, Vol. 19(6) : p. 1426–1446. November 1989.
hill79  BIB:hill79
  J. Hill and W. T. Park. "Real Time Control of a Robot with a Mobile Camera". 9th International Symposium on Industrial Robot : p. 233–246. Washington, DC. March 1979.
horaud89  BIB:horaud89
  B. Conio, B. Lacolle, O. Leboulleux and R. Horaud. "An Analytic Solution for the Perspective 4-Point Problem". IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 47 : p. 33–44. June 1989. Available at: http://perception.inrialpes.fr/Publications/1989/HCLL89 (last seen Septembre 2007)
hutchinson96  BIB:hutchinson96  DOI:10.1109/70.538972
  G.D. Hager, P.I. Corke and S. Hutchinson. "A tutorial on visual servo control". IEEE Transactions on Robotics and Automation, Vol. 12(5) : p. 651–670. October 1996.
khadraoui98  BIB:khadraoui98
  C. Debain, D. Khadraoui, J. Gallice, P. Bonton, P. Martinet and R. Rouveure. "Vision based control in driving assistance of agricultural vehicules". International Journal of Robotics Research, Vol. 17(10) : p. 1040–1054. November 1998.
krupa03  BIB:krupa03  DOI:10.1109/TRA.2003.817086
  A. Krupa, C. Doignon, G. Morel, J. Gangloff, J. Leroy, L. Soler and M. De Mathelin. "Autonomous 3-D positioning of surgical instruments in robotized laparoscopic surgery using visual servoing". IEEE Transactions on Robotics and Automation, Vol. 19 : p. 842–853. October 2003.
malis00  BIB:malis00
  E. Malis and F. Chaumette. "2D1/2 visual servoing with respect to unknown objects through a new estimation scheme of camera displacement". International Journal of Computer Vision, Vol. 37(1) : p. 79–97. June 2000.
malis98  BIB:malis98
  Ezio Malis. "Contribution à la modélisation et à la commande en asservissement visuel". PhD thesis, Université de Rennes 1, IRISA. November 1998.
martinet00  BIB:martinet00  DOI:10.1023/A:1008936817917
  C. Thibaud and Ph. Martinet. "Automatic guided vehicules : Robust controller design in image space". Autonomous Robots, Vol. 8(1) : p. 25–42. January 2000. ISSN: 0929-5593.
rives97icra  BIB:rives97icra  DOI:10.1109/IEEE/RSJ International Conference on Intelligent Robots and Systems .1997.656798
  J. Borrelly and P. Rives. "Visual Servoing Techniques Applied to an Underwater Vehicule". IEEE International Conference on Robotics and Automation (ICRA'97), Vol. 3 : p. 1851–1856. Albuquerque, New Mexico, USA. April 1997.
rives97iros  BIB:rives97iros  DOI:10.1109/IEEE/RSJ International Conference on Intelligent Robots and Systems .1997.648999
  J-J. Borrelly and P. Rives. "Underwater pipe inspection task using visual servoing techniques". IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS'97), Vol. 1 : p. 63–68. Grenoble, France. September 1997.
sanderson80  BIB:sanderson80
  A.C. Sanderson and L.E. Weiss. "Image-Based Visual Servo Control Using Relational Graph Error Signals". IEEE International Conference on Cybernetics and Society : p. 1074–1077. Cambridge, Massachusetts. October 1980.
shirai73  BIB:shirai73
  H. Inoue and Y. Shirai. "Guiding a Robot by Visual Feedback in Assembling Tasks". Pattern Recognition, Vol. 5 : p. 99–108. November 1973.
vitrani06  BIB:vitrani06
  G. Morel, M. Karouia, M.-A. Vitrani and N. Bonnet. "A robust ultrason-based visual servoing approach for automatic guidance of a surgical instrument with in vivo experiments". First IEEE/RAS-EMBS Biomedical Robotics and Biomechatronics (BioRob'06) : p. 35–40. February 2006.
wunsch97  BIB:wunsch97
  G. Hirzinger and P. Wunsch. "Real-Time visual tracking of 3D objects with dynamic handling of occlusion". IEEE International Conference on Robotics and Automation (ICRA'97), Vol. 4 : p. 2868–2873. Albuberque, Mexico. April 1997.

  • Add This
  • Add
  • Get
  • Google

robotique/cv