Draper 63172 Manuel d'utilisateur

N˚ d’ordre 254UNIVERSITE BLAISE PASCAL - CLERMONT-FERRANDUN SYSTEME DE PERCEPTION ATTENTIONNELLE POUR LES ROBOTSMOBILES EN ENVIRONNEMENT EXTERIEURM´em

10 TABLE DES MATI`ERES

100 6. PERCEPTION DES OBJETS DYNAMIQUESSuiviLe mod`ele de l’objet sur lequel s’appuie le processus attentionnel est dans le cas g´en´eral issude la ph

6.3. R´ESULTATS 101FIG. 6.4 – Exemple de reconnaissance de visages.

102 6. PERCEPTION DES OBJETS DYNAMIQUESFIG. 6.5 – Exemple de reconnaissance de pi´etons.

6.3. R´ESULTATS 103FIG. 6.6 – Exemple de suivi de pi´eton.

104 6. PERCEPTION DES OBJETS DYNAMIQUES6.4 BilanLa mise en œuvre de la m´ethode de perception attentionnelle progresse vers l’analyse globalede sc`ene

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 1056.5 Perception multisensorielle des pi´etons6.5.1 IntroductionEn 2005, plus de 7000 pi´etons ont´et´e

106 6. PERCEPTION DES OBJETS DYNAMIQUESL’objectif consiste`a concevoir un syst`eme,`a l’usage des automobiles grand public, capablede d´etecter et de

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 107ClassificationvraisemblanceCalcul de lavraisemblanceVideoImageAdaboostClassificationLIDARImagela trajec

108 6. PERCEPTION DES OBJETS DYNAMIQUES0 2 4 6 8 10 12 14 16 18 20051015X/mY/mobjet pietonobjet pietonobjet pietonobjet pietonobjet rejeteobjet rejete

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 109et du score Adaboost. La probabilit´e a priori de chaque classe (classe pi´eton ou non pi´eton) estin

Premi`ere partieNotice individuelle11

110 6. PERCEPTION DES OBJETS DYNAMIQUESLes vitesses des objets suivent une distribution trac´ee sur la figure 6.9. Ce choix est motiv´e parle fait que

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 1110.3 0.4 0.5 0.6 0.7 0.8 0.90.50.520.540.560.580.60.62facteur d’echellemoyenne0.3 0.4 0.5 0.6 0.7 0.8

112 6. PERCEPTION DES OBJETS DYNAMIQUESUn d´etecteur Adaboost de base est construit`a partir de 100 classifieurs « faibles ». Ce d´etecteurest pr´ealab

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 113−10 −8 −6 −4 −2 0 2 4 6 8 10051015202530X−axis(m)Y−axis(m)FIG. 6.12 – Vue de la sc`ene et trajectoire

114 6. PERCEPTION DES OBJETS DYNAMIQUES10 15 20 25 30 35 40 4500.20.4Width (m)Features extracted10 15 20 25 30 35 40 4500.511.5Velocity (m/s)10 15 20

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 115L’objectif du deuxi`eme test consiste`a v´erifier le comportement du syst`eme dans un environne-ment e

116 6. PERCEPTION DES OBJETS DYNAMIQUESFIG. 6.16 – R´esultat avec un classifieur adaboost.FIG. 6.17 – R´esultat du classifier Bayesien. Tous les pi´eton

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 117d´etection d’un pi´eton dans les donn´ees LIDAR avec celle correspondant au score d’un clas-sifieur im

118 6. PERCEPTION DES OBJETS DYNAMIQUES

PerspectivesA courts termesApports de la communication entre entit´es constituant la sc`eneParmi les objets dynamiques qui doiventˆetre perc¸us, il es

120 6. PERCEPTION DES OBJETS DYNAMIQUESSur une plan plus g´en´eral, il est tout`a fait possible de consid´erer que le robot dispose, par lebiais du ca

6.5. PERCEPTION MULTISENSORIELLE DES PI´ETONS 121de construire automatiquement cette carte. Puisque les triplets peuvent reconnaˆıtre les amersqui leu

122 6. PERCEPTION DES OBJETS DYNAMIQUES

ConclusionLe syst`eme de perception attentionnel par focalisation progressive qui est le fil conducteur desapplications pr´esent´ees dans ce m´emoire e

124 6. PERCEPTION DES OBJETS DYNAMIQUESsation exp´erimentale syst´ematique, le plus souvent en temps r´eel embarqu´e dans des robotsmobiles ou des v´e

Bibliographie[1] Le petit Larousse Illustr´e. Larousse, 2004.[2] Broggi A. An image reorganization procedure for automotive road following systems. In

126 BIBLIOGRAPHIE[18] Jensfelt Christensen. Active global localization for mobile robots using multiple hypothesetracking. In IEEE Transactions on Rob

BIBLIOGRAPHIE 127[38] T. Gandhi and M. Trived. Pedestrian collision avoidance systems : A survey of compu-ter vision based recent studies. In Proc. of

128 BIBLIOGRAPHIE[57] G. Monteiro, C. Premebida, P. Peixoto, and U. Numes. Tracking and classification of dy-namic obstacles using laser range finder an

BIBLIOGRAPHIE 129[77] B. Takacs and H. Wechsler. A dynamical and multiresolution model of visual attention andits application to facial landmark detec

1 Etat civil - Diplˆomes - Emplois1.1 Etat civil et situation de familleFr´ed´eric CHAUSSEN´e le 22 Juin 1968`a Clermont-Ferrand (63), nationalit´e fr

14 1. ETAT CIVIL - DIPLˆOMES - EMPLOIS1.3 Emplois et fonctions1991-1994 : Allocataire du Minist`ere de la Recherche et de la Technologie1991-1994 : Mo

2 Activit´es d’enseignement et d’int´erˆet collectif2.1 Service statutaireJ’effectue l’int´egralit´e de mes activit´es statutaires d’enseignement au d

16 2. ACTIVIT´ES D’ENSEIGNEMENT ET D’INT´ERˆET COLLECTIFAnn´ee Discipline Volume horaire1995/96 M´ecanique, Thermodynamique 56 h de T.P.Optique, M´eca

2.4. TˆACHES D’INT´ERˆET COLLECTIF 171998 : Enseignement int´egr´e sur les mesures automatis´ees pour la pr´eparation`a un concoursinterne de technici

18 2. ACTIVIT´ES D’ENSEIGNEMENT ET D’INT´ERˆET COLLECTIF

3 Activit´es de recherche3.1 ContexteJ’effectue mes travaux de recherche au LA.S.M.E.A., U.M.R. 6602 C.N.R.S. Universit´e BlaisePascal dans le GRoupe

20 3. ACTIVIT´ES DE RECHERCHE2004- : Karam Nadir, ”Localisation collective de robots communicants”, th`ese de l’universit´eBlaise Pascal de Clermont-F

3.3. PUBLICATIONS ET COMMUNICATIONS 21th`ese de Doctorat de l’Universit´e Blaise Pascal, Clermont-Ferrand, 21 D´ecembre 1994.Directeur de th`ese : Mon

22 3. ACTIVIT´ES DE RECHERCHER. Aufr`ere, R. Chapuis, F. Chausse : Real time vision based road lane detection and tracking,MVA 2000, November 2000, To

3.3. PUBLICATIONS ET COMMUNICATIONS 23Systems and Robotics, Automation & Mechatronics (CIS-RAM 2006), 7-9 June, 2006, Bang-kok, Thailand, IEEE Cat

24 3. ACTIVIT´ES DE RECHERCHE3.3.5 Colloques sans comit´e de s´electionR. Aufr`ere, R. Chapuis, F. Chausse : D´etection et suivi de bords de routes en

3.5. GROUPES DE RECHERCHE NATIONAUX 25soci´et´e ECA pour le programme d’´etude en amont MiniROC de la DGA : localisation pr´ecised’un robot dans un en

26 3. ACTIVIT´ES DE RECHERCHE

Deuxi`eme partieTravaux de recherche27

IntroductionLes travaux de recherche pr´esent´es dans cette partie ont´et´e men´es sur la p´eriode 1995-2006au Laboratoire des Sciences et Mat´eriaux

[1] M.-C.. CHAUSSE et J.-P. CHAUSSE, Fr´ed´eric, Clermont-Ferrand, Juin 1968.[2] S. CHAUSSE et F. CHAUSSE, Juliette, Clermont-Ferrand, Juillet 1999.[3

30la compr´ehension.Le syst`eme de perception attentionnelle propos´e est dans son principe de type top-down :la compr´ehension d’une sc`ene dynamique

4 Syst`emes de perception4.1 IntroductionUn syst`eme est commun´ement d´efini [1] comme un ensemble d’´el´ements mat´eriels ou nonen relation les uns a

32 4. SYST`EMES DE PERCEPTIONextraire l’information utile. L’interpr´etation de cette information dans un but donn´e ne pr´esentepas de probl`eme. . .

4.2. PERCEPTION ATTENTIONNELLE 334.1.3 Le mod`ele de Bajcsy : la perception activeR. Bajcsy [5] va un peu plus loin qu’Aloimonos en pr´ecisant que dan

34 4. SYST`EMES DE PERCEPTIONrˆole actif de l’observateur dans l’acte perceptif. Le but est de r´eduire au plus tˆot la quantit´e d’in-formation brute

4.3. MOD`ELE DE PERCEPTION ATTENTIONNELLE PROPOS´E 354.2.1 BilanCette rapide pr´esentation des syst`emes de perception et en particulier les syst`emes

36 4. SYST`EMES DE PERCEPTION4.3.1 Repr´esentation synth´etique de la sc`eneStructure globale du mod`eleLe mod`ele qui guide la perception est constit

4.3. MOD`ELE DE PERCEPTION ATTENTIONNELLE PROPOS´E 37´evalue l’impact a priori sur le processus de perception de la focalisation sur tel ou tel enfant

38 4. SYST`EMES DE PERCEPTIONsuit r´ecursivement jusqu’au dernier niveau o`u la primitive de meilleur rapport utilit´e/coˆut ests´electionn´ee. Une su

4.4. CONCLUSION 39n’est pas forc´ement n´ecessaire`a l’application : un syst`eme de perception pourˆetre efficace n’apas`aˆetre exhaustif. Un crit`ere

40 4. SYST`EMES DE PERCEPTIONcontrˆoler l’observation. Elle tire partie de chaque observation au moment o`u elle est faite parla remise`a jour du mod`

5 Perception pour la localisation5.1 Localisation d’un v´ehicule sur sa voie de circulation5.1.1 IntroductionLe syst`eme de perception attentionnelle

42 5. PERCEPTION POUR LA LOCALISATIONLa mise en œuvre du processus attentionnel de focalisation de la d´etection des bords dans deszones d’int´erˆet a

5.2. DESCRIPTION D´ETAILL´EE DE L’APPLICATION 43pr´edire de mani`ere pr´ecise la position des primitives pour l’image suivante.Une phase d’initialisat

44 5. PERCEPTION POUR LA LOCALISATIONcourbure lat´erale).Le module de suivi est alors appliqu´e afin de limiter l’espace de recherche des bords de laro

5.2. DESCRIPTION D´ETAILL´EE DE L’APPLICATION 45Les´el´ements du vecteur d’´etat pr´ec´edemment not´ees xidans la section 4.3.1 correspondentici repr´

46 5. PERCEPTION POUR LA LOCALISATIONv110intervalle de confiance pour le bord droitv...FIG. 5.3 – Mod´ele initial r´esultat de la phase d’apprentissag

5.2. DESCRIPTION D´ETAILL´EE DE L’APPLICATION 47au temps de calcul du traitement d’image bas niveau. De plus, ce choix correspond a priori aubord dont

48 5. PERCEPTION POUR LA LOCALISATIONet∆v(environ 300 pixels) repr´esente la hauteur de la zone d’analyse (vn−v1).Les seuils sur les´el´ements PgPdet

5.2. DESCRIPTION D´ETAILL´EE DE L’APPLICATION 49–bXd: vecteur r´esultat du processus de d´etection,– CXd= E[wwt] : matrice de covariancebXd.X(k) fourn

RemerciementsJe commencerai par remercier Marc Richetin, Jean-Paul Germain et Michel Dhome qui sesont succ´ed´es`a la direction du LASMEA position de

50 5. PERCEPTION POUR LA LOCALISATIONlors d’une phase d’apprentissage.A partir du r´esultat de l’´etape de reconnaissance (1 voie = 2n param`etres), u

5.2. DESCRIPTION D´ETAILL´EE DE L’APPLICATION 51La figure 5.7 montre des images o`u plusieurs voies de circulation sont pr´esentes.FIG. 5.7 – R´esultat

52 5. PERCEPTION POUR LA LOCALISATION5.3 Localisation d’un v´ehicule dans un environnement cartogra-phi´e5.3.1 IntroductionLa m´ethode pr´ec´edente es

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 53une fr´equence´elev´ee. La localisation relative est une technique de positionn

54 5. PERCEPTION POUR LA LOCALISATIONLe v´ehicule exp´erimental est´equip´e de capteurs : un odom`etre, un gyrom`etre, une cam´era etun GPS bas coˆut,

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 55-4-2 0 2 4 6 8 10 0 200 400 600 800 1000 1200 1400 1600 1800τcxx(τ)-40

56 5. PERCEPTION POUR LA LOCALISATIONLe biais est int´egr´e dans le vecteur d’´etat et l’´equation d’observation s’´ecrit :Xgps= HXk+ vavec H =1 0 0

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 57Si d < 1 le biais est mis`a jour sinon il faut r´einitialiser la matrice de

58 5. PERCEPTION POUR LA LOCALISATION+ψ0x0ViUiOixyVv+γFIG. 5.12 – Repr´esentation des informations vision.Xvision=x00ψet Qvision=σ2x00 σx0ψ0 ∞ 0

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 59L’erreur d’observation est mod´elis´ee par un bruit blanc gaussien de covarianc

6

60 5. PERCEPTION POUR LA LOCALISATIONLa valeur de γ est estim´ee modulo 2π. Ceci permet de rester dans un espace born´e lors derotation de plus de 2π

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 61La figure 5.15(a) est le r´esultat de la localisation sans vision et avec peu de

62 5. PERCEPTION POUR LA LOCALISATION 85400 85500 85600 85700 85800 85900 86000 86100 86200 86300 659800 660000 660200 660400 660600 660800 661

5.3. LOCALISATION D’UN V´EHICULE DANS UN ENVIRONNEMENT CARTOGRAPHI´E 63t/s051015200 20 40 60 80 1000510152025 0 20 40 60 80 100 120 t1 t2t0t/s05101520

64 5. PERCEPTION POUR LA LOCALISATION5.4 Localisation et guidage d’un robot mobile autonome5.4.1 IntroductionLa localisation peutˆetre d´efinie comme l

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 65cit´e de d´eplacement automatique. Ils doivent ainsiˆetre capables de suivre des trajectoire

66 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.17 – Illustration du principe de la recherche active des amers : une zone d’int´erˆet (ROI)correspondant`a

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 675.4.3 Principe de la m´ethode de localisation utilisant la focalisation progressiveG´enerali

68 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.19 – Sch´ema du principe de localisation.en compte ce type de crit`ere pour la perception des amers grˆace

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 69FIG. 5.20 – Vue de dessus de la carte avec trois arbres et deux bords de voie. Le robot estr

Table des mati`eresI Notice individuelle 111 Etat civil - Diplˆomes - Emplois 131.1 Etat civil et situation de famille . . . . . . . . . . . . . . . .

70 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.21 – Evolution de la perception des amers : choix successif des triplets perceptifs dansle cas d’un sc´ena

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 71Niveau de confiance associ´e`a l’estimation courante de la pose du robot.L’´etat X et sa cova

72 5. PERCEPTION POUR LA LOCALISATIONEtape de pr´ediction Cette´etape consiste`a pr´edire l’´etat futur du v´ehicule`a partir de l’´etatcourant (Figur

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 73Or pour un capteur proprioceptif, il n’y a pas de probl`eme d’association de donn´ees [19]).

74 5. PERCEPTION POUR LA LOCALISATION2. L’´echec d’une d´etection affaiblit la confiance dans l’estimation courante de la position etle niveau de confia

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 75Ces deux probabilit´es sont calcul´ees en tenant compte du capteur, du d´etecteur, de l’amer

76 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.26 – Intersection des zones d’int´erˆet. A gauche une vue de dessus de la carte avecles amers. Un triplet

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 77FIG. 5.27 – Principe du calcul de la probabilit´e de faire une association de donn´ees corre

78 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.28 – Comparaison de la m´ethode de localisation propos´ee (`a gauche) et une approcheclassique bas´ee sur

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 79Mauvaise association de donn´eesUne mauvaise association de donn´ee fausse syst´ematiquement

8 TABLE DES MATI`ERES3.3.5 Colloques sans comit´e de s´election . . . . . . . . . . . . . . . . . . . . . 243.4 Collaborations de recherche . . . . .

80 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.29 – Robot mobile utilis´e pour les exp´erimentations.Cette premi`ere estimation est appel´ee ”Etat 0” sur

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 81FIG. 5.30 – Vue de dessus de la carte avec 5 amers arbres, la position vraie du robot (cercl

82 5. PERCEPTION POUR LA LOCALISATIONFIG. 5.31 – Localisation du robot`a partir des triplet perceptifs. A gauche, une vue de dessusde la carte avec la

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 83FIG. 5.32 – Evolution du niveau de confiance durant l’exp´erimentation.FIG. 5.33 – La traject

84 5. PERCEPTION POUR LA LOCALISATIONpr´ecision et de son niveau de confiance. La figure 5.34 montre l’´evolution du niveau de confiancede l’estimation e

5.4. LOCALISATION ET GUIDAGE D’UN ROBOT MOBILE AUTONOME 85Entre les points de contrˆole C et E, la localisation est pr´ecise en raison de d´etections

86 5. PERCEPTION POUR LA LOCALISATION

6 Perception des objets dynamiques6.1 IntroductionL’utilisation d’une carte comme mod`ele de l’environnement pour guider la reconnaissance desamers da

88 6. PERCEPTION DES OBJETS DYNAMIQUES6.2 Reconnaissance des objets par vision focalis´ee6.2.1 IntroductionLe syst`eme de perception attentionnelle es

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 89correspondance, le probl`eme de la combinatoire se pose l`a aussi. Pour en diminuer l’impact,l’

TABLE DES MATI`ERES 95.3.2 Description d´etaill´ee de l’application . . . . . . . . . . . . . . . . . . . . . 525.3.3 Localisation par couplage vision

90 6. PERCEPTION DES OBJETS DYNAMIQUESmod`ele de connaissance de l’objet mais plutˆot par des repr´esentations acquises et apprisespar le syst`eme lui

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 91donn´es provenant des N (N > Nm) op´erateurs bas niveau d´efinis avant l’apprentissage, sonta

92 6. PERCEPTION DES OBJETS DYNAMIQUESFIG. 6.1 – Exemple d’une grille tri-r´esolution.Apprentissage des param`etresIl s’agit de d´eterminer, pour chaq

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 93S´election des caract´eristiquesLors de la caract´erisation des cellules`a partir des exemples,

94 6. PERCEPTION DES OBJETS DYNAMIQUESxpr∼N (¯opp1,Copp1),N (¯opp2,Copp2),...N (¯oppN,CoppN),N (¯a,Ca).o`u¯oppnest le vecteur r´eduit d

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 95– une matrice de covariance diagonale avec pour´el´ements de la diagonale principale Cλm=(σ2ζ0m

96 6. PERCEPTION DES OBJETS DYNAMIQUESG´en´eration des hypoth`eses (s´election des parties)Effectuer la g´en´eration d’hypoth`eses revient`a hi´erarch

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 97parties λm, de r´eajuster non seulement la position des autres parties mais aussi de pr´eciserl

98 6. PERCEPTION DES OBJETS DYNAMIQUESLe fait de resserrer de plus en plus le mod`ele, entraˆıne une augmentation du rapport signal/bruitpour les d´et

6.2. RECONNAISSANCE DES OBJETS PAR VISION FOCALIS´EE 99Le probl`eme peutˆetre pos´e de la fac¸on suivante : soit une zone d’analyse dans laquelle unep