Caraterísticas Visuales y Control de Movimientowebdiis.unizar.es/~neira/docs/CSagues-CEDI2007.pdf · Control de movimiento ¾ Basado en Homografía ¾ Basado en Epipolos Conclusiones

Universidad de Zaragoza

1Departamento de Informática e Ingeniería de Sistemas RoPeRT

Caraterísticas Visuales y Control de Movimiento

C. Sagüés, G. López-Nicolás, J.J. Guerrero, A.C. Murillo

2


Departamento de Informática e Ingeniería de Sistemas RoPeRT

Indice

MotivaciónCaracterísticas visuales

PuntosLíneasInvariantes a escala: SIFT/SURF

Control de movimientoBasado en HomografíaBasado en Epipolos

Conclusiones

3



Motivación

Percepción en humanosRelación/Interacción con otros : Amigos …Placer/Descanso: Cine, TV …Movimiento: Desplazarse …

Percepción en robotsMovimiento

Aplicaciones IndustrialesServicioRescate

Visión como sensor para percepciónVarias imágenes y “matching” de característicasMovimiento

• Basado en posición• Basado en imagen

4



Características: Puntos

Puntos: Detector de Harris [Harris-88]Puntos a partir de los gradientes horizontal y vertical

R(x,y) = det (C) – k traza2 (C)

5



Características: Puntos

Redistribución en celdasFilas m, Columnas n, Puntos por celda lUmbral para Medida de “Corner” ( R)

Imagen 1 - 483 Puntos

123 456 789 10 111213 14

1516 17

18

19

202122 232425

2627282930

31 323334353637

383940 414243 4445 4647

4849

505152 535455565758596061 626364 65667

6869

707172

7374 757677

78798081828384 858687

888990

919293 94 9596979899100101102 103104

1

1

107

108

109

110111112113114115116117

118119120

121122123124125

126

127128129130131132

133134135136

137138

139140141 142143144

145146147 1

11515115253 154155156 157

158159

160161162

163164165166167168169170171172173

174175176177 178

179180 181182183

184185

186187188189

11

192193194195196

197198199200

201 202203204205

206 207208209210211212 213214215

216217218

219220 221 2222225

226

227 228

229 230231232

233234235 236237238

239240241 242243244245

246

247242

25

251252253254255256

257258259 260261262

263264265266267 268269

270 271272273 274275276

277278279 280281

28228228

286287288289290 291292293 294295296297298299 300301

302303304305306307308

309310311312313314

315316317318

319

320321322323324

325326

327 33

330331332333

334335336337

338 339340341342343344 345346

347348349

350351352 353354355 356

357358

359360361

362363 364365366 367368369 370371372 373

374375376 377378379 380381382 383384385

386

387388

389390391

392393394 395396397 33994

401402403 404405406

407408409410411412413

414415

416417418419420421422 423424

425426 427

428429

430431

432 433434435436

437438439440

441442443 444445446447448 449450451452453 454

455456 457458 459460461462463464

465 4467

468469470

471

472 473474475476477478

479480481 48248

123 456789

1213 1516

171819

202122 232425 262728 2930

31233 343536 37

38

39

40414243

4445

464748

4950

5152

53545556 57 585960 616263 646566 676869 707172 737475 7677787980

818283848586 8788

8990 91

929394959697 9899100101

102103 104105106 107

108109 110111112

113114115 116117118

119 120121122 123124125

126127128129130131132133

134135136

137 138139140 141142143144145

146 147148149

150151152153154

15556 157158159

160161162163164

165166167

168

169170 171172

173174

175176

177178179180

181

182

183184185186187

188

189190191192193194 195196197

198199

200 201202

203204205206207208 209210211

212213214215

216217

21821220

221222223224 225226227

228 229230231 232233234 235

236237 238239

240

241242243244245

2

247248249250251252 253

254255

256 257258 259260261

262263264265266

267268269 270271272 273

274275276 277278

279280281

2

283284285 286287288289290291 292293294295296297 298

299300301

302303304305306

307308309310311312

313

314

315 316317

318

319320321

322323324 3

32632

328329330 331

332333 334335336337

338 339340341342

343344345346347348349

350

351352353 354

355356357358359360 361 362363364365 366367 368 369370371 372373374 375376377

378379380

333

384 385386387388389 390391

392393394395396 397398399400401402 403404405

406407408

409410

411 412 413

414415

416417418 419420 421422423424425426 427 428

429430

431432433

434435436437438

439440

441442443

444445446 447448449

450451452 453454 455456457458459460 461

462463464 46546467

Imagen 2 - 467 Puntos

6



Ejemplo 1

130 Correspondencias (dos planos) - 96% buenas

7



Ejemplo 1

130 Correspondencias (dos planos) - 96% buenas

8



Características: LíneasLíneas + LSR [Burns-86]

0 o

1

23

4

5

67

8

0o1

23

4

5

6 7

8

9



Ejemplo 1

Correspondencias inicio 37 14 erróneas

Correspondencias final 28

Todas buenas como líneas

1 errónea como segmento

10



Ejemplo 2

Líneas extraídas 246 Líneas extraídas 262

1

2

3

45

6

7

8

910

111213 14

151617 18

1920

21222324

2526

27

28 2930

31323334

35

3637

3839404142 4344

45464748 4950 515253

54555657 58 59

6061

6263

646566 67 6869

70 7172

73

74 75767778 79 8081

82 83 8485 86

87

88 89

9091

92 93

94 95

969798 99

100

101 102103104

105106

107

108109

110

111112113

114115

116

117118

119

120 121122123124125126 127

128

129130131132133 134

135 136137138 139140 141142143144

145 146147148149150 151

152 153 154155 156 157158159

160161 162163164

165

166167 168169170171 172173 174

175176177178179

180181

182183

184

185186

187188 189190 191192

193194 195 196197 198

199200201202 203

204

205

206

207

208209 210

211 212213

214215

216

217218 219

220221 222 223

224225

226

227228229230

231232233

234235236237

238

239

240241242 243

244

245246

12

34

5

6789

10 1112

13

1415

1617 18

19202122 23

2425

26 272829

303132

3334 35 36

37

3839 404142 4344

45 4647 484950 51 5253

54555657

585960

61 62 6364

6566

67

68 697071

72 7374

7576

77 78

79

80 81

828384

8586 87 888990

9192

93 9495 9697

98

99

100

101

102 103104

105

106 107108109 110111

112113 114115 116117

118

119120121122

123

124125126127 128 129

130131 132

133 134

135

136137138 139140

141142143 144145146 147148 149150

151152 153 154155 156157 158159160

161162163 164165166167168169170171172

173174 175176 177178

179180181 182183

184185186 187188189 190

191192193

194195

196197 198199 200 201 202 203

204205

206

207

208 209210

211

212

213214215216

217218

219220

221222

223224 225226

227

228229230

231232 233

234235

236237

238239

240241 242243244245 246247248

249250 251252 253254255256

257258

259

260

261

262

11



Ejemplo 2

147 Correspondencias Iniciales (20% erróneas)

1 23

456 7

8

91011

12

13

14

15161718

19

20

21222324 25

26 2728 2930

313233

343536 3738

39 4041

42

43

44

45

464748 49

50 51

52

53 5455

5657 5859

6061

62

63

6465

66

67

68 69

70

717273

74 757677 7879 8081

8283848586 87

88 8990 91 9293 949596

9798 99100101 102103 104

105106107108

109110111 112

113114

115116 117118 119

120121 122

123124

125

126

127

128

129

130

131132

133

134135

136 137

138

139140141142

143

144145

146

147

12

3

456 7

89

101112

13

1415161718

19

20

21

22 2324 2526 2728

2930

31323334 3536

37383940

41

4243

44

45

464748 49

50 51

52

53 5455

5657 585960 61

62

636465

6667

68 69

70

7172

73

7475

767778

7980

818283

848586 8788 8990 91 92

9394

959697

98 99100101102

103 104105106107

108109110111 112

113114115116 117118 119

120121 122

123 124

125

126

127128

129

130

131

132133134

135136137

138 139140

141142

143

144145

146

147

12



Ejemplo 2

159

239

1 2

3

45

6 7

8

9

101112

13

14

151617

18

19

20

2122

2324 2526 2728 29

30

313233

34

3536

373839 4041

42

43

44

45

464748 49

50 51

52

53 5455

5657 5859

6061

62

63

6465

66

67

68 69

70

717273

74 757677 7879 80

818283

8485

86 8788 8990 91 92

93 949596

97

98 99100101 102103 104105106107

108109

110111 112

113114

115116 117118 119

120121 122

123124

125

126

127

128

129

130

131132

133

134135

136 137

138

139140

141142

143

144145

146

147

12

3

45

6 7

8

9

101112

13

14

1516

1718

19

20

21

22 2324 25

262728

2930

31323334

3536

373839

4041

4243

44

45

464748 49

50 51

52

53 5455

5657 58

5960 61

62

63

6465

66

67

68 69

70

7172

73

7475

767778

7980

818283

848586

8788 8990 91 92

9394

9596

97

98 99100101102

103 104105106107

108109

110111 112

113114115116 117118 119

120121 122

123 124

125

126

127128

129

130

131

132133134

135136

137138 139

140

141142

143

144145

146

147

12

34

5

678

9101112

131415 1617

181920

21

22

23

2425

26272829

30 31 32

3334 3536

37 3839 4041

4243444546

47484950

5152

53

54

55

56

57

5859

60

61

62

63

64

6566

6768

69

707172 73

7475

7677

78

79

80

1

23

4

5

678

9101112131415 16

171819

2021

2223

2425

262728

2930

31 32

333435

36

3738

3940

41 4243444546

47484950

5152

53

54

55

56

57

5859

60

61

62

63

64

6566

6768

69

707172 73

7475 7677

78

79

80

115 Correspondencias finales (99% buenas)

13



Ejemplo 2

1 2

3

45

6 7

8

9

101112

13

14

151617

18

19

20

2122

2324 2526 2728 29

30

313233

34

3536

373839 4041

42

43

44

45

464748 49

50 51

52

53 5455

5657 5859

6061

62

63

6465

66

67

68 69

70

717273

74 757677 7879 80

818283

8485

86 8788 8990 91 92

93 949596

97

98 99100101 102103 104105106107

108109

110111 112

113114

115116 117118 119

120121 122

123124

125

126

127

128

129

130

131132

133

134135

136 137

138

139140

141142

143

144145

146

147

12

3

45

6 7

8

9

101112

13

14

1516

1718

19

20

21

22 2324 25

262728

2930

31323334

3536

373839

4041

4243

44

45

464748 49

50 51

52

53 5455

5657 58

5960 61

62

63

6465

66

67

68 69

70

7172

73

7475

767778

7980

818283

848586

8788 8990 91 92

9394

9596

97

98 99100101102

103 104105106107

108109

110111 112

113114115116 117118 119

120121 122

123 124

125

126

127128

129

130

131

132133134

135136

137138 139

140

141142

143

144145

146

147

1

2 3 45

6 7 8

9

10

11

1213

14 151617

18

19

20

2122232425

26

27

28

29

303132

33

34

35

3637

383940

41

424344

4546 4748 49

50 51

52

1

23 45

6 7 8

9

10

11

1213

1415 1617

18

19

20

2122232425

26

27

28

29

303132

33

34

35

3637

383940

41

424344

4546 4748 49

50

51

52

50 Correspondencias finales (99% buenas)

14



Características: SIFT-SURF

SIFT: Scale Invariant Features Transform [Lowe-2004]SURF: Speed-up Robust Features [Bay-2006]

Máximos locales del determinante del HessianoHaar wavelet

Optimización del cálculo mediante imágenes integrales

= *

15



Ejemplo 1

16



Control de movimiento

Vehículos No-holónomosControl automático hacia el objetivo

Definido mediante una imagen en esa posiciónNo hay consideraciones de evitación de obstáculos

Una cámaraBasado en posición / Basado en imagenCálculo de Homografía

[Isidori

95], [Ma

99], [Tsakiris

98], [Benhimane

05], [Corke

01]

x

z

Target

Initial

φ

17




Imagen objetivo

Imagen ActualExtracciónCaracterísticas

ExtracciónCaracterísticas

Matching Homografía LeyControl Robot

18



Control de movimientoHomografía

Dos imágenes relacionadas mediante una homografíaHomografía viene generada por un plano de la escenaCalculo a partir de la correspondencia de puntos, líneas, SIFT, SURF.Objetivo: H = I C2

HC1

p2 p1

p

p2 = H p1

π

19



Control de movimientoLey de Control

La homografía estárelacionada con el movimiento relativo entre las cámaras

Movimiento plano

Relación no lineal de H con el estado del sistema

[Benhimane

06], [Malis

00], [Fang

05]

20




Linealización Entrada-Salida2 gdl → Dos elementos de la homografía son suficientes para definir el controlModelo en espacio de estado

Derivadas de las funciones de salida:

State

vector:Input

vector:

Output vector:With:

21




Linealización Entrada-SalidaRelación lineal del control con la nueva salida

Seguimiento de las trayectorias deseadasDinámica del error exponencialmente estable

With:

22




Linealización Entrada-SalidaTrayectorias deseadas

23




Simulaciones

24




Simulaciones

25




Simulaciones (Ruido en la imagen 1 pixel)

26




Limitaciones de la HomografíaEscena PlanaPequeña “baseline”

Alternativamente: Epipolos

CcCc

Ct

Ct

Imagen objetivo

Objetivo

ImagenActual

Actual

Movimiento plano

27




Epipolo Actual:

Epipolo Objetivo:

28




Linealización de Entrada-Salida

Ley de control: relación lineal del control con las nuevas salidas

[Mariottini

04]

29




Epipolos - Ejemplo 1

30



Conclusiones

Control de movimiento a partir de características visuales

Ley de control basada en los elementos de la Homografía

Limitaciones para escenas no planas

Epipolos a partir de la Matriz Fundamental

Trabajo FuturoPosición inicial cualquiera. Incorporación de maniobras

Incorporación de restricciones de campo de vista

Obtención de trayectorias óptimas

Documents

Caraterísticas Visuales y Control de Movimientowebdiis.unizar.es/~neira/docs/CSagues-CEDI2007.pdf · Control de movimiento ¾ Basado en Homografía ¾ Basado en Epipolos Conclusiones