7/23/2019 Publicacao sobre o Caos
1/204
INPE-10040-TDI/884
ASPECTOS DE MAPAS CATICOS ACOPLADOS PARAPROCESSAMENTO DE INFORMAES
Juliano Carvalho Sanso
Dissertao de Mestrado em Computao Aplicada, orientada pelo Dr. Elbert EisteinNeher Macau, aprovada em 27 de fevereiro de 2002.
INPE
So Jos dos Campos
2003
7/23/2019 Publicacao sobre o Caos
2/204
681.3.019
SANSO, J. C. Aspectos de mapas caticos acoplados para processa- mento de informaes / J. C. Sanso. So Jos dos Cam- pos: INPE, 2002. 202p. (INPE-10040-TDI/884).
1.Sistemas dinmicos. 2.Atratores estranhos. 3.Caos. 4.Redes neurais. 5.Otimizao. 6.Processamento de infor- maes. 7.Inteligncia artificial. I.Ttulo.
7/23/2019 Publicacao sobre o Caos
3/204
7/23/2019 Publicacao sobre o Caos
4/204
7/23/2019 Publicacao sobre o Caos
5/204
7/23/2019 Publicacao sobre o Caos
6/204
7/23/2019 Publicacao sobre o Caos
7/204
AGRADECIMENTOS
Agradeo a amizade, orientao, incentivo e apoio do Dr. Elbert E. N. Macau durante todo
o desenvolvimento do meu mestrado. Sua ateno, pacincia, conselhos e ensinamentos
fizero com que eu conseguisse estender meus horizontes de maneira a criar independncia
e conhecimento suficientes para continuar crescendo no meio cientfico.
Agradeo aos meus pais, Jos Luiz Sanso e Margareth Carvalho Sanso, e aos meu
irmos, Cristiano C. Sanso e Fabiano C. Sanso, pelo grande apoio e incentivo, no s
durante o mestrado, mas durante toda a minha vida. Tenho certeza que se no fosse pela
influncia destes, hoje eu no seria um mestre.
Agradeo aos meus amigos, principalmente a Dr. Maisa Oliveira Terra (Maisinha), sua
ajuda foi de extrema importncia, mas sua amizade foi fundamental; Jeferson da Silva
Cintra, Michele Aparecida Guimares e Anderson Luiz Portela, pelas risadas e apoio
quando eu precisei e Bruno Alos Forlin Roth, pelo companherismo durante todo o
mestrado.
Agradeo aos professores da CAP, no s pelo conhecimento transferido, mas o incentivo e
companheirismo que sempre demostraram, principalmente ao Dr. Haroldo Fraga de
Campos Velho, Dr. Fernando Manuel Ramos e Dr. Reinaldo Roberto Rosa.
Agradeo aos membros da banca pelo seu tempo e por suas importantes contrbuies.
Agradeo ao Dr. Clvis Solano Pereira e a toda equipe do LIT, principalmente a Margarete
Batista de Toledo Ribeiro e Horcio Hroiti Sawame, por todo o apoio que me foi dado.
Agradeo ao CNPq pelo apoio financeiro.
Agradeo ainda a todas as pessoas que de alguma maneira auxiliaram no desenvolvimento
deste trabalho.
7/23/2019 Publicacao sobre o Caos
8/204
7/23/2019 Publicacao sobre o Caos
9/204
7/23/2019 Publicacao sobre o Caos
10/204
RESUMO
Uma rede de mapas acoplados globalmente (GCM) uma rede de elementos globalmente
conectados. Neste trabalho primeiramente so investigados modelos baseados no GCM e na
rede de Hopfield. Atravs de modificaes, como mudana da dinmica local do GCM (S-
GCM) e auto-realimentao do elemento de processamento da rede de Hopfield, possvel
usar os modelos como uma memria associativa. Em segundo, atravs da explorao da
dinmica catica de modo a evitar mnimos esprios, foi possvel propor duas novas redes
que primeiramente foram aplicadas em problemas de otimizao, mas que so passveis de
processar informao de modo associativo. Uma delas uma modificao da rede S-GCM
com uma determinada taxa de auto-realimentao e a outra baseada em uma caracterstica
especfica do GCM quando da troca de atratores da rede atravs de perturbaes. Por fim,
os resultados das redes so confrotados de modo a analisar de forma numrica o tamanho
das bacias de atrao, restries impostas pelas arquiteturas, capacidade de memria, tempo
de associao e a capacidade de minimizao.
7/23/2019 Publicacao sobre o Caos
11/204
7/23/2019 Publicacao sobre o Caos
12/204
7/23/2019 Publicacao sobre o Caos
13/204
7/23/2019 Publicacao sobre o Caos
14/204
7/23/2019 Publicacao sobre o Caos
15/204
7/23/2019 Publicacao sobre o Caos
16/204
7/23/2019 Publicacao sobre o Caos
17/204
7/23/2019 Publicacao sobre o Caos
18/204
7/23/2019 Publicacao sobre o Caos
19/204
7/23/2019 Publicacao sobre o Caos
20/204
7/23/2019 Publicacao sobre o Caos
21/204
7/23/2019 Publicacao sobre o Caos
22/204
7/23/2019 Publicacao sobre o Caos
23/204
7/23/2019 Publicacao sobre o Caos
24/204
7/23/2019 Publicacao sobre o Caos
25/204
7/23/2019 Publicacao sobre o Caos
26/204
7/23/2019 Publicacao sobre o Caos
27/204
7/23/2019 Publicacao sobre o Caos
28/204
7/23/2019 Publicacao sobre o Caos
29/204
7/23/2019 Publicacao sobre o Caos
30/204
7/23/2019 Publicacao sobre o Caos
31/204
7/23/2019 Publicacao sobre o Caos
32/204
30
almente com a implementao de modelos cognitivos que procuram reduzir as capacidades
naturais do crebro humano [18].
A sinergia de esforos com outras reas do conhecimento relacionadas beneficia no apenas o
desenvolvimento da neurocomputao. Assim, pesquisas na rea da neurofisiologia prometem
avanos mais substanciais a respeito do crebro humano por estudar redes neurais artificiais
que realizam com sucesso tarefas cognitivas. Psiclogos encontram a oportunidade de praticar
novas teorias de aprendizagem, verificando sua eficincia e engenheiros eletrnicos
aperfeioam a microeletrnica ao vencer obstculos de implementao em hardware de
arquiteturas de redes neurais.
Boa parte do jargo utilizado em neurocomputao tomado emprestado da biologia.
Expresses como neurnio, sinapse e conexes sinpticas so de uso freqente. A fim de evitar
confuso, o termo neurnio pode ser substitudo pelo termo de elemento de processamento
(EP). Os modelos de redes neurais artificiais, no entanto, constituem ema simplificao a
respeito do funcionamento do verdadeiro neurnio biolgico. Essencialmente, a abstrao que
conduz ao elemento de processamento das redes neurais artificiais procura efetivar uma
modelagem matemtica simplificada do comportamento dos sinais eltricos envolvidos na
atividade neural. No estgio atual, as pesquisas no adentram nas complexidades dos processos
bioqumicos envolvidos, na dinmica de neurotransmissores e na atuao das enzimas [18;19].
No artigo clssico intituladoA Logiacal Calculus of the Ideas Immanent in Nervous Activity,
publicado em 1943, Macculoch e Pitts [12] propuseram um modelo simplificado de neurnios
biolgicos. O modelo baseia-se no fato de que, em dado instante de tempo, o neurnios
biolgicos. O modelo baseia-se no fato de que, em dado instante de tempo, o neurnio ou est
disparando ou est inativo. Os fatos bsicos que tornaram possvel a modelagem matemtica
do neurnio foram:
neurnios comportam-se como somadores algbricos; adicionam entradas
excitatrias e subtraem entradas inibitrias;
neurnios possuem uma propriedade de limiar, isto , quando as entradas integradas
excedem o limiar, disparam um sinal atravs do axnio;
7/23/2019 Publicacao sobre o Caos
33/204
7/23/2019 Publicacao sobre o Caos
34/204
7/23/2019 Publicacao sobre o Caos
35/204
7/23/2019 Publicacao sobre o Caos
36/204
7/23/2019 Publicacao sobre o Caos
37/204
7/23/2019 Publicacao sobre o Caos
38/204
7/23/2019 Publicacao sobre o Caos
39/204
7/23/2019 Publicacao sobre o Caos
40/204
7/23/2019 Publicacao sobre o Caos
41/204
Camada
de entrada
Camada
de Sada
7/23/2019 Publicacao sobre o Caos
42/204
Camada
de entrada
Camada
de Sada
Camada Escondida
7/23/2019 Publicacao sobre o Caos
43/204
Camada
de entrada
Camada
de Sada
Camada Escondida
Elemento
de atraso
7/23/2019 Publicacao sobre o Caos
44/204
Camada deEntrada
Camada de Sada
7/23/2019 Publicacao sobre o Caos
45/204
Camada de
Entrada
Camada de Sada
7/23/2019 Publicacao sobre o Caos
46/204
7/23/2019 Publicacao sobre o Caos
47/204
7/23/2019 Publicacao sobre o Caos
48/204
7/23/2019 Publicacao sobre o Caos
49/204
7/23/2019 Publicacao sobre o Caos
50/204
7/23/2019 Publicacao sobre o Caos
51/204
7/23/2019 Publicacao sobre o Caos
52/204
7/23/2019 Publicacao sobre o Caos
53/204
7/23/2019 Publicacao sobre o Caos
54/204
7/23/2019 Publicacao sobre o Caos
55/204
7/23/2019 Publicacao sobre o Caos
56/204
7/23/2019 Publicacao sobre o Caos
57/204
7/23/2019 Publicacao sobre o Caos
58/204
+
+
net
0
-1
1
onet
c(d - o ) x
d -o
+
i
d
w
x
-
i
i i
i i
i
i
c
x
x
x
x
xn
j
3
2
1
w i1
w i2
w i3
w ij
w in
7/23/2019 Publicacao sobre o Caos
59/204
7/23/2019 Publicacao sobre o Caos
60/204
+
c(d - o ) x
d -o
w
x
i i
i i
i
c
x
x
x
x
xn
j
3
2
1
w i1
w i2
w i3
w ij
w in
f(net )i
r
d
o
Perceptron
Contnua
i
i
+
-
f'(net )i
7/23/2019 Publicacao sobre o Caos
61/204
7/23/2019 Publicacao sobre o Caos
62/204
...
... ...
...
x
x
x
o
o
o
1
j
n
1
p
m
w11
w1j
w1n
wm1
wmj
wmn
wp1
wpj
wpn
Neurnio
Vencedor
7/23/2019 Publicacao sobre o Caos
63/204
7/23/2019 Publicacao sobre o Caos
64/204
...
...
...
...
x
x
x
o
o
o
1
j
n
1
p
m
w11
w1j
w1n
wm1
wmj
wmn
wp1
wpj
wpn
Neurnio
Vencedor
+
+
+
+
+
+
-
-
-
d
d
d
1
m
p
B
B
B
wpj
wmj
w1j
7/23/2019 Publicacao sobre o Caos
65/204
7/23/2019 Publicacao sobre o Caos
66/204
7/23/2019 Publicacao sobre o Caos
67/204
7/23/2019 Publicacao sobre o Caos
68/204
7/23/2019 Publicacao sobre o Caos
69/204
7/23/2019 Publicacao sobre o Caos
70/204
7/23/2019 Publicacao sobre o Caos
71/204
7/23/2019 Publicacao sobre o Caos
72/204
7/23/2019 Publicacao sobre o Caos
73/204
7/23/2019 Publicacao sobre o Caos
74/204
7/23/2019 Publicacao sobre o Caos
75/204
7/23/2019 Publicacao sobre o Caos
76/204
7/23/2019 Publicacao sobre o Caos
77/204
7/23/2019 Publicacao sobre o Caos
78/204
7/23/2019 Publicacao sobre o Caos
79/204
7/23/2019 Publicacao sobre o Caos
80/204
7/23/2019 Publicacao sobre o Caos
81/204
7/23/2019 Publicacao sobre o Caos
82/204
7/23/2019 Publicacao sobre o Caos
83/204
7/23/2019 Publicacao sobre o Caos
84/204
7/23/2019 Publicacao sobre o Caos
85/204
7/23/2019 Publicacao sobre o Caos
86/204
7/23/2019 Publicacao sobre o Caos
87/204
7/23/2019 Publicacao sobre o Caos
88/204
7/23/2019 Publicacao sobre o Caos
89/204
87
CAPTULO 4
REDE DE HOPFIELD
Na dcada de 80, usavam-se circuitos eletrnicos extremamente complicados na tentativa
de se produzirem respostas parecidas com a das redes neurais biolgicas [24]. Hopfield,
entretanto, julgava improvvel que esses circuitos complicados e altamente organizados
atingissem adequadamente seus objetivos. Ao invs disso, ele acreditava que se um
grande nmero de neurnios tivessem propriedades coletivas computacionais teis,
simplesmente surgidas devido ao seu nmero, existiria uma chance maior do uso de tais
blocos, que so mais simples e menos ordenados, melhor representarem a memria
biolgica. Hopfield mostrou em 1982, em seu artigo entitulado Neural networks and
physical systems with emergent collective computational abilities [17], que um grande
nmero de mdulos de neurnios altamente estilizados possui propriedades coletivas e
mostrou que um conjunto de mdulos de neurnios no-lineares operando de forma
assncrona podem armazenar informaes com estabilidade e eficincia, sendo que as
informaes podem ser recuperadas com alguma capacidade de correo de erros. Ele
mostrou tambm que alm do seu modelo ser muito robusto, este poderia trabalhar
mesmo com outros detalhes biolgicos adicionados.
A rede de Hopfield uma rede recorrente que introduziu um profundo princpio fsico. A
armazenagem de informao em uma configurao dinamicamente estvel. Assim, a rede
treinada de maneira que estados estveis correspondam a mninos locais de uma funo
de energia.
Antes do seu trabalho mais influente em 1982 [17], esta abordagem j tinha atrado a
ateno de vrios pesquisadores, Grossberg (1967,1968) [51,52,53,54,55,56,57],
Amari (1972) [58] e Little (1974) [59], entre outros. O trabalho de alguns destes
predatam o trabalho de Hopfield em mais de uma dcada. Apesar disto, foi Hopfield
quem primeiro formulou o princpio fsico de armazenagem de informao em uma
rede dinamicamente estvel. A idia de Hopfield de localizar cada padro no fundo de
7/23/2019 Publicacao sobre o Caos
90/204
7/23/2019 Publicacao sobre o Caos
91/204
7/23/2019 Publicacao sobre o Caos
92/204
7/23/2019 Publicacao sobre o Caos
93/204
7/23/2019 Publicacao sobre o Caos
94/204
7/23/2019 Publicacao sobre o Caos
95/204
7/23/2019 Publicacao sobre o Caos
96/204
7/23/2019 Publicacao sobre o Caos
97/204
7/23/2019 Publicacao sobre o Caos
98/204
7/23/2019 Publicacao sobre o Caos
99/204
7/23/2019 Publicacao sobre o Caos
100/204
7/23/2019 Publicacao sobre o Caos
101/204
7/23/2019 Publicacao sobre o Caos
102/204
7/23/2019 Publicacao sobre o Caos
103/204
7/23/2019 Publicacao sobre o Caos
104/204
7/23/2019 Publicacao sobre o Caos
105/204
7/23/2019 Publicacao sobre o Caos
106/204
7/23/2019 Publicacao sobre o Caos
107/204
7/23/2019 Publicacao sobre o Caos
108/204
7/23/2019 Publicacao sobre o Caos
109/204
7/23/2019 Publicacao sobre o Caos
110/204
7/23/2019 Publicacao sobre o Caos
111/204
109
Ao tamanho total do caminho.
Os valores de x e y usados como ndices respeito posio no espao das cidades. A matriz
de pesos resultantes e limiares correntes podem ser ento obtidos pela soma das energias
descritas acima da forma da energia total na Equao 4.27. Os pesos computados para este
problema so [67]:
Onde ij a funo delta de Kronecker definida como ij = 1, para i = j, e ij = 0, para i j.
As constantes positivas A, B, C e D so selecionadas heuristicamente para fazer a soma
apropriada de termos. Estas constantes so responsveis por impor um peso a uma ou outra
penalidade na soma total de energia. O limiar externo definido como:
Os quatro termos da matriz de pesos 4.33 foram gerados pelas quatro partes da funo de
energia das Equaes 4.28 at 4.31 respectivamente. O termo E1 leva a uma conexo
inibitria de valor A cada linha. O termoE2 causa uma inibio idntica para cada coluna.
O termo E3 resulta em uma inibioglobal gerada por cada peso. O termo E4 contm a
contribuio das distncias entre as cidades. Finalmente, o limiar configurado para um
certo nvel de excitao, como descrito na Equao 4.34. A funo de ativao definida
da forma usual, com exceo do limiar aplicado:
(4.32)
(4.34)
(4.33)
(4.35)
(4.36)
7/23/2019 Publicacao sobre o Caos
112/204
7/23/2019 Publicacao sobre o Caos
113/204
7/23/2019 Publicacao sobre o Caos
114/204
7/23/2019 Publicacao sobre o Caos
115/204
7/23/2019 Publicacao sobre o Caos
116/204
7/23/2019 Publicacao sobre o Caos
117/204
7/23/2019 Publicacao sobre o Caos
118/204
7/23/2019 Publicacao sobre o Caos
119/204
7/23/2019 Publicacao sobre o Caos
120/204
7/23/2019 Publicacao sobre o Caos
121/204
7/23/2019 Publicacao sobre o Caos
122/204
7/23/2019 Publicacao sobre o Caos
123/204
7/23/2019 Publicacao sobre o Caos
124/204
7/23/2019 Publicacao sobre o Caos
125/204
7/23/2019 Publicacao sobre o Caos
126/204
7/23/2019 Publicacao sobre o Caos
127/204
7/23/2019 Publicacao sobre o Caos
128/204
7/23/2019 Publicacao sobre o Caos
129/204
7/23/2019 Publicacao sobre o Caos
130/204
7/23/2019 Publicacao sobre o Caos
131/204
7/23/2019 Publicacao sobre o Caos
132/204
7/23/2019 Publicacao sobre o Caos
133/204
7/23/2019 Publicacao sobre o Caos
134/204
7/23/2019 Publicacao sobre o Caos
135/204
7/23/2019 Publicacao sobre o Caos
136/204
7/23/2019 Publicacao sobre o Caos
137/204
7/23/2019 Publicacao sobre o Caos
138/204
7/23/2019 Publicacao sobre o Caos
139/204
7/23/2019 Publicacao sobre o Caos
140/204
7/23/2019 Publicacao sobre o Caos
141/204
7/23/2019 Publicacao sobre o Caos
142/204
7/23/2019 Publicacao sobre o Caos
143/204
7/23/2019 Publicacao sobre o Caos
144/204
7/23/2019 Publicacao sobre o Caos
145/204
7/23/2019 Publicacao sobre o Caos
146/204
7/23/2019 Publicacao sobre o Caos
147/204
7/23/2019 Publicacao sobre o Caos
148/204
7/23/2019 Publicacao sobre o Caos
149/204
7/23/2019 Publicacao sobre o Caos
150/204
7/23/2019 Publicacao sobre o Caos
151/204
7/23/2019 Publicacao sobre o Caos
152/204
x0
xn
SGCMO
CI
V
7/23/2019 Publicacao sobre o Caos
153/204
7/23/2019 Publicacao sobre o Caos
154/204
7/23/2019 Publicacao sobre o Caos
155/204
7/23/2019 Publicacao sobre o Caos
156/204
7/23/2019 Publicacao sobre o Caos
157/204
7/23/2019 Publicacao sobre o Caos
158/204
7/23/2019 Publicacao sobre o Caos
159/204
7/23/2019 Publicacao sobre o Caos
160/204
7/23/2019 Publicacao sobre o Caos
161/204
7/23/2019 Publicacao sobre o Caos
162/204
7/23/2019 Publicacao sobre o Caos
163/204
7/23/2019 Publicacao sobre o Caos
164/204
0 0.5 10
0.2
0.4
0.6
0.8
1
p(0)
p(1)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(1)
p(2)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(2)
p(3)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(3)
p(4)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(0)
p(1)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(1)
p(2)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(2)
p(3)
0 0.5 10
0.2
0.4
0.6
0.8
1
p(3)
p(4)
(1)
(2)
7/23/2019 Publicacao sobre o Caos
165/204
7/23/2019 Publicacao sobre o Caos
166/204
7/23/2019 Publicacao sobre o Caos
167/204
0 20 40 60 80 100 120 140 160 180 2000
2
4
6
8
10
12
14
16
n
kp(n)
7/23/2019 Publicacao sobre o Caos
168/204
0 20 40 60 80 100 120 140 160 180 2000
2
4
6
8
10
12
14
16
n
kp(n)
7/23/2019 Publicacao sobre o Caos
169/204
0 20 40 60 80 100 120 140 160 180 2000
2
4
6
8
10
12
14
16
n
kp(n)
7/23/2019 Publicacao sobre o Caos
170/204
0q
nq oVk
HOPFGCM C
7/23/2019 Publicacao sobre o Caos
171/204
7/23/2019 Publicacao sobre o Caos
172/204
7/23/2019 Publicacao sobre o Caos
173/204
0 20 40 60 80 100 120 140 160 180 2001
0.5
0
0.5
1
1.5
n
q(Xi)
0 20 40 60 80 100 120 140 160 180 2004
3.5
3
2.5
2
1.5
1
0.5
0
n
En
7/23/2019 Publicacao sobre o Caos
174/204
7/23/2019 Publicacao sobre o Caos
175/204
0 5 10 15 20 25 30 35 40 45 501
0.8
0.6
0.4
0.2
0
0.2
0.4
0.6
0.8
1
0 5 10 15 20 25 30 35 40 45 505
4
3
2
1
0
1
2
3
4
n
En(i)
0 5 10 15 20 25 30 35 40 45 503.4
3.5
3.6
3.7
3.8
3.9
4
n
a(i)
7/23/2019 Publicacao sobre o Caos
176/204
7/23/2019 Publicacao sobre o Caos
177/204
0 5 10 15 20 25 301
0.8
0.6
0.4
0.2
0
0.2
0.4
0.6
0.8
1
n
v(i)
7/23/2019 Publicacao sobre o Caos
178/204
0 5 10 15 20 25 300.8
0.6
0.4
0.2
0
0.2
0.4
0.6
n
En(i)
0 5 10 15 20 25 303.3
3.4
3.5
3.6
3.7
3.8
3.9
4
n
a(i)
7/23/2019 Publicacao sobre o Caos
179/204
7/23/2019 Publicacao sobre o Caos
180/204
7/23/2019 Publicacao sobre o Caos
181/204
0 500 1000 1500 2000 25000.2
0
0.2
0.4
0.6
0.8
1
1.2
n
v(Xi)
500 550 600 650 700 750 800
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
n
v(Xi)
7/23/2019 Publicacao sobre o Caos
182/204
1 2 3 4 5 6 7 8 9 102
1.5
1
0.5
0
0.5
1
Iteracao
En(Xi)
7/23/2019 Publicacao sobre o Caos
183/204
7/23/2019 Publicacao sobre o Caos
184/204
182
reas do desenvolvimento da computao na inteligncia artificial. Em ambos os casos, uma
das primeiras questes que surgem quando a capacidade de memria destes sistemas ou a
capacidade de minimizao da funo energia. No que diz respeito a capacidade de
memria, a pergunta qual a quantidade de informao que pode ser armazenada eefetivamente recuperada da rede. primordial saber, por exemplo, como o nmero de
elementos (neurnios e sinapses) em uma rede. Isto est diretamente relacionado a questo
como a capacidade de uma rede escapar de mnimos locais, que no configuram o atrator
desejado, ou o tamanho da bacia de atrao.
A capacidade de uma rede pode ser quantificada de vrias formas. Ela pode ser expressa,
por exemplo, como se segue:
o nmero de bits armazenados por neurnios;
o nmero de bits armazenados por neurnios;
o nmero de padres armazenados por neurnios;
o nmero de padres armazenados por sinapse;
Qualquer destes itens devem ser suportados por qualificaes de informao. Observa-seque a utilidade destas quantificaes fortemente dependente do nvel de correlao entre
os padres [70]. Em uma rede que armazena um nmero de padres altamente correlatos, a
recuperao de qualquer um dos padres prediz, com uma grande probabilidade, a estrutura
de um padro recuperado mediante qualquer outro estmulo, ou seja, altamente provvel
que o padro recuperado por um estmulo seja igual a outro recuperado por um estmulo
diferente. Por outro lado, se os padres armazenados so completamente no-correlatos, ou
ortogonais, ento a recuperao da memria por um estmulo completamente diferente do
resultado obtido por outro estmulo. Para estipular a capacidade mxima da rede, os padres
que sero utilizados como conjunto de prova sero vetores binrios ortogonais [35].
As principais propriedades que determinam a qualidade do sistema para armazenamento de
memrias so:
7/23/2019 Publicacao sobre o Caos
185/204
7/23/2019 Publicacao sobre o Caos
186/204
7/23/2019 Publicacao sobre o Caos
187/204
7/23/2019 Publicacao sobre o Caos
188/204
7/23/2019 Publicacao sobre o Caos
189/204
7/23/2019 Publicacao sobre o Caos
190/204
5 10 15 20 25 30 35 40 45 500
5
10
15
20
25
30
Diferenca 1,1
DistanciadeHamminginicialH
SGCM
Hopfield
7/23/2019 Publicacao sobre o Caos
191/204
7/23/2019 Publicacao sobre o Caos
192/204
7/23/2019 Publicacao sobre o Caos
193/204
7/23/2019 Publicacao sobre o Caos
194/204
7/23/2019 Publicacao sobre o Caos
195/204
7/23/2019 Publicacao sobre o Caos
196/204
7/23/2019 Publicacao sobre o Caos
197/204
195
REFERNCIAS BIBLIOGRFICAS
[1] Farmer, D.; Lapedes, A; Packard, N.; Wendroff, B. Evolution, games and learning:
models for adaptation in machines and nature. Physica D, v. 22, n. 1-3, r7 - r12
oct nov, 1986.
[2] Ishii, S.; Fukumizu, K.; Watanabe, S. A network of chaotic elements for information
processinng. Neural Networks, v. 9, n. 1, p. 25-40, 1996.
[3] Nozawa, H. A neural network model as a globally coupled map and applications based
on chaos. Chaos, v. 2, n. 3, p. 377-387, 1992.
[4] Aihara, K.; T.; Toyoda, M. Chaotic neural networks. Physics Letters A, v. 144, n. 6-7,
p. 333-340,1990.
[5] Eckhorn, R.; Bauer, R.; Jordan, W.; Brosch, M.; Kruse, W.; Reiboeck, H. J. Coherent
oscillations: a mechanism of feacture linking in the visual cortex ? Biological
Cybernetics, v. 60, n. 2, p. 121-130. 1988.
[6] Skarda, Christine A.; Freeman, W. J. How brains make chaos in order to make sense of
the world. Behavioral and Brain Sciences, n. 10, p. 161-173, 1987.
[7] Babloyanz, A.; Nicolis, C.; Salazar, M. Evidence of chaotic dynamics of brain activity
during the sleep cycle. Physics Letters A, v. 111, n. 3, p. 152-156, 1985.
[8] Kaneko, K. Clustering, coding, swhitching, hierarchical ordering, and control in a network of chaotic elements. Physica D, v. 41, n. 2, p. 137-172, 1990.
[9] Kaneko, K. Pattern dynamics in spatiotemporal chaos. Physica D, n. 1-2, p. 1-41, 1989.
7/23/2019 Publicacao sobre o Caos
198/204
196
[10] Kaneko, K. Relevance of clustering to biological networks. Physica D, v.75, n. 1-3,
p. .55-75, 1994.
[11] Kaneko, K. Supertransients, spatiotemporal intermittency, and stability of fully
develped spatiotemporal chaos. Physics Letters A, v.149, n. 2-3, p. 105-112, 1990.
[12] Mcculloch, W. S.; Pitts, W. H. A logical calculus of the ideas imminent in nervous
activity. Bulletin of Mathematical Biophysics, v. 5, p. 115-125, 1943.
[13] Hebb, D. O. The organization of behavior. New York: John Wiley & Sons, 1949.
250 p.
[14] Rosenblatt, F. Principles of Neurodynamics. New York: Spartan Books, 1959. 320 p.
[15] Widrow, B.; Hoff, M. E. Adaptative switching circuits. In: Western Eletronic Show
and Convetion, New York. Anais.New York, Institute of Radio Engineers, 1960.
p.96-104.
[16] Minsky, M. L.; Papert, S. Perceptrons. Cambridge: MIT, 1969. 300p.
[17] Hopfield, J. J. Neural network and Physical systems with emergent collective
computational abilities. Proceedings of the National Academy of Science, v. 79, n. 1,
p. 2554-2558, Apr. 1982.
[18] Loesh, C. Deteo e diagnstico de irregularidades na indstria de fiao txtil.
Florianpolis, 143 p. Dissertao (Doutorado em Engenharia da Produo) UFSC,
1996.
[19] Churchland, P. S.; T. J. Sejnowski, 1992. The computational brain. Cambridge,
MA: MIT Press, 1980. 415 p.
7/23/2019 Publicacao sobre o Caos
199/204
197
[20] Amit, D. Modelling brain function. Cambridge: Cambridge University Press, 1989.
540 p.
[21] Ramny Cajl, S. Histologie du systme nerveux de lhomme et des vertbrs.
Paris: Maloine; Edition Fraaise Revue, 1952. Tome I. 652 p.
[22] Shepherd, G. M.; C. Koch. Introduction to synaptic circuits in The Synaptic
Organization of the Brain. New York: Oxford University Press, 1990.
[23] Faggin, F. VLSI implementation of neural networks. In: International Joint Conference
on Neural Networks, So Diego, 1995. Tutorial Notes. So Diego: Academic Press. 1995.
[24] Haykin, S. Neural networks: a comprehensive foundation. New York:
Macmillan/IEEE Press, 1994. 696 p.
[25] Freeman, W. J. Mass action in the nervous system. New York: Academic Press,
1975.
[26] Turing, A. M. The chemical basis of morphogenesis. Philosofical Transactions of the
Royal Society, Series B, v. 237, n. 641, p. 37-72, 1952.
[27] Stent, G. S. A physiological mechanism for Hebbs postulate of learning. Proceeding
of the National Academy of Science of the U.S.A. v. 70, n. 4, p. 997-1001, 1973.
[28] Changeux, J. P.; Danchin A. Selective stabilization of developing synapses as a
mechanism for the specification of neural networks. Nature, v. 264, p. 705, 1976.
[29] Brown, T.H.; Matan, O.; LeCun, Y.; Keenan, C.L. Hebbian synapses: biophysical
mechanism and algoritms. Annual Review of Neuroscience, v. 13, p. 475, 1973.
7/23/2019 Publicacao sobre o Caos
200/204
198
[30] Sejnowski, T.J. Strong covariance with nonlinearly interacting neurons. Jornal of
Mathematical Biology, v. 4, n. 4, p. 303, 1977.
[31] Sejnowski, T.J. Statistical constraints on synaptic plasticity. Journal of Theoretical
Biology, v. 69, n. 2, p. 385, 1977.
[32] Kelso, S. R.; Ganong, A. H.; Brown, T.H. Hebbian synapses in hippocampus.
Proceedings of the National Academy of the U.S.A, v. 83, n. 14, p. 5326-5330, 1986.
[33] Granger, R.; Whitson, J.; Larson, J.; Lynck, J. Non-Hebbian properties of LTP enable
high-capacity encoding of temporal sequences. Proceeding of the National Academy of Sciences of the U.S.A, v. 91, n. 21, p. 10104-10108, 1994.
[34] McClelland, T. L.; D. E. Rumelhart; PDP Research Group. Parallel distributed
processing. Cambridge: The MIT Press, 1986.
[35] Widrow, B. Generalization and Information Storage in networks of adaline neurons.
In: Yovits, M.C.; Jacobi, G. T.; Goldstein, G.D. ed. Self-Organizing Systems.
Woshington DC: Spartan Books, p. 435-461, 1962.
[36] Anderson, J.A.A memory model using spatial correlation functions. Kybernetik, v. 5,
n. 3, p. 113, 1968.
[37] Hecht-Nielsen, R. Counterpropagation networks. Applied Optics., v. 26, n. 23,
p. 4984, 1987.
[38] University of St. Andrews Scotland. History of mathematics. [on line]. 05/2000.
. May. 2000.
7/23/2019 Publicacao sobre o Caos
201/204
199
[39] Viana, Ricardo L. Introduo s redes de mapas acoplados modelos para o
estudo de caos espao-temporal. Notas de Aula Mini Curso Ps-Graduao
Instituto de Fsica USP 1999.
[40] Moreira, I. De C. Sistemas caticos em fsica uma introduo. Revista Brasileira de
Ensino de Fsica, v. 15, n.. 1-4, p. 163-170, 1992.
[41] Grebogi, C.; Ott, E.; Yorke J.A. Chaos, strange attractors, and fractal basin boundaries
in nonlinear dynamics. Science, v. 238, n. 4827, p. 632-638, 1987.
[42] Robison, C. Dynamical Systems: stability, symbolic dynamics, and chaos. New York:
CRC Press, 1995. 468 p.
[43] Fiedler-Ferrara, N.; Prado, C.P.C. CAOS: uma introduo. So Paulo: Edgard
Blcher, 1994. 402 p.
[44] Cvitanovic, P.; Eckhardt B. Periodic-Orbit Quantization of Chaotic Systems. Physical
Review Letters, v. 63, n. 8, p. 823-826, 1988.
[45] Lorenz, E. The essence of CHAOS. Seatle: Washington, 1994. 227 p.
[46] Devaney, R. L. A first course in chaotic dynamical systems: theory and experiment.
Reading, Massachusetts: Addison-Wesley, 1993. 302 p.
[47] Alligood, K. T.; Sauer, T. D.; Yorke, J.A. CHAOS: an introduction to dynamics
systems. New Yorke: Springer-Verlag, 1996. 602 p.
[48] Tabor, M. Chaos and integrability in nonlinear dynamics: an introduction. New
York: John Wiley, 1996. 580 p.
7/23/2019 Publicacao sobre o Caos
202/204
200
[49] Normand, C.; Pomeau, Y.; Velarde, M.G. Convective instability: a physicists
approach. Reviews of Modern Physics, v. 49, n. 3, p. 581-624, 1977.
[50] Ott, E. Chaos in dynamical systems. Cambridge: Cambridge University Press, 1993.
[51] Grossberg, S. Nonlinear difference-differential equations in prediction and learning
theory. Proceeding of the national academy of sciences, USA, v. 58, n. 4, p. 1329-
1340, 1967.
[52] Grossberg, S. Some nonlinear networks capable of learning a spatial pattern of
arbitrary complexity. Proceeding of the National Academy of Science, USA, V. 59, n. 2, p. 368-372, 1968.
[53] Grossberg, S. Some physiological and biochemical consequences of psychological
postulates. Proceedings of the National Academy of Sciences, USA, v. 10, n. 3,
p. 758-765, 1968.
[54] Grossberg, S. Embedding fields: a theory of learning with physiological implications.
Journal of Mathematical Psychology, v. 6, n. 2, p. 209-220, 1969.
[55] Grossberg, S. Neural expectation: cerebellar and retinal analogs of cells fired by
learnable or unlearned pattern classes. Kybernetik, v. 10, n. 1, p. 49-60, 1972.
[56] Grossberg, S. Adaptive pattern classification and universal recoding: I. Parallel
development and coding of neural feature detectors. Biological Cybernetics, v. 23,
n. 3, p. 121-134, 1976.
[57] Grossberg, S. How does the brain build a cognitive code ? Psychological Review,
v. 87, n. 1, p. 1-51, 1980.
7/23/2019 Publicacao sobre o Caos
203/204
201
[58] Amari. Learning patterns and pattern sequences by self-organization net of threshold
elements. IEEE Trans. Comput, v. 21, n. 11, p. 1197-1210, 1972.
[59] Little, W. A. The existence of persistent states in the brain. Mathematical
Biosciences, v. 19, n. 1, p. 101-120, 1974.
[60] Little, W. A.; Shaw, G. L. A statistical theory of short and long term memory.
Behavioral Biology, v. 14, n. 2, p. 115-133, 1975.
[61] Amit, D.; Gutfreund, H.; Sompolinsky, H. Spin-glass models of neural networks.
Physical Review A, v. 32, n. 2, p. 1007-1018, 1985.
[62] Amit, D.; Gutfreund, H.; Sompolinsky, H. Storing infinite numbers of patterns in a
spin-glass model of neural networks. Physical Review Letters, v. 55, n. 14, p. 1530-
1533, 1985.
[63] Bruck, J. On the convergence properties of the Hopfield model. Proceedings of the
IEEE, v. 78, n. 10, p. 1579-1585, 1990.
[64] Goles, E.; Martinez, S. Neural and automata networks. Dordrecht, The Netherlands:
Kluver, 1990. 530 p.
[65] Zurada, J. M. Introduction to artificial neural systems. New York: West Publishing
Company, 1992. 634 p.
[66] Hertz, J., Krogh, A., Palmer, R. G. Introduction to the theory or neural
omputation:lecture notes. Santa Fe: Addison-Wesley, 1991.
[67] Hopfield, J.J., e Tank, D.W.. Neural computation of decision in optmization problems.
Biological Cybernetics, v. 52, n. 3, p. 141-152, 1985.
7/23/2019 Publicacao sobre o Caos
204/204
[68] Consenza, M.G.; Kapral R. Coupled maps on fractal lattices. Physics Review A, v. 46,
n. 4, p. 1850-1858, 1992.
[69] Hussain, A. K. Coherent structures and turbulence. Journal of Fluid Mechanics,
v. 173, p. 303-356, 1986.
[70] Little, W.A. and G. L. Shaw. Analytic study of the memory storage capacity of a
neural network. Mathematical Biosciences, v. 39, n. 3-4, p. 281-290, 1978.
Recommended