-
7/26/2019 Hand Out Campbel
1/5
I.-
Shannonhaba empezado a resolver un problema especfico de la
comunicacin
por radio y telfono, y la solucin a que lleg por mtodos
estrictos y deductivos, fue
esencialmente idntica a la frmula para laentropaque la fsica
estableci en la
poca victoriana. Esa ecuacin era expresin matemtica de la
tendencia de todas
las cosas a volverse menos ordenadas cuando se les abandona; de
la energa a
sufrir ciertas transformaciones en el curso natural de los
hechos, que la hacen ms
desorganizada y menostil, degradando su calidad sin disminuir su
cantidad.
Elcaoses el destino ltimo de todas las cosas.
La ecuacin de la entropa de Shannon sugera, al menos, una
poderosa analoga
entre la energa y la informacin. La entropa era el lazo que las
una.
La doble espiral del ADN se revel como un sistema de
informacin
Norbert Wiener.- padre de laciberntica. Ciencia del
mantenimiento del orden en
un sistema, sea natural o artificial. como todas las cosas del
mundo manifiestan
tendencia a la entropa, al desorden, las desviaciones fortuitas
del orden deben ser
continuamente corregidas
--La enfermedad es entrpica, irregular, un error del sistema
viviente; la curacines ciberntica, restituye el cuarpo a su estado
original, corrige el error. La ciberntica
e sun principio universal de control (p.24)
Ruido, en el lenguaje de la comunicacin, es cualquier cosa que
corrompe la
integridad de un mensaje: los ruidos atmosfricos en un aparato
de radio, las
alteraciones en un texto impreso, la deformacin de la imagen en
la pantalla de un
televisor
Wiener reconoci que el ruido en el receptor del radar ocasionado
accidentalmente
por el agolpamiento o la separacin de enjambres de electrones a
su paso por los
cables, era similar al movimiento browniano y poda someterse al
mismo tipo de
tratamiento matemtico. Pero mucho ms interesante fue el
descubrimiento de que
el envo y la recepcin de mensajes tiene bastantes cosas en comn
con el
movimiento browniano. El lazo que une los dos conceptos (polen y
comunicacin
en la era de las computadoras) es laestadstica, una rama de la
teora de la
probabilidad.
stokos-adivinar
-
7/26/2019 Hand Out Campbel
2/5
series estocsticas
La teoria de la informacin es estadstica pura
Shannon:-capacidad de canal
-entropa original
-cdigo del mensaje
"El Peligro Amarillo" notas de Wiener
-movimiento browniano
-caos discreto
-operadores lineales
-feedback retroalimentacin
II.-
Entropa- medida del desordenamiento de un sistema, es un aspecto
de la
probabilidad
es material o intelectual la entropa? La confusin se halla en el
cerebro del
espectador
en sentido metafrico, un sistema termodinmico que se encuentra
en estado de
baja entropa (es decir, que contiene un contraste ordenado de
temperatura alta y
baja) es como un mensaje mientras que el mismo sistema en un
estado de alta
entropa, con todos los contrastes difuminados, es como el
ruido.
Boltzmann
El desorden de lo clido
El avance irreversible del desorden 51
El calor es desordenado por naturaleza. Es la forma ms
desordenada de energa.
Sin embargo, todas las otras formas de energa, cuando se
utilizan, se convierten en
la energa calorfica, de modo que la tendencia universal de la
energa es caer en
estado de desorden.
El comportamiento del gas se parece ms al de una multitud en un
espacio
confinado, que al de un disciplinado pelotn de soldados que
marchan juntos en una
misma direccin. El efecto general de la multitud que se agita en
el espacio
restringido es el empuje del pistn, pero muchas molculas gastan
su energa
-
7/26/2019 Hand Out Campbel
3/5
movindose cada una sin rumbo fijo.
El orden es valioso en otro sentido, ya que es mucho ms difcil
de lograr que el
desorden. El caos es el estado ms fcil, predecible y probable, y
dura
indefinidamente. El orden es improbable y difcil de crear. El
tiempo es su enemigoporque la entropa tiende a incrementarse con el
tiempo. La energa ordenada
puede hacer trabajo, pero en el proceso mismo de trabajar,
degenera en energa
desordenada. De hecho, finalmente crea ms desorden que
orden.
III.-
La informacin, como la entropa, est ntimamente ligada a la idea
de diversidad.
Una palabra sin significado contiene las mismas cuatro letras
que otra con sentido,
pero existe mayor variedad de secuencias posibles cuando una
palabra no necesita
decir algo.
Boltzmann seal que cuanto ms alta fuera la entropa, menor era la
informacin
que se poda obtener del microcosmos, las partes constituyentes
de la materia.
En la biblioteca, alta entropa significa falta de informacin,
incertidumbre. En un
sistema termodinmico, alta entropa significa falta de informacin
sobre la
estructura interna y una prdida de capacidad para aprovechar la
energa conpropsito til. al devolver los libros a su lugar
correspondiente, la entropa de la
biblioteca se reduce
La entropa se aproxima ms al desorden y la diversidad de la vida
que las leyes
fsicas anteriores. En la decadencia de Occidente, Oswald
Spengler escogi la
entropa como el concepto ms tpico de la cada de la ciencia
moderna desde su
pureza y certidumbre clsicas. La escogi porque la entropa es ms
bien un
principio estadstico que un principio exacto, y tiene que ver ms
con las cosas vivas
y con la historia que las ecuaciones intemporales y abstractas
de la antigua
mecnica.
"Por lo tanto, siguiendo la segunda ley de la termodinmica, que
establece que
minuto a minuto nos dirigimos a un estado de mayor desorden,
tenemos la absoluta
certeza de que nos encontramos, feliz y seguramente, en el
camino correcto."
entropa literaria.
IV.- el ordeny la probabilidad se relacionan entre s tanto en la
teora termodinmica
como en el de la informacin
-
7/26/2019 Hand Out Campbel
4/5
ley de los grandes nmeros James Bernoulli
Aparicin misteriosamente tarda de lasleyes de la
probabilidad.
Gerolamo Cardano. mdico, algebrista, astrlogo, quiromntico,
primera figura de
importancia en la historia de la teora de la probabilidad
"Libro de los juegos de azar" Liber de ludo aleae
Claude Shannon era aficionado al mercado de valores
Lgica jainista supone que la complejidad del mundo es ilimitada
y que sus partes
estn en continuo cambio. Nada de lo que se afirme sobre ella en
un momento dado
puede ser absolutamente cierto. Como la teora de la informacin
de Shannon, la
lgica jainista se ocupa del error como algo intrnseco y
fundamental
Paracelso quem el libro de medicina medieval ms famoso, el Canon
de Avicena, y
lo reemplaz por el libro de la naturaleza, o lo que se conoce
como "doctrina de las
firmas". Segn sta, la informacin sobre la naturaleza puede
encontrarse en ella
misma misma a condicin de que sea leda de la manera adecuada. La
edad de un
ciervo puede conocerse observando la punta de sus cuernos;
cierta flor tiene el
poder de rejuvenecer porque florece en invierno, la estacin que
usa como metfora
de la vejez; la caligrafa revela el carcter, como las lneas y
los pliegues de las
manos. La doctrina de las firmas condujo a la medicina
homeoptica, que cura losemejante con lo semejante.
La probabilidad, que se encuentra en la raz de la teora de la
informacin, est
relacionada de manera inextricable con la cantidad y el tipo de
conocimiento que
poseemos sobre cualquier hecho o serie de hechos cuyo desenlace
es incierto.
Cuando los cientficos intentan separar la idea de la
probabilidad de la idea de la
informacin, surgen graves dificultades debido a que la primera
no puede definirse
sin ayuda de la segunda. En la teora de Shannon, la entropa es
una distribucin de
la probabilidad que asigna varias posibilidades a un conjunto de
mensajes posibles.
Pero la entropa es tambin una medida de lo que la persona que
recibe el mensaje
no conoca de ste. La entropa es un ndice de su incertidumbre con
respecto a lo
que espera. Si la entropa es la mxima posible, es decir, si
todos los mensajes
posibles son igualmente probables, entonces tambin su ignorancia
es mxima. El
receptor conoce la amplitud de los mensajes posibles, as como un
jugador conoce
el nmero de resultados posibles cuando se pone a girar la rueda,
porque ya posee
cierta informacin previa sobre las propiedades generales del
sistema mismo del
mensaje: su alfabeto de smbolos, el diccionario de la lengua,
las reglas
gramaticales para combinar las palabras de varias maneras. Tal
conocimiento
-
7/26/2019 Hand Out Campbel
5/5
significa que ciertos arreglos de smbolos y palabras son ms
probables que otros.
(ejemplo de tres estudiantes de economa)
La misin de una teora de la probabilidad es encontrar una manera
de codificardistintos tipos de conocimiento, de asignarles
probabilidades, exactamente en la
forma correcta. Y sa es tambin la tarea de la teora de la
informacin
(ejemplo de la palabra nice en contexto)
As la probabilidad mide lo mismo el conocimiento que la
ignorancia, exactamente
como la entropa de Shannon. El fsico Edwin James considera que,
por este motivo,
nos encontramos en el umbral de un planteamiento muy novedoso de
la
interpretacin dela probabilidad, la entropa y la informacin, y
cree que ser
ms general que cualquiera de la anteriores.
A pensar de que Boltzmann interpret la segunda ley de la
termodinmica en
funcin de pura probabilidad, ello no fue reconocido por completo
durante casi 100
aos. Ahora se ve el principio de la entropa como un caso
especial dentro de un
mtodo general de razonamiento que no depende en absoluto de las
leyes de la
fsica ni de la mecnica.
V.La comunicacin no est limitada a radios, telfonos y canales de
televisin.
Ocurre en la naturaleza, doquier existe vida. Los genes son un
sistema para enviar
mensajes qumicos a las fbricas de protenas de la clula,
instruyndolas para
hacer un organismo vivo. El ser humano es la red de
comunicaciones ms compleja
que hay en la Tierra, y el lenguaje es un cdigo que mantiene la
estructura
ordenada de los mensajes del habla en formas tan ingeniosas que
un no se les
comprende por completo. El problema es tan general que preguntar
cmo se
mantienen separados los mensajes y el ruido en la teora de la
informacin equivale
a la pregunta que surgi en conexin con la segunda ley de la
termodinmica: "Por
qu est el mundo lleno de los tipos ms inverosmiles de orden,
cuando el estado
ms probable para el universo sera de puro caos?"
