Entropía (información) 1

Entropía (información)Entropía es un concepto en termodinámica, mecánica estadística y teoría de la información. Los conceptos deinformación y entropía están ampliamente relacionados entre sí, aunque se tardó años en el desarrollo de la mecánicaestadística y la teoría de la información para hacer esto aparente. Este artículo versa sobre la entropía, en laformulación que hace de ella la Teoría de la información. Esta entropía se llama frecuentemente entropía deShannon, en honor a Claude E. Shannon.

Concepto básico

Entropía de la información en un ensayo deBernoulli X (experimento aleatorio en que Xpuede tomar los valores 0 o 1). La entropía

depende de la probabilidad P (X=1) de que Xtome el valor 1. Cuando P (X=1)=0.5, todos los

resultados posibles son igualmente probables, porlo que el resultado es poco predecible y la

entropía es máxima.

El concepto básico de entropía en teoría de la información tiene muchoque ver con la incertidumbre que existe en cualquier experimento oseñal aleatoria. Es también la cantidad de "ruido" o "desorden" quecontiene o libera un sistema. De esta forma, podremos hablar de lacantidad de información que lleva una señal.

Como ejemplo, consideremos algún texto escrito en español,codificado como una cadena de letras, espacios y signos de puntuación(nuestra señal será una cadena de caracteres). Ya que, estadísticamente,algunos caracteres no son muy comunes (por ejemplo, 'y'), mientrasotros sí lo son (como la 'a'), la cadena de caracteres no será tan"aleatoria" como podría llegar a ser. Obviamente, no podemos predecircon exactitud cuál será el siguiente carácter en la cadena, y eso la haríaaparentemente aleatoria. Pero es la entropía la encargada de medirprecisamente esa aleatoriedad, y fue presentada por Shannon en suartículo de 1948 A Mathematical Theory of Communication [1] ("Unateoría matemática de la comunicación", en inglés).

Shannon ofrece una definición de entropía que satisface las siguientesafirmaciones:• La medida de información debe ser proporcional (continua). Es decir, el cambio pequeño en una de las

probabilidades de aparición de uno de los elementos de la señal debe cambiar poco la entropía.• Si todos los elementos de la señal son equiprobables a la hora de aparecer, entonces la entropía será máxima.Ejemplos de máxima entropía : Suponiendo que estamos a la espera de un texto , por ejemplo un cable con unmensaje .En dicho cable solo se reciben las letras en minúscula de la (a hasta la z) , entonces si el mensaje que nosllega es "qalmnbphijcdgketrsfuvxyzwño" el cual posee una longitud de 27 caracteres , se puede decir que estemensaje llega a nosotros con la máxima entropía (o desorden posible) ya que es poco probable que se puedapronosticar la entrada de caracteres ya que estos no se repiten y además no están ordenados en una forma predecible.

Entropía (información) 2

Definición formalLa entropía nos indica el límite teórico para la compresión de datos. También es una medida de la informacióncontenida en el mensaje.Su cálculo se realiza mediante la siguiente fórmula:

• Nota: La base del logaritmo dependerá de la variable con la que estemos trabajando, es decir, para una variablebinaria usaremos la base 2, para una ternaria la base 3.

Explicación intuitivaUna variable aleatoria X puede tomar distintos valores posibles en distintas repeticiones (realizaciones delexperimento). Como algunos valores de X son más probables que otros, existe una distribución de probabilidad delos valores de X, la que depende del experimento elegido.La entropía asociada a la variable X es un número que depende directamente de la distribución de probabilidad de Xe indica lo plana que es esa distribución. Una distribución es plana (tiene alta entropía) cuando todos los valores de Xtienen probabilidades similares, mientras que es poco plana cuando algunos valores de X son mucho más probablesque otros. En una distribución de probabilidad plana (con alta entropía) es difícil poder predecir cuál es el próximovalor de X que va a presentarse, ya que todos los valores de X son igualmente probables.Si a cada posible valor de X que pueda ocurrir se le asigna una cierta combinación de dígitos binarios 0 o 1 paradiferenciarlo de los demás, la cantidad promedio de dígitos binarios que hay que asignarle a los distintos valores deX es (aproximadamente) igual a la entropía de la distribución de probabilidad de X. Los valores 0 o 1 usados suelenllamarse bits. Además, la metodología comúnmente usada para asignar combinaciones de valores 0 o 1 a los distintosvalores posibles de X se conoce con el nombre de codificación Huffman.

Propiedades de la entropía1. Dado un procesos con posibles resultados {A1,..,An} con probabilidades relativas p1, ...,pn, la función

es máxima en el caso de que

Véase también• Entropía cruzada• Perplejidad• Capacidad de canal

Referencias[1] http:/ / cm. bell-labs. com/ cm/ ms/ what/ shannonday/ paper. html

Fuentes y contribuyentes del artículo 3

Fuentes y contribuyentes del artículoEntropía (información)  Fuente: http://es.wikipedia.org/w/index.php?oldid=33691347  Contribuyentes: AlfonsoERomero, Barcex, Clementito, Correogsk, David0811, Davius, Dogor,Dortegaparrilla, GermanX, GiL87, Gizmo II, J.M.Domingo, Javg, Jose figueredo, Juan Mayordomo, Loqu, M1ss1ontomars2k4, Pabloab, Ploncomi, PoLuX124, Saloca, Tano4595, Yuri GrilleOrce, 37 ediciones anónimas

Fuentes de imagen, Licencias y contribuyentesArchivo:Binary entropy plot.svg  Fuente: http://es.wikipedia.org/w/index.php?title=Archivo:Binary_entropy_plot.svg  Licencia: GNU Free Documentation License  Contribuyentes:User:Alejo2083, User:Brona

LicenciaCreative Commons Attribution-Share Alike 3.0 Unportedhttp:/ / creativecommons. org/ licenses/ by-sa/ 3. 0/