Fundamentos de la teoría de la información
IntroducciónLa ciencia busca las leyes básicas de la naturaleza. Las matemáticas buscan nuevos teoremas que se basen en los anteriores. La ingeniería construye sistemas para resolver necesidades humanas. Las tres disciplinas son interdependientes pero distintas. Es muy raro que una misma persona haga contribuciones fundamentales a las tres, pero Claude Shannon era una de ellas.
A pesar de ser el protagonista del reciente documental The Bit Player (El jugador de bits) y de que su trabajo y filosofía de investigación han inspirado mi propia carrera, Shannon no es precisamente un nombre conocido. Nunca ganó un Premio Nobel y no era una celebridad como Albert Einstein o Richard Feynman, ni antes ni después de su muerte en 2001. Pero hace más de 70 años, en un único artículo pionero, sentó las bases de toda la infraestructura de comunicaciones que subyace a la era moderna de la información.
Shannon nació en Gaylord, Michigan, en 1916, hijo de un empresario local y una profesora. Tras licenciarse en ingeniería eléctrica y matemáticas por la Universidad de Michigan, escribió una tesis de máster en el Instituto Tecnológico de Massachusetts que aplicaba una disciplina matemática llamada álgebra de Boole al análisis y síntesis de circuitos de conmutación. Fue un trabajo transformador, que convirtió el diseño de circuitos de un arte en una ciencia, y ahora se considera que fue el punto de partida del diseño de circuitos digitales.
Claude Shannon: el ingenioso “padre de la teoría de la información”
La ciencia cuántica de la información es un campo joven, cuyos fundamentos aún están siendo establecidos por un gran número de investigadores [véase “Rules for a Complex Quantum World”, de Michael A. Nielsen; Scientific American, noviembre de 2002]. La ciencia clásica de la información, por el contrario, surgió hace unos 50 años del trabajo de un hombre extraordinario: Claude E. Shannon. En un artículo escrito en los laboratorios Bell en 1948, Shannon definió en términos matemáticos qué es la información y cómo puede transmitirse en presencia de ruido. Lo que hasta entonces se consideraban modos de comunicación muy distintos -el telégrafo, el teléfono, la radio y la televisión- se unificaron en un único marco.
Shannon nació en 1916 en Petoskey (Michigan), hijo de un juez y una maestra. Entre otras invenciones, de joven construyó un telégrafo de su casa a la de un amigo con alambre de esgrima. En 1936 se licenció en Ingeniería Eléctrica y Matemáticas por la Universidad de Michigan y estudió en el MIT, donde trabajó con Vannevar Bush, pionero de la informática, en un ordenador analógico llamado analizador diferencial.
El límite de Shannon – Laboratorios Bell – Futuro imposible
Este libro ofrece una introducción a la teoría de la información, centrándose en los tres teoremas fundamentales de Shannon de 1948-1949. Los dos primeros teoremas de Shannon, basados en la noción de entropía de la teoría de la probabilidad, especifican hasta qué punto puede comprimirse un mensaje para transmitirlo con rapidez y cómo borrar los errores asociados a una transmisión deficiente. El tercer teorema, que utiliza la teoría de Fourier, garantiza que una señal puede reconstruirse a partir de un muestreo suficientemente fino de la misma. Estos tres teoremas constituyen la hoja de ruta del libro. El primer capítulo estudia la entropía de una variable aleatoria discreta y nociones afines. El segundo capítulo, sobre compresión y corrección de errores, introduce el concepto de codificación, demuestra la existencia de códigos óptimos y códigos buenos (primer teorema de Shannon) y muestra cómo puede transmitirse la información en presencia de ruido (segundo teorema de Shannon). En el tercer capítulo se demuestra el teorema del muestreo (tercer teorema de Shannon) y se examinan sus conexiones con otros resultados, como la fórmula de la suma de Poisson. Con una buena cantidad de ejercicios (con soluciones) y un capítulo introductorio que cubre los prerrequisitos, este texto es el resultado de las clases impartidas a estudiantes de matemáticas/ciencias de la computación a nivel de postgrado.
Introducción a la complejidad: La información de Shannon Parte 1
A menudo se describe a Claude Shannon como “el padre de la teoría de la información”, aunque él describía su trabajo como “teoría de la comunicación”. Fue Shannon quien puso la comunicación de señales en presencia de ruido sobre una base matemática sólida. Sus compañeros de los Laboratorios Bell llamaron “inteligencia” (Harry Nyquist) e “información” (Ralph Hartley) a lo que se transmitía. Shannon utilizó “inteligencia” en sus primeros informes y propuestas e información más tarde.
En 1871, James Clerk Maxwell demostró cómo un ser inteligente podía, en principio, ordenar el desorden de un gas de moléculas en movimiento aleatorio, reuniendo conocimiento-inteligencia-información sobre sus velocidades y clasificándolas en gases calientes y fríos, en aparente violación de la segunda ley de la termodinámica. William Thomson (Lord Kelvin) llamó a este ser “el demonio inteligente de Maxwell”.
Ludwig Boltzmann, que estableció los fundamentos de física estadística de la termodinámica, eligió el logaritmo del número W de microestados equiprobables como medida para su entropía, porque quería que la entropía fuera una cantidad aditiva extensiva.