Esquema de la Teoría de la Información
El modelo de Claude Shannon explica la transmisión de mensajes como un proceso estructurado entre emisor y receptor, donde la información se codifica, viaja por un canal y puede verse afectada por el ruido.
Al pretender estructurar una teoría de la información adecuada para la consideración de los problemas esbozados en el apartado anterior, es necesario resolver dos cuestiones previas: la definición del objeto de la teoría y su medición cuantitativa. Se debe comenzar, pues, por definir de una manera científicamente adecuada qué es la información, y establecer después un método de medición conveniente.
La primera cuestión puede resolverse como se indica seguidamente. Supóngase que el repertorio de signos de un sistema de comunicación comprende sólo cuatro elementos, las letras A, B, C y D, sin olvidar que este repertorio tiene que ser necesariamente común al transmisor y al receptor. Admítase, además, que estos cuatro signos son equipo probable, es decir, que en un mensaje constituido por un gran número de estos signos, cada uno de ellos aparece estadísticamente con la misma frecuencia y que la probabilidad de que se reciba una letra determinada no depende de las que se han recibido antes.
En estas condiciones, el receptor, una vez recibido un signo, no tiene posibilidad alguna de adivinar el signo siguiente y sólo sabe que será uno de los cuatro del repertorio convenido. Puede expresarse este hecho diciendo que el receptor se encuentra en cierto grado de incertidumbre respecto del próximo signo; más específicamente, en este caso, en una incertidumbre de una entre cuatro posibilidades.
Supóngase, además, que se utiliza para la transmisión un canal capaz de adoptar uno cualquiera de dos estados, que serán distinguidos con 0 y 1. Es decir, cualquier combinación de señales no puede contener sino estos dos elementos de señal, pero ellos pueden repetirse cuantas veces sea necesario. La codificación de los cuatro signos del repertorio puede realizarse asignando a cada uno de ellos una combinación de dos elementos, pues-to que cuando el primer elemento es 0.
