A teoria da informação surgiu de certas dificuldades que a engenharia de telecomunicações estava encontrando. Em 1928, baseado em ideias do engenheiro eletrônico americano Nyquist apresentadas quatro anos antes, R.V.L. Hartley publicou um artigo no Bell System Technical Journal sugerindo uma definição para “quantidade de informação”. Pouco depois desta época, o matemático Norbert Wiener publicou uma série de trabalhos, alguns integrados no esforço de guerra norte-americano, e que muito contribuíram para o desenvolvimento rigoroso e a definição de “quantidade de informação”. Em 1948, Claude Shannon, engenheiro da companhia Bell, publicou a primeira exposição completa do assunto, fazendo inclusive uma importante contribuição pessoal — os teoremas que são conhecidos com seu nome.
Neste trabalho, intitulado A Mathematical Theory of Communication, Shannon define com certo rigor axiomático a noção de “quantidade de informação”. Analisando o escoamento de “mensagens” através de um “canal”, Shannon foi levado a calcular a “capacidade de um canal”, ou seja, a taxa máxima de transmissão de informação que um canal comporta, na presença ou na ausência de ruído. Shannon pôde então demonstrar alguns teoremas fundamentais a respeito de “codificações eficientes”. Nestes teoremas afirma-se que, dada uma certa “fonte” e dado certo “canal”, existe sempre uma maneira de se obter uma codificação de máxima eficiência. O trabalho de Shannon causou grande impacto e interesse, mas pouco se fêz além do que ele havia apresentado. Feins-tein, Fano e McMillan, dos Laboratórios Bell, tornaram mais rigorosas as ideias de Shannon, até o tratamento do matemático russo A.I. Khinchin em 1953 e 1956, que incorporou a “teoria da comunicação” de Shannon ao corpus da estatística matemática clássica. Em 1958 J. Wolfowitz demonstrou que a transmissão de uma mensagem a uma taxa superior à permitida pela capacidade do canal não é possível. [Francisco Doria – DCC]