Описание:Определены понятия количества информации и энтропии распределения по Шеннону. Рассматриваются свойства информации и энтропии больших последовательностей. Доказываются предельные свойства информации, и на этой основе рассмотрены основные положения и результаты кодирования информации. Рассмотрены методы оценивания энтропии речевых процессов.