Теория информации и кодирование

Владимир Потапов

Часть 1

Часть 2

Часть 3

Часть 4

Теория информации — математическая дисциплина, в которой одновременно применяются методы многих разделов математики: теории вероятностей, теории алгоритмов, комбинаторики. Она занимается, в числе прочих, вопросами — как лучше всего сжать файл? Сколько информации может содержать данное сообщение? Как возможно точно передать сообщение, несмотря на помехи в канале связи? Как защитить сообщение от несанкционированного доступа? Ключевые идеи о том как решать перечисленные задачи были изложены в статье К. Шеннона «Математическая теория информации», где впервые было введено понятие энтропии (количества информации) и намечены контуры будущей теории.

Мы займёмся введением в теорию сжатия дискретных данных (в отличие от непрерывных; там — своя специфика). Рассмотрим несколько алгоритмов, которые применяются в универсальных архиваторах (zip, rar). А также сделаем первые шаги (определим понятия и докажем начальные теоремы) на пути, ведущем к теоретическому обоснованию эффективности этих алгоритмов.

Программа:

1. Три подхода к понятию сложности сообщений: алгоритмический, комбинаторный и вероятностный. Определение и свойства энтропии.

2. Марковские цепи. Эргодическая теорема для дискретной марковской цепи. Конечные автоматы. Марковские источники сообщений и их энтропия.

3. Префиксное кодирование. Неравенство Крафта–Макмиллана. Теорема кодирования Шеннона. Арифметическое кодирование. Преобразование Барроуза–Уиллера.

4. Метод кодирования Лемпела–Зива и его модификации. Оценка эффективности кодирования Лемпела–Зива.

Материалы: potapov-presentation.pdf (434.8 Kb).

Потапов Владимир Николаевич, кандидат физико-математических наук.

Летняя школа «Современная математика», г. Дубна
23-29 июля 2012 г.

Комментарии: 0

Похожее

Линейные коды

Иван Аржанцев

Теория кодирования – это отличный повод поговорить о красивых задачах из алгебры и комбинаторики, о линейной алгебре и алгебраической геометрии над конечными полями, конечных геометриях, простых группах и алгоритмах, связанных с передачей информации. Программа курса: Основные задачи теория кодирования. Коды, исправляющие ошибки. Расстояние Хемминга и неравенство треугольника. Предварительные сведения из алгебры. Строение конечных полей. Линейная алгебра над конечными полями. Линейные коды и их характеристики. Код Хемминга. Совершенные коды. Двойственный код и тождество Мак-Вильямса. Эквивалентность кодов. Методы вычисления минимального расстояния для подпространства. Циклические коды и главные идеалы. Алгеброгеометрические коды. Грассманианы и плюккеровы координаты. Грассмановы коды и минимальные расстояния. Точки на минимальной сфере. Алгоритмы декодирования. Синдромы и минимальные представители. Коды Голея. Конечные геометрии и группы Матье.
Деньги, карты и защита информации

Елена Белоусова

Каждый день мы пользуемся банковскими картами и даже не подозреваем, как легко с них украсть деньги. На лекции вы узнаете простейшие способы защиты денежного кусочка пластика.
Что такое информация?

Николай Чурсин

Для того чтобы применить математические средства для изучения информации, потребовалось отвлечься от смысла, содержания информации. Этот подход был общим для упомянутых нами исследователей, так как чистая математика оперирует с количественными соотношениями, не вдаваясь в физическую природу тех объектов, за которыми стоят соотношения.
Колмогоровская сложность

Алексей Сосинский

В алгоритмической теории информации колмогоровская сложность объекта (такого, как текст) есть мера вычислительных ресурсов, необходимых для точного определения этого объекта. Колмогоровская сложность также известна как описательная сложность, сложность Колмогорова — Хайтина, стохастическая сложность, алгоритмическая энтропия или алгоритмическая сложность.
Геометрия корректирующих кодов

Михаил Цфасман

При передаче и хранении информация портится (шум в телефонной трубке, ошибки жесткого диска и так далее). Чтобы восстановить исходное сообщение в систему передачи следует ввести избыточность, иными словами, передавать вместо него более длинное закодированное сообщение. Так возникает понятие корректирующего кода (кода, исправляющего ошибки). Математически это приводит к задаче упаковки шаров в конечномерном векторном пространстве над конечным полем. Эта задача, в свою очередь, оказывается в значительной части эквивалентна проблеме расположения точек в проективном пространстве “в наиболее общем положении”. Здесь уже недалеко и до алгебраической геометрии. Конструкцию кодов по алгебраической кривой нетрудно рассказать, когда эта кривая — прямая.
Энтропия в естествознании, теории информации и математике

Владимир Тихомиров

Энтропия — мера неопределённости, мера хаоса. В естественных науках это мера беспорядка системы, состоящей из многих элементов; в теории информации — мера неопределённости какого-либо опыта, процесса или испытания, которые могут иметь разные исходы (а значит, мера количества информации); в математике — мера сложности объекта или процесса. Понятие энтропии было впервые введено в 1865 году Р. Клаузиусом в термодинамике, К. Шенноном в теории информации в 1949 г., в теории стохастичпеских процессов Колмогоровым, Гельфандом и Яглом в 1956 г., в функциональном анализе и теории динамических систем Колмогоровым в 1956–1958 гг. Между мирами полной детерминированности, изучаемой классическим анализом и миром хаоса, изучаемым теорией вероятностей, ныне перекидывается мост, который связан с понятием энтропии.
Математическая теория информации Клода Шеннона

Андрей Соболевский

В 1948 году американский математик Клод Шеннон опубликовал статью «Математическая теория информации». Тогда, 70 лет назад, эта работа легла в основу современной теории информации и принесла ученому мировую славу. А математика с тех пор стала влиять на жизнь людей в реальном, а не отложенном времени. О том, где сегодня лежит граница между полезной и бесполезной математикой, мы решили спросить директора Института проблем передачи информации имени Харкевича Российской академии наук Андрея Соболевского.
Кодовое разделение каналов CDMA

Валерий Опойцев

Как по одному проводу или радиоканалу одновременно разговаривают миллионы? Кодовое разделение каналов CDMA (Code Division Multiple Access) на основе ортогональной системы векторов.
Теория сложности вычислений

Александр Разборов

Теория сложности вычислений — бурно развивающаяся область теоретической информатики (theoretical computer science) и охватывает как чисто теоретические вопросы, так и вопросы, непосредственно связанные с практикой. Среди наиболее важных приложений этой теории можно назвать способы построения и анализа эффективных алгоритмов, а также современные криптографические методы. Поэтому знакомство с основами теории сложности, безусловно, полезно любому, кто собирается серьезно заниматься практическим программированием или теоретическими исследованиями.
Эволюционные алгоритмы

Джозеф Браун

На чем основаны генетические алгоритмы? Как происходит создание различных уровней в компьютерной игре? Каковы перспективы применения эволюционных алгоритмов? На эти и другие вопросы отвечает доцент Университета Иннополис Джозеф Браун. Процедурная генерация контента в играх — это процесс автоматического создания различных ресурсов. Таким образом можно создавать повествование или сюжет игры или более простые объекты, такие как деревья. Или какие-нибудь элементы игрового процесса. Например, какие будут уровни. Этим я в основном и занимаюсь: как создать уровень, который отвечает некоторым ожиданиям игрока и некоторым ожиданиям в контексте повествования. Я использую много приемов из области, которая называется вычислительный интеллект. А вычислительный интеллект применяет биоинспирированные методы для решения сложных задач оптимизации.

Далее >>>

∀ x, y, z

Теория информации и кодирование

Владимир Потапов

Теги

Похожее