Теория информации - круг 3-й

12-15 октября 1998

А что это такое - передача информации?
Как это информация передается по чему-либо?
Можно ли говорить что вот эта информация были передана по проводу?
Вот она здесь, потом - что, какое-то время где-то в проводе?
А если я разговариваю с женой - я что по воздуху что-ли передаю ей информацию? То есть вот информация у меня в мозгу, потом во рту, потом где-то в воздухе на полпути к жене, потом у ней в ухе...

Erkin


Erkin,
Ты затронул интересную и довольно сложную тему -- что есть информация, является ли то, что бежит по проводам, по воздуху или по нейронам информацией, или она становиться таковой только, если имеется приемное устройство, способное эти сигналы правильно расшифровать? Являются ли информацией радиоволны, пронизывающие мой дом, если у меня сломался телевизор и я не могу эти волны воспринимать? Содержит ли какую-нибудь информацию 99.99% мировой научной литературы, если я либо не успею никогда ее прочесть, либо, прочтя, ничего в ней не пойму, либо просто не смогу прочесть в силу незнания языка?

По моему крайнему разумению (многие со мной не согласятся, особенно Физик и Африканец), информация присутствует только в головах людей. Обмениваются же они ею с помощью СИГНАЛОВ -- так или иначе промодулированных физических величин. Ими могут быть модуляция цвета бумаги (черные буквы, белые пробелы и пространства внутри и вокруг символов-букв), модуляция амплитуды, частоты или фазы радиоволны, модуляция спектра колебаний воздуха при передаче информации с помощью его сотрясения (речи), локальное изменение химического состава воздуха (язык запахов), осмысленные изменения положения лап, ног, рук, хвостов, глаз (язык жестов). При этом передающий и принимающий обязательно должны заранее договориться о способах кодирования-декодирования, иначе принимающая сторона ничегошеньки не поймет, как я не пойму лопотания китайца, на его языке, даже если он говорит лучше Цицерона, или не пойму морской азбуки, если заранее ее не выучу.

Вот тут -- Внимание, Физик! Еще раз рискую навлечь на себя твой праведный гнев, но опять утверждаю -- в природе, вне человека и малоизученного мира животных, не содержится информации. Физики и прочие химики ее СОЗДАЮТ в процессе более или менее успешных потуг расшифровать "шрамы" и "зарубки", оставляемые Природой в материальных объектах в процессе взаимодействия ее слепых сил.

Таким образом, Erkin, я считаю, что в проводах информации нет, а есть более или менее хаотичное на взгляд непосвященного движение материальных объектов, из которого (зная как!) можно извлечь некую информацию, зачастую, из-за действия помех и несовершенства приема-передачи, отличающуюся от той, что хотели передать.

Арк


Арк, Еркин
про информацию пишут много книжек и каждая последующая стремится опровергнуть предыдущую. Насколько я понимаю, информацию могут получать не только люди и животные. Например, компьютерные программы могут получать информацию и реагировать адекватно или станки с ЧПУ.
А существует информация только когда она передается. Если я что-то знаю, это не информация. А вот, если я это вам расскажу, то для вас это будет информация в тот момент, когда вы ее получите. А потом вы уже просто знаете это.

Акела


А попытайтесь дать определение слову информация? Ну как будто вы учебник-мучебник рисуете? А то я не совсем пойму о чем речь

"Я"


Арк,

Однако, насчет информации ты начал даже не второй, а третий круг. Мы уже были там в июне и июле. По-моему ты путаешь понятия. Видимо, информацию можно определять по разному. В физике принято пользоваться понятием информации, как величины, обратной энтропии (I=-log_2(S)). В этом смысле, любая система, не нахощаяся в состоянии термодинамического равновесия несет в себе информацию. Наличие разума вовсе не обязательно.

А насчет передачи информации (к вопросу Erkin'a) это интересно. При передаче никакой новой информации не создается, просто становится больше носителей одной и той же информации (деталями типа искажения всех сортов при приеме-передаче пренебрежем). 100 миллионов копий Windows'95 несут тот же объем информации, что и одна. С точностью до бита. И никаких загадок как она передается и с какой скоростью. При разговоре - со скоростью звука. При радиопередаче - со скоростью света (ну почти, опять оговорюсь о пренебрежении деталями, для скрупулезных критиков)

Физик


Ну вот, я знал, что так и будет! Я знал, что получу по балде от Физика с большой буквы за "информацию". Однако твое (физическое) определение ея слишком узкоспециально, все равно, что "уменьшение скорости нарастания спада по второй производной" (©-Задорнов).

Арк


Физик! Насчет "принят минус логарифм энтропии как информация", так это сильно сказано. Как говорят математики - это на другой мере. И с этим никто работать не можетю Хотя есть народ, на этом зарабатывают, но мелко. Информация - когда она классическая, которую фон Нейман придумал, так это сумма произведения вероятностей получения бита информации и ее логарифма. Знак минус добавить по вкусу. Кстати, на теории передачи информации в зашумленном канале построены лучшие коды компресии. Например, NASA при передаче телеметрической информации (да и телевизионной тоже) со спутников добилось 70% сжатия.

А еще есть квантовая теория информации - это уже Шеннон - надо добавить матрицу плотности в это произведение. Правда, еще возникает проблема измерения - в квантовом случае измерение меняет состояние измеряемого объекта. Но с этим тоже никто работать не умеет. Но что интересно, сейчас народ (и физики, и математики)вовсю умудряются доить научные фонды на тему квантового компьютера. То есть, когда вычисления делаются не с помощью классических битов, а с помощью q-битов (quantum-bit). Но далее я пас. Хотя тема эта - Клондайк. Хорошо финансируют.

Лев Л.


Лев Л.
Согласен. Я же не собирался давать всеобъемлющее определение, а только подчеркнуть, что хоть какое-то нужно прежде, чем обсуждать. И по фон Нейману разум не является необходимым условием существования информации.

Физик


Ну что опять за информацию, да? Пора находить в архивах все обсуждения по этому поводу и выкладывать на всеобщее обозрение. Заняться, что ли?

Физик, ты знаешь, как я тебя уважаю, но... Термодинамическое определение информации (число возможных состояний системы) никакой информации никуда не несет :-) Точнее, оно безразлично к содержательной части информации, а говорит просто о том, "сколько" информации может поместится в данной системе. Причем это "сколько" - тоже липовое. Во-первых, что значит "число состояний"? Корректнее сказать, "число состояний, которые мы можем (хотим) различить". Сразу определение становится какое-то нефизическое.

Взять бы хотя уже приводимый мной пример с дверью, как носителем информации.
Сколько у двери состояний?

  • Два - открыта/закрыта.
  • Пять - открыта/закрыта на четверть/полузакрыта/закрыта на три четверти/совсем закрыта.
  • 90 - считаем угол поворота с точностью до градуса.
  • Много - считаем угол поворота еще точнее, насколько прибор для измерения угла позволяет.
  • Добавляем температуру двери с точностью до десятой доли градуса (моя термопара, что в цифровом тестере, точнее не меряет), получаем много*тоже много.
    И так далее.

    Умножив все "много" друг на друга получим сумасшедшую емкость - куда там CD-ROMу. Но если посредством двери надо передавать информацию Штирлицу, то мы передадим два состояния. Открыта - явка провалена, закрыта - явка переехала. А вот куда перехала уже не передадим, емкости двери потенциально на это хватит, но не будет же Штирлиц мерять дверь транспортиром, штангенциркулем и термометром. Его сразу заметут и отведут к Мюллеру.

    С третьей стороны, пусть Мюллера рядом нет и Штирлиц спокойно достает свои инструменты, используя информационную емкость двери "на всю катушку". Читая помещенный в нее подробный доклад о том, куда явка перехала, когда, почему и какие там пароли и логины. Если доклад писал приличный человек, то он займет малую часть информационной емкости двери, и еще на инструкции проф. Плейшнеру и докладную Мюллеру место останется. А если его пишет графоман с недержанием речи, да еще обильно разбавляющий все плохими стихами не по делу (ну вот хочется ему), то Штирлиц рискует логинов и паролей не получить. Они просто в дверь (на дверь?) не поместятся. Зато он может узнать много про вид ночного неба над графоманом месяц назад, характерные грамматические ошибки и любимое пиво графомана. Что информацией - для Штирлица - не является, поскольку на фиг ему не надо. Зато является информацией для психиатора, который этого графомана наблюдает, но абсолютно не интересуется явками и паролями Штирлица.

    Так что есть разница между грибом съедобным и грибом съеденным. Первый - можно съесть, а вторым уже отравились. Также есть и разница между "термодинамической информацией", то есть способностью системы хранить (и передавать) определенные объемы информации - при непременном условии, что кто-то может ее из этой системы читать - и собственно информацией, как тем, что передается и используется. Когда я считаю пропускную способность канала связи - я имею в виду "термодинамическую" информацию. И прихожу к тому, что если пользоваться всеми доступными мне методами кодирования/декодирования (определения состояний канала) одновременно, то через телефонный канал пролезет максимум 33.6 кбит/с (о чем я когда-то уже подробно рассказывал). Но отсуда еще не следует, что именно столько и будет передано. Есл передается файл по электронной почте, то он будет подвергнут идиотским процедурам uuencode или mime, увеличвающим его размер на 50-80%, т.е. с точки зрения передачи нужного мне файла скорость будет уже не 33.6, а 15-20 кбит/с от силы. Хотя биты (изменения состояний канала) будут бежать со скоростью 33600 штук в секунду. А если канал асинхронный. то надо вычесть еще 20% на старт-стоп биты, которые несут информацию для порта компьютера (где начинается и кончается каждый байт), но не несут информации для меня, ждущего файл. И так далее. А потом оказывается, что файл передали не тот (или тот, но передача оборвалась и я не могу его разархивировать) - и в итоге информации передано 0, скорость - соответствующая.

    Я бы дал такое определение информации (вчера примерно оно уже было - прошу прощения, не помню чье). Информация есть [опыт, знание, я предпочитаю выражения "форма деятельности"], представленные посредством некоего материального носителя (грязных пятен на бумаге, электронов в проводе, намагниченности на диске и т.п.) известным как отправителю, так и получателю способом.

    А все остальное - абстрагирование от собственно содержания информации (опыта, знания, способа деятельности) и подсчет того, сколько единиц информации может быть передано посредством данного носителя. При том, что "единица информации" - тоже понятие абстрактное, не учитывающее что же именно в ней передается. И потому бессмысленное, пока не установлены некие конвенции (общепринятые способы интерпретации) по этому поводу.

    Как я недавно выразился, говоря о технологиях сжатия речи - "человеческая речь - штука безумно избыточная. 3/4 того, что я говорю можно выкинуть - и все равно все будет понятно". Я имел в виду - 3/4 бит из производимого мной потока данных (ежели его оцифровать). Но получилось более глубокое утверждение. И смех аудитории. После чего я добавил - "во всех смыслах". Поскольку это воистину так. Так вот, 3/4 того, что я тут написал, можно выкинуть. И все равно все будет понятно.
    Так что у нас с передачей информации?

    Зануда


    Зануда, красиво ты за неё, информацию. Можешь выбросить 3.14 отсюда.
    Жаль, не могу сейчас налить известное нам обоим в твой стакан.
    Вот оптоволокно проложат везде - тогда можно будет - оно же трубочка?
    Название дадим - Пивернет.

    Лев Ломбардский


    Зануда,
    Спасибо, батенька, за поддержку в неравной и кровопролитной борьбе с Физиком по поводу Средств Массовых Отрицательных Логаритмов Энтропии по Основанию "2" (Средств Массовой Информации) и вообще информации. С радостью уведомляю (довожу до сведения тот самый -log2(Э)), что цитировал ты меня!

    Арк


    Зануда,
    Ну ты растекся по древу! Опять повторяю: бессмысленно спорить о нечетко сформулированных понятиях. Сначала надо дать определения, а потом обсуждать. Только этот момент я критиковал в исходной реплике Арка. А ты вот написал 70 замечательно интересных строк, а определения так и не дал.

    Физик


    Зануда, браво...
    Сколько вдохновения!...Сколько информации удалось извлечь (и осознанать) из простой двери...

    Штирлиц второй час стучал головой в дверь...
    Информации не было...
    "No responce. Connection refused" - догадался Штирлиц...
    "А я говорил тебе, переходи на ISDN" - злорадствовал Мюллер...

    Везунчик


    Штирлиц логарифмировал энтропию в подвале DESY.
    "Штирлиц! Вы попались! У Вас на трусах бирка Мосшвеи" - сказал вошедший Мюллер.
    "Ерунда, Мюллер. Это трусы Гелл-Мана. Он их купил на Нобелевскую премию в Стокгольме" - нашелся Штирлиц.
    "Ну, блин, и загнул" - похвалил Мюллер, глядя на позу энтропии.

    ЛЛ


    Лев Ломбардский,
    Ну ты даешь, класс! Похоже появляется еше один термин в компанию к фиаско и иже с ними: "прологарифмировать". А Энтропия-то, неплохо звучит в качестве дамского имени. Или ника хотя бы.

    Физик


    Ест байка про информацию. Правда глупая.
    Кто-то рассказывал, что прилетал на Землю инопланетянин. Любопытный такой. Всем интересовался, все подряд конспектировал, шифровал в десятеричном коде и записывал в ряд. Короче, всю информацию о нашей земной цивилизации записал в виде длиннющего ряда цифр. Потом впереди этого ряда поставил запятую и добавил нолик. Опаньки - получилось число, где-то меньше единицы и чуть-чуть больше нуля. Достал марсианин палочку длиной один фут (марсианский конечно) и отметил на этой палочке полученное число. Вот в этой отметинке и оказалась вся наша цивилизация. И улетел он значитца дальше по галактикам. А палочка его вся в таких щербинках была - сколько он цивилизаций записал - бог ведает.

    Информация не может быть определена сама по себе. Скорее это системное понятие, характеристика некоторых систем. Ну должны быть какие-то условия налагаемые на такие информационные системы - что-то типа иерархической структуры, помимо передатчика и приемника информации должны быть уровни распознавания, анализа, принятия решения. Без этого нет понятия информации.

    Если я скажу: А-а-а. Ну никакой информации. А любимая девушка в ответ скажет: О-о-о! И никаких слов не надо.

    Erkin


    Арк,
    я вчера после трактата о информационной емкости двери спать ушел. Рад, что наши с тобой воззрения где-то совпали :-)

    Вот тебе цитата (немного неточная, чтобы не цитировать полстраницы, за содержательную адекватность ручаюсь):
    "Идеальное есть представление одного материального другим, осуществляемое в общественно-человеческой деятельности"
    (то есть деятельности человека, направленной на и осуществляемой совместно с другими людьми, в культуре, если угодно).

    А?

    Источник: Э.В. Ильенков, "Диалектика идеального", (авторский сб. Философия и культура, 1991, первая публикация - "Вопросы философии", год точно не помню, примерно 1985-86).

    Зануда


    Зануда,
    Спасибо за приведенное определение. Как мне представляется, суть нашего вчерашнего разногласия с Физиком с большой буквы в различии подхода к терминам вообще между учеными и простыми людьми, вроде Арка. Ученые (физики, химики и т.д.) не могут позволить себе такую роскошь, как вольное обращение с терминами, как чувственную трактовку того или иного понятия. Чувства в формулу не запихнешь, увы (или НЕ увы?). Им (ученым) нужна абсолютная однозначность понятий, иначе он просто не поймут друг друга. Кроме того, любое понятие, для того, чтобы впихнуть его в "прокрустово ложе" мат. анализа, необходимо упростить донельзя, описать его с помощью минимального набора символов, как это и произошло с Информацией.

    В процессе их учебы и работы они часто теряют способность абстрагироваться от раз и навсегда установленных определений и упрямо твердят, что "Информация это есть минус логарифм энтропии". Слова красивые, но смысла, сиреч -- информации, простым смертным не несущие. Остается, по совету того же Физика, медитировать. Хотя, справедливости ради, следует признать, что без этого определения развитие информатики и т.п. могло существенно замедлиться...

    Арк


    Арк
    Не все тут так просто. Я по части информации не то, чтобы ученый (это пудель бывает ученый), но инженер с приличным, простите, опытом. Каждый день ее, подлую, передаю. Да еще и по нескольку раз. Причем не просто "передаю", в смысле кнопку в смотрелке нажимаю, а именно осуществляю сам процесс передачи. Коммуникационщик я, сетевик, связист и все такое. И с этой точки зрения мне недостаточность "фон Неймановского" определения очень хорошо видна. Считаю-то я каналы по нему, а реальная пропускная способность (с точки зрения пользователя, который мне за нее деньги платит) выходит уже совсем не по нему. Или не совсем.

    Но в данный момент я спать пойду. А про природу определений вообще и определения информации в частности завтра чего-нибудь напишу, ежели интересно.

    Зануда


    Зануда,
    И_н_ф_о_р_м_а_ц_и_я к размышлению: Ломбардский Лев тебе товарищ...

    Физик