Будем проще
Погубит нас наш вульгарный материализм. Вот предки – всякие там Декарты и Ньютоны – они соображали получше нашего. Есть вот всемирный эфир, законы у него такие-то. Электромагнитное поле похоже на систему зубчатых шестереной, а электичество – на жидкость. Уравнения вот. Объяснять суть вещей не пытались. Мы вот пытаемся, но без особого успеха. Тупые мы и некультурные. Раса паршивых торгашей…
Энтропия больших систем
Так уж получилось, что работаю я с большими системами. В больших системах обязательно что-то идет не так. Хоть что делай. Можешь писать инструкции, правила, назначать штрафы, устанавливать бюрократические процедуры – все без пользы. Всегда определенный процент системы работает криво. А почему?
Энтропийная жидкость
Потому что энтропия – несжимаемая жидкость. Бардак в системе нельзя уменьшить. (а вот увеличить – пожалуйста). После того как система собрана и вступила в эксплуатацию, уровень ее энтропии составляет определенную величину. Это технический параметр, такой же как производительность. Относительную энтропию системы можно определить как отношение числа нелигимных состояний к общему числу.
Следствие: как бы парадоксально это не звучало, нельзя наладить систему, отлаживая ее по кускам.
Наладишь одно – развалиться другое, будь оно трижды надежным.
Вот простецкий пример: радиоприемник. Если уровень собственных шумов высокий, то как не разгоняй усиление, слабый сигнал не примешь.
Наиболее удивительно то, что проявления энтропии различны. Устранив ее из одного физического процесса, мы получим ее в другом.
Я назвал это явление “спектром энтропии“. Примеры я наблюдал самые поразительные. Наладили софт – упал фирменный высоконадежный хард. Наладили хард – половина админов слегла с гриппом (фантастика,а). Ну что сказать? Я бился головой об стену три года. Потом меня озарило.
Состояния
Все дело в числе состояний. Часть легитимные. Остальные нет. Вообразим систему из двух элементов. Каждый элемент имеет два равновероятных состояния. Легитимное – 0 и нелегитимное -1. Легитимное состояние системы -00. Остальные комбинации нелегитимны. Итого. Всего состояний 4 из которых три паразитных. Энтропия 75%. Еще по-божески..
Методы борьбы
Сократить число паразитных состояний, конечно, нельзя.( В основном из-за феномена, который я называю “прогностический горизонт”. Проектировщики системы предвидят ее поведение только до определенного уровня. Слоны вылезают потом.)
Можно увеличить вероятность полезных состояний. (усиливая сигнал малошумящим усилителем или объединяя полезные состояния с некоторыми безвредными бесполезными, как это делается в корректирующих кодах). Можно сократить общее число элементов.
Можно понизить до невероятно малой величины вероятность отказа малого элемента (юнит -тесты) Можно сократить время пребывания системы в нелигитимном состоянии (перезапуски, резервирование элементов). Можно делать слабосвязанные системы, которые могут находиться во фрагментарно нелигитимном состоянии. Это избыточность по времени.
Формальное определение
Формально мы можем выразить энтропию через вероятность правильной работы системы, выражаемую как доля времени системы в нелегитимном состоянии по отношению в общему времени работы. Может быть равна, в самом хорошем случае, произведению вероятностей правильной работы отдельных элементов. (ну не так тривиально все, но в целом верно). Короче говоря, вероятность правильной работы системы никогда не достигает единицы.
Феномен заключается в том, что энтропия проявляется в различных физических обличьях. Энтропия управляет физическими процессами, и переходит из одной формы в другую. Как энергия.
Помимо забот об уменьшении энтропии на этапе проектирования системы надо приложить усилия но недопущению роста энтропии в системе. В противном случае система разрушится, рано или поздно. Аппаратура сгорит. Память, вне зависимости от физической реализации, переполнится и\ или зафрагментируется. Сеть зарастет червями и вирусами.
Борьба
Уменьшить общее число состояний. Kiss.
- Уменьшить вероятность сбоя отдельного элемента. Юнит тесты, готовые элементы.
- Сократить время пребывания в нелигитимном состоянии. Перезапуски, резервирование
- Ввести избыточность. По элементам – резервирование. По времени – слабо связанные системы, по состояниям – пороговые схемы, машины состояний. Корректирующие коды
- Увеличить вероятность полезных состояний – повышение соотношения сигнал\ шум( сопротивление неверным данным на ранних этапах).
Вихревые (не эргодические) случайные процессы
Отдельная специфическая беда, свойсвенная слабосвязанным системам – основанным на таймаутах, сообщениях, событиях, процессах, потоках…
Наблюдал в программах на Эрланге и одной большой системе, не будем говорить где. Вначале все работает как надо. Потом один процесс упал. Второй слал в это время первому сообщение и тоже упал. Супервизор запланировал перезапуск первого процесса, но его пришлось отложить из-за отсутствия ресурсов. Грохнулся по таймуту третий процесс на удаленном узле. В четвертом процессе переполнилась очередь. И понеслось… В общем и целом неприятности могут так и ходить по кругу. Это очень опасные для системы состояния, поскольку нормальное состояние может и не возвратиться и наступит тепловая смерть системы. В Эрланге OTP придумали именно по этому – чтобы все бегало по рельсе и в дебри не убегало. Как лечить переходные и вихревые процессы: жестко прописывать состояния и переходы. Хотя бы подумать о них. Как на уровне элементов, так и на уровне системы.
Тепловая смерть системы
Рано или поздно наступает момент, когда система все дольше и дольше остается в сбойном состоянии. Наконец, вероятность возврата в норму становиться равной нулю. Наступает смерть системы – распад функций.
Gedanken experiment. Идеальная система
В идеальной системе отсутствуют материальные компоненты. Может ли это означать, что ей не грозит тепловая смерть? Отнюдь! В нашей вселенной существуют необратимые процессы. Так сказать, не все транзакции можно откатить…Необратимость и есть источник повышения энтропии.
Второй момент – наличие нелегитимных состояний, которые система может войти и не выйти.
Иными словами, любую систему, даже идеальную, ждет распад.
Информационная система как субъект термодинамики
Модель. Совместное воздействие на вход обрабатывающего элемента шумовых и полезных данных. Полезные данные – набор комбинаций битов, трактуемых как правильные данные. Шумовые данные – все остальные комбинации битов. Отношение числа полезных к числу произвольных и есть отношение сигнал – шум. Как его поднять? Поставить на входе малошумящий усилитель – каскад, минимально(в идеале-ничего не) добавляющий к битам, а просто фильтрующий нелегитимные комбинации. Если таКой каскад поставить в глубине обработки, то там он пользы не принесет – полезный сигнал смешается с вредным.
Полезный и вредный
Фиксированные значения
- Разрешенные диапазоны
- Наложенные внутренние зависимости – хеши, контРольные суммы, цифровые подписи
- Фиксированные длины
- Корреляция?
