[1] Historyczno-filozoficzne tło współczesnej teorii informacji
(dr Marek Woszczek)
#

Nagranie wykładu (19.10.2009, 78 min.)


Imago creationis: emblemat zaprojektowany przez G. W. Leibniza (1697)


■ Historia teorii informacji: [1] prahistoria: od starożytności do XVIII w.; [2] okres przejściowy: XIX w. (kształtowanie się problematyki i pierwsze idee); [3] rozwój właściwej „teorii informacji”: od lat 20-ych XX w. (z boomem po II wojnie światowej). ■ „Labirynt teorii informacji” – mówienie o „paradygmacie informacyjnym” jet dość niejasne i kłopotliwe (nieco odmiennie rozumieją to logicy-matematycy, informatycy, fizycy teoretycy, biologowie, psychologowie, socjologowie i wreszcie filozofowie). Filozofowie mają na przykład często na myśli rozważania dot. możliwego zróżnicowania stanów i ich struktury oraz ewolucji, bez jakiegokolwiek nawiązania do elementów teorii algorytmu czy matematycznej teorii prawdopodobieństwa! Uwarunkowana historycznie wielokontekstowość pojęcia „informacji”. ■ Prahistoria teorii informacji. ■ Pierwsze intuicje dot. pozyskiwania wiedzy: filozoficzne teorie percepcji w epistemologii (problem: jak wyjaśnić fakt, że człowiek zyskuje wiedzę o swoim otoczeniu, gromadzi ją i porządkuje?). ■ Przykład teorii percepcji Empedoklesa z Akragas (V w. p. n. e., zachowana gł. dzięki Platonowi i Teofrastowi): percepcja zachodzi przez wypływy (aporroaī) rzeczy i przejścia (poroi). Wypływy przenoszą się w przestrzeni i trafiają do „przejść” zmysłów, które mają różne rozmiary – każdy zmysł analizuje tylko te wypływy, do których przyjęcia jest przygotowany; np. barwa jako „wypływ kształtu” (aporroē schēmatōn) → pierwsza koncepcja zmysłów jako fizycznych analizatorów informacji o otoczeniu (nasza współczesna biofizyka percepcji jest wyrafinowaną formą tej wczesnej intuicji). Zmysły ujmowane jako filtry informacji fizycznej. Empedokles miał wyjaśniać poprzez wypływy nie tylko percepcję, ale mnóstwo innych zjawisk fizycznych i chemicznych, np. powstawanie związków chemicznych czy magnetyzm, a nawet wszelką zmianę. ■ Teoria percepcji Demokryta i atomistów (V w. p. n. e.): poznanie to również wymiana informacji z otoczeniem przez „wypływy” (aporroaī), a konkretnie strumienie atomów, które poruszają wewnętrzne atomy duszy. Całe poznanie jest możliwe dzięki temu, że „obrazy” otoczenia są przenoszone do fizycznego umysłu człowieka; eídolon = „obraz” (współczesna „reprezentacja”). Inne idee: Platon i związki między geometrycznymi własnościami fizycznymi a subiektywnymi doznaniami (np. element żywiołu ognia jako czworokąt foremny „tnący, co napotka”, stąd wrażenie gorąca i parzenia). ■ Wizjonerski projekt „maszyny dowodowej” Rajmunda Lullusa (XIII w.), wytwarzającej dowody twierdzeń teologicznych – oryginalna idea przetwarzania wiedzy rozumianej jako system logiczny i pierwszy projekt jego mechanizacji.

■ Nowy etap historii „teorii informacji” na gruncie filozofii: XVII w. ■ Thomas Hobbes (1588-1679) i 1. rozdział jego De corpore: myślenie / rozumowanie jako proces liczenia („cogitatio est computatio”). Obliczać znaczy „zebrać sumę wielu rzeczy dodanych razem w tym samym czasie, albo też znać resztę, kiedy jedna rzecz została odjęta od drugiej. Rozumować znaczy zatem dodawać lub odejmować”. Tworzenie nowych informacji, podobnie jak rozumowanie w ogóle (np. sylogistyka) ma zachodzić przez pewne manipulacje logiczno-matematyczne dające się zredukować do prostych zasad („+” i „-”). Reguły te nie są jakimiś istotowymi własnościami tajemniczej duszy, lecz po prostu pewnymi mechanizmami albo algorytmami operacji, jak np. zasady poprawnego pisania → myślenie jako proces mechaniczny. Hobbes a „metoda geometryczna” Galileusza. Materializm Hobbesa: stany umysłu dają się sprowadzić do ruchów atomów, a więc to nie „dusza” prowadzi obliczenia, lecz materia przez ruch (zmiany stanów). Hobbes jako prekursor zarówno materialistycznej, jak i obliczeniowej teorii umysłu. ■ Gottfried W. Leibniz (1646-1716): geniusz teorii informacji i – jako idealista – polemiczny rywal Hobbesa. Dissertatio de arte combinatoria / Rozprawa o sztuce kombinatorycznej (Lipsk 1666): rozumowanie jako obliczanie – idea inspirowana też przez ars magna Lullusa i ideę poszukiwania „alfabetu ludzkiego myślenia”. Działanie umysłu jako wyrafinowana aktywność łączenia (kombinacji) prostych elementów wedle reguł „dodawania” i „odejmowania”: zdaniem L., tak jak są dwa podstawowe znaki algebry („+” i „-”), tak też są na przykład dwa podst. łączniki, „revera” („tak jest”) oraz „non” („nie”); L. rozwija złożoną kombinatorykę (pierwszą od czasów Lullusa), by pokazać zarysy swej obliczeniowej teorii umysłu – jest to już prymitywna teoria przetwarzania informacji ujęta od strony logicznej (L. traktował potem Dissertatio... jako „młodzieńczo niedojrzałą”). ■ Leibniz jako niezależny wynalazca systemu binarnego na Zachodzie (ok. 1679 r.) – zarówno kodowania binarnego, jak i arytmetycznego systemu binarnego: był to dlań nie tylko uniwersalny język wyrażania ludzkiej wiedzy, ale także język przyrody. 1673: L. skonstruował pierwszą maszynę liczącą, „arytmometr” (udoskonalona paskalina z 1642 r.). 1679: De progressione dyadica (systematyczny szkic systemu binarnego wraz z projektem maszyny liczącej na nim opartej, działającej w oparciu o kulki i perforowane karty – idea pierwszego „komputera”!). 1685: Machina arithmetica; 1703: Explication de l’arithmetique binaire. ■ Leibnizowska fascynacja starożytnym chińskim systemem binarnym (heksagramy I-Chingu). Korespondencja z jezuitą Joachimem Bouvetem (1656-1730), misjonarzem w Chinach i zbieżność ich idei metafizyczno-teologicznych. ■ List L. do księcia Rudolfa Augusta Brunszwickiego z 2 I 1697 omawiający ideę systemu binarnego wraz z projektem emblematu medalowego przedstawiającego stworzenie świata: IMAGO CREATIONIS / Omnibus ex nihilo ducendis sufficit unum („Jeden wystarczy, by wyprowadzić wszystko z niczego”). Teologiczno-metafizyczna interpretacja L.: relacja „0” („ciemność” / „nicość”) i „1” („światłość” / Bóg jako „Byt”) odzwierciedla działanie Boga wyprowadzającego świat z nicości. L. wierzył nawet, że w ten sposób można filozoficznie (racjonalnie) nawrócić Chińczyków na chrześcijaństwo! ■ System binarny jako Leibnizowski „uniwersalny język”, characteristica universalis, tj. taki, którym moga posługiwać się nie tylko ludzie czy maszyny, ale i którym posłużył się Absolut konstruując świat. Leibniz: kosmos jako rodzaj naturalnego automatu obliczeniowego, w którym informacja jest kodowana liczbowo-binarnie (procesorami są tu „monady”, które nazywał automata naturalia / „naturalnymi automatami” i Machines de la Nature / „Maszynami Natury”), w czym antycypował współczesną fizykę informacji. ■ John Wilkins i jego Mercury or the Secret and Swift Messenger (1641): metoda kodowania za pomocą dwójkowego kodu pięciobitowego oraz pomysłowe metody sygnalizacji. Robert Hooke i pierwsze szacowanie „pojemności informacyjnej” mózgu. ■ XVIII w: pierwsze próby ogólniejszego ujmowania przetwarzania informacji i procesów komunikacji. Klasyfikacja d’Alemberta z jego Wstępu do Encyklopedii (1751). Logika: [1] Sztuka myślenia; [2] Sztuka utrwalania: (2. 1) pamięć: a) naturalna, b) sztuczna; (2. 2) środki pomocnicze pamięci: a) pismo, b) druk; [3] Sztuka przekazywania: (3. 1) nauka o narzędziach wypowiadania się; (3. 2) nauka o walorach wypowiadania się (retoryka etc.).

Maszyna licząca Leibniza

■ Okres przejściowy rozwoju teorii informacji: XIX w. Początki technologii informacji (elektrotechnika komunikacyjna). ■ Przesyłanie informacji jako problem z zakresu elektrotechniki: na pierwszy plan wysunęły się zagadnienia fizyki prądu elektrycznego, wzmacniania, kodowania i dekodowania sygnału. Telegraf elektryczny (1832: prezentacja barona Pavla Schillinga w Sankt Petersburgu; 1833: 2.5 km linia telegraficzna w Getyndze uruchomiona przez Carla F. Gaussa i Wilhelma Webera; 1838: Samuel Morse i Alfred Vail, New Jersey / USA). Telefon (m. in. Innocenzo Manzetti i jego idea „mówiącego telegrafu” w latach 40-ych, Antonio Meucci w 50-ych, Alexander G. Bell i Thomas Edison w 70-ych). Radiotelegrafia i radio (m. in. Nikola Tesla, 1893; Albert Turpain, 1895; Guglielmo Marconi, 1896). Rozwój telegrafii: od pierwszego połączenia międzymiastowego (1844, Baltimore-Waszyngton, Samuel Morse) po połączenie Europa-Indie (1870). Kodowanie binarne w telegrafii (napięcia dodatnie i ujemne): pierwsza realizacja idei Leibniza w teorii komunikacji - po dwóch stuleciach zapomnienia. ■ Charles Babbage (1791-1871) – praojciec programowania komputerowego i konstruktor pierwszego mechanicznego komputera. 1832: prototyp „maszyny różnicowej” Babbage’a. 1834: początek prac nad „maszyną analityczną” (nigdy nie ukończoną). „Maszyna analityczna” jako prototyp współczesnych komputerów z „młynem arytmetycznym” (jednostką centralną), „magazynem liczbowym” (pamięcią wewnętrzną) i pamięcią zewnętrzną przenoszoną na kartach perforowanych (zarówno dane, jak i „reguły operacji”, czyli programy). W zamyśle Babbage’a – „maszyna uniwersalna” posługująca się uniwersalnym językiem, „notacją mechaniczną”, a więc miała rozwiązywać dowolne abstrakcyjne zadanie (obliczenia) dające sie zakodować w tej notacji (jedynym ograniczeniem energia i czas obliczania). ■ George Boole (1815-1864): twórca „algebry Boole’a”, podstawy całej współczesnej elektroniki cyfrowej i konstrukcji komputerów dzięki późniejszej pracy Shannona. Algebra binarna (dwie wartości: „0” i „1”) z dwoma operacjami dwuargumentowymi (koniunkcja = „i”, alternatywa = „lub”) oraz dopełnieniem-negacją (= „nie”), które można na potrzeby obliczeń reprezentować odpowiednimi bramkami logicznymi; algebrę B. można zdefiniować za pomocą pięciu aksjomatów. An Investigation of the Laws of Thought (1854) Boole’a: dalsza konkretyzacja idei “myślenia jako obliczania” Hobbesa i Leibniza (Boole był zafasacynowany pracą Leibniza). ■ Prace techniczno-inżynierskie z XIX nie doprowadziły jeszcze do żadnej „teorii informacji”, ale położyły podwaliny pod nieco późniejszą intensyfikację zainteresowania abstrakcyjnie rozumianą „informacją” i uniwersalnymi zasadami jej przetwarzania we wszelkich układach fizycznych (okres [3] rozwoju teorii informacji).

[2] Wszechświat informacji: fizyka i filozofia
(dr Marek Woszczek)
#

Nagranie wykładu (26.10.2009, 84 min.)





■ Rozwój współczesnej teorii informacji: od lat 20-ych XX w. ■ Pierwszy historyczny filar tej teorii: dynamiczny rozwój inżynierii telekomunikacyjnej - Bell Telephone Laboratories (Bell Labs). (1878 Bell Telephone Company → 1880 American Bell Telephone Company → 1885 American Telephone & Telegraph Company, AT&T → 1925: m. in. część wydziału inżynieryjnego AT&T utworzyła Bell Telephone Laboratories, jedną z najsłynniejszych i najbardziej wpływowych organizacji branży telekomunikacyjnej i ośrodek pionierskich badań technologicznych.) W Bell Labs (BL) narodziła się współczesna „teoria informacji” w sensie technicznym (lata 20-te) dzięki postępom w inżynierii kodowania i przekazywania informacji. 1922 zał. czasopismo Bell System Technical Journal. ■ Inżynier Harry Nyquist (1889-1976) z BL: szereg prac z lat 20-ych nt. przesyłania i poprawy jakości sygnału, inżynierii telekomunikacyjnej (zwł. telegrafii i telewizji) – podstawa późniejszych prac Shannona. Artykuł Nyquista Certain Factors Affecting Telegraph Speed (1924, Bell Syst. Tech. J., vol. 3, ss. 324-346): określenie relacji między szybkością telegrafowania a liczbą wyróżnionych wartości prądu używanych do kodowania; późniejsze podstawowe dla teorii telekomunikacji tzw. twierdzenie Nyquista-Shannona również ma początek w pracy Nyquista z 2 poł. lat 20-ych. ■ 1927 Pierwsza transmisja ruchomych obrazów telewizyjnych z Waszyngtonu do Nowego Jorku (Herbert Ives z AT&T). ■ 1928 Praca fizyka i elektroinżyniera BL Ralpha V. L. Hartley’a: Transmission of Information (''Bell Syst. Tech. J.'', vol. 7, ss. 535-563) – wprowadzenie pojęcia “pojemności informacyjnej”, uogólnienie teorii Nyquista z 1924 r. na wszelką informację. ■ Claude Shannon (zm. 2001) w latach 1941-1972 pracował w BL. Podczas studiów na Uniwersytecie Michigan zetknął się z pracami matematycznymi Boole’a, które go zafascynowały; w 1937 obronił na MIT doktorat A Symbolic Analysis of Relay and Switching Circuits – zastosowanie algebry boole’owskiej do organizacji obwodów elektrycznych (zwł. telefonicznych) → początki kolejnej rewolucji w podstawach elektrotechniki i położenie podwalin pod rozwój cyfrowych maszyn obliczeniowych po II wojnie światowej (powiązanie logiki-algebry z elektroniką, co oznacza na przykład, że za pomocą odpowiednio zorganizowanych złącz elektronicznych można uprawiać logikę!). 1948 A Mathematical Theory of Communication w 2 częściach (na łamach ''Bell Syst. Tech. J.'', vol. 27, ss. 379-423 oraz 623-656) – będąca rozszerzeniem prac Nyquista (1924) i Hartley’a (1928) teoria optymalnego kodowania informacji z uwzględnieniem szumu, zastosowanie teorii prawdopodobieństwa i definicja entropii informacyjnej, zob. wykład dr. Bondeckiej-Krzykowskiej. Prace Shannona nad matematyczną teorią komunikacji prowadzone były w ramach podejścia elektrotechniczno-inżynierskiego Nyquista i Hartley’a, ale stanowią de facto część dłuższej tradycji: Leibniz → Boole → Shannon, prowadząc do czysto matematycznej, ogólnej teorii informacji.

■ „Boom” podejścia informacyjnego i teorii informacji po 1945 r. ma również drugi historyczny filar: idee matematyka Norberta Wienera (1894-1964), „wielkiego sternika” i rozkwit cybernetyki. Cybernetyka jako teoria sterowania systemami oparta na ogólnej teorii kontroli i pojęciu „sprzężenia zwrotnego”, tzn. na analizie wymiany i przetwarzania informacji między systemami. „Kołowa relacja przyczynowa”: system generuje na wyjściu pewne zmiany w otoczeniu, zbiera informację o zmienionym stanie otoczenia, przeprowadza analizę i adaptuje się do tego zmienionego stanu. Pojęcie „cybernetyka” powstało już w XIX w.: André-Marie Ampère w swojej filozoficznej summie Essai sur la Philosophie des Sciences / „Esej o filozofii nauk” w 2 tomach (1834-1843) wprowadził nazwę cybernétique w kontekście teorii sprawowania władzy / zarządzania państwem (filozofii polityki), od gr. kybernetiké = „sztuka sterowania statkiem” (terminem tym posługiwał się także polski filozof, Bronisław Trentowski, 1808-1869). 1948: główne dzieło Norberta Wienera – Cybernetics or Control and Communication in the Animal and the Machine (wyd. pol. Warszawa 1971). Cybernetyka miała być w zamyśle „paradygmatem uniwersalnym” i tak właśnie próbowano ją stosować (ogólna teoria systemów i modelowania, fizyka, filozofia, metodologia, psychologia i psychiatria, socjologia, inżynieria, robotyka, biologia, medycyna i fizjologia, bioinżynieria, antropologia, ekologia, ekonomia, politologia etc.) → por. tzw. „nowa cybernetyka” z końca lat 70-ych i 80-ych. ■ Drugi pionier cybernetyki: William Ross Ashby (1903-1972), psychiatra brytyjski, autor Wstępu do cybernetyki (wyd. pol. Warszawa 1961) i Design for a Brain (1952) – pionier modelowania mózgu i badania mechanizmów samoorganizacji sieci. ■ Warren S. McCulloch (1898-1969): amerykański psycholog i psychiatra specjalizujący się w neurofizjologii, stosował podejście informacyjno-cybernetyczne do studiowania i modelowania układu nerwowego → zastosował, analogicznie do Shannonowskiej rewolucji w elektronice, logikę boole’owską w neurofizjologii, zob. zwł. słynny artykuł A Logical Calculus of the Ideas Immanent in the Nervous Activity (w: ''Bulletin of Mathematical Biophysics'', 1943, vol. 5, ss. 115-133) napisany wraz z młodym matematykiem Walterem Pittsem (1923-1969). „Neuron McCullocha-Pittsa”: wyidealizowany neuron działający na zasadzie binarnego kodowania „0” / „1”, „wszystko-albo-nic” (bez stanów pośrednich), liczący liniową kombinację impulsów na wejściu, porównujący wynik z wartością progową i inicjujący depolaryzację aksonalną lub nie → całkowicie wyidealizowany obraz komórki nerwowej jako podstawa sieci neuronowych, a z czasem „obliczeniowej teorii umysłu”.

■ Trzeci filar rozwoju teorii informacji (obok matematycznej teorii komunikacji i cybernetyki): skonstruowanie i rozwój technologii maszyn obliczeniowych. ■ 1939 prototyp pierwszego komputera, wykonany w 1942 r.: komputer Atanasoffa-Berry’ego (tzw. ABC). ■ 1946 ENIAC 1 (Electronic Numerical Integrator and Computer): w pełni programowalny, zbudowany z 17 500 lamp próżniowych. Pierwsza generacja maszyn: komputery na lampach elektronowych. ■ 1947 wynalezienie tranzystora (początkowo germanowy, później krzemowy) przez Williama Shockley’a z Bell Labs: moment zwrotny w historii rozwoju elektroniki → druga generacja maszyn: komputery na tranzystorach (przełom lat 50/60-ych, IBM i inni). ■ 1959 wynalezienie układu scalonego (chipa): Robert Noyce i Gordon Moore, prace nad chipami krzemowymi (duża liczba tranzystorów na jednym kawałku krzemu; w końcu lat 60-ych na jednej płytce umieszczano już setki tranzystorów). ■ 1974 pierwszy w pełni funkcjonalny mikroprocesor wyprodukowany przez Intel Corp.: 8-bitowy Intel 8080 z 4800 tranzystorami realizujący w zasadzie wszystkie funkcje głównego procesora komputera – na jednym kawałku krzemu! Rozwój maszyn obliczeniowych związany był z postępem w miniaturyzacji oraz rozwojem całej elektrotechnologii. ■ Historia maszyn obliczeniowych ma ogromne znaczenie w teorii informacji, ponieważ ukształtowała naszą wyobraźnię modelującą szerszy obraz świata, np. „mózg jako komputer”, „komórka biologiczna jako komputer”, a nawet „Wszechświat jako komputer” (p. dalej). Nie zawsze możemy mieć pewność, czy analogia jest dobra i często musimy się od niej odzwyczajać, np. układ nerwowy z pewnością nie przypomina maszyny cyfrowej (analogia jest fałszywa).

■ Informacja w fizyce fundamentalnej i kosmologii. W końcu lat 20-ych rozpoczęła się stopniowo jeszcze jedna rewolucja, która ma znaczenie dla całego naukowego obrazu przyrody – rewolucja w fizyce informacji. ■ „Entropia informacyjna” Shannona (1948): skąd „entropia”? Co ma wspólnego „entropia” z „informacją”, skoro pojęcie tej pierwszej kojarzy się z klasyczną, XIX-wieczną termodynamiką, która rozwijała się w zastosowaniu do silników, maszyn parowych etc. począwszy od prac „ojca termodynamiki”, Nicolasa Carnota? ■ Ludwig Boltzmann (1844-1906) oraz Jozjasz W. Gibbs (1839-1903) przedstawili fizyczny związek pomiędzy entropią a statystyczno-mechanicznymi właściwościami układów podając miarę entropii wyrażoną logarytmem naturalnym. Boltzmann stworzył podstawy mechaniki statystycznej i wyprowadził (1877) fundamentalny związek między entropią termodynamiczną a liczbą dozwolonych stanów układu fizycznego; Gibbs wprowadził sformułowanie mechaniki statystycznej przy użyciu pojęcia „zespołu statystycznego”. ■ Entropia termodynamiczna (rozważana w termodynamice statystycznej, T. S.): liczba wszystkich dających się rozróżnić mikrostanów, w jakich mogą się znajdować cząstki danego układu bez zmiany makrostanu całego tego układu (np. jego temperatury czy ciśnienia). Aby wyrazić tę entropię używamy logarytmu (najlepiej naturalnego) oraz tzw. stałej Boltzmanna k (wprowadzonej dopiero przez Maxa Plancka w 1900 r.), k = 1,38 x 10-23 J/K, co jest uwarunkowane historycznie: chodziło o powiązanie statystyczno- mechanicznego sensu pojęcia „entropii” z klasyczną entropią cieplną wcześniejszej termodynamiki, czyli powiązanie mikropoziomu (energia) z makropoziomem (temperatura). Entropię można jednak wyrazić jako wielkość bezwymiarową przez odpowiednią redukcję. ■ Entropia termodynamiczna i entropia informacyjna (z matematycznej teorii informacji, M. T. I.) to jedno i to samo, tyle że sformułowane w dwóch historycznie różnych kontekstach, perspektywach i obszarach problemowych – C. Shannon początkowo nie zdawał sobie sprawy z tego związku. Termodynamika zajmuje się de facto procesami informacyjnymi w przyrodzie.

■ II zasada termodynamiki: w układach zamkniętych entropia wraz z upływem czasu zawsze wzrasta (→ termodynamiczna strzałka czasu) – jest to zasada statystyczna! W kategoriach informacyjnych: wraz z upływem czasu wzrasta informacyjna nieokreśloność, nigdy nie maleje (globalnie i dla układu zamkniętego). Nie od razu zdawano sobie sprawę z tej ścisłej zależności entropii i informacji – nie uświadamiano sobie, jak głęboki jest to związek i jakie ma znaczenie dla zrozumienia struktury świata fizycznego. ■ „Demon Maxwella” – paradoks sformułowany przez Jamesa C. Maxwella (Theory of Heat, 1871): inteligentna istota (choć może to być również pewne urządzenie) sortuje zamknięte w kapsule cząstki gazu o różnej energii na dwa zestawy, wytwarzając gradient temperatur i zmniejszając entropię układu. Czy można w ten sposób złamać II zasadę termodynamiki i wykorzystać to działanie np. do zbudowania silnika cieplnego? Odpowiedź: zdecydowanie nie. ■ 1929: artykuł Leó Szilárda, Über die Entropieverminderung in einem thermodynamischen System bei Eingriffen intelligenter Wesen („O zmniejszaniu entropii w układzie termodynamicznym w wyniku działania inteligentnej istoty”), w: Zeitschrift für Physik, Bd. 53, ss. 840-856. Demon Maxwella jest częścią układu i aby wykonać swoją pracę musi: (1) dokonywać pomiarów prędkości cząstek; (2) zapisać uzyskaną informację używając materialnego nośnika; (3) otwierać i zamykać podczas sortowania przegrodę między dwoma komorami w kapsule; (4) kasować uzyskaną informację przed rozpoczęciem następnego pomiaru → demon musi zmniejszać swoją entropię kosztem otoczenia, nie może tego wykonywać „za darmo”. Koszt przetwarzania informacji przez demona znacznie przewyższa zysk w postaci uporządkowanego stanu i sumarycznie entropia zawsze wzrasta. Ścisły związek termodynamiki i przetwarzania informacji, co uświadomiła praca Szilárda: informacja fizyczna jest kodowana w położeniach i pędach cząstek – entropia jest miarą tego, na ile informacja ta jest dostępna dla innego układu i może być wykorzystana; w stanie maksymalnej entropii cała informacja o stanie początkowym układu jest utracona. ■ Wszystkie procesy fizyczne – analizowane od strony mechaniczno-termodynamicznej – możemy postrzegać jako procesy przetwarzania informacji: cząstki oddziałują na siebie i zmieniają swoje stany (stany fizyczne cząstek → zmienne; interakcje fizyczne → operacje logiczne). Fizyczne operacje obliczeniowe na poziomie fundamentalnym, kwantowym (bity → qubity): Wszechświat możemy nawet modelować jako olbrzymi komputer kwantowy prowadzący obliczenia z maksymalną prędkością dopuszczaną przez prawa fizyki. ■ Czy istnieje jakieś ograniczenie gęstości informacji w czasoprzestrzeni? Czy czasoprzestrzeń ma ograniczoną pojemność informacyjną? Jeśli przetwarzanie informacji jest ściśle związane z kodowaniem tej informacji w stanach fizycznych obiektów znajdujących się w danym obszarze czasoprzestrzeni, to problem sprowadza się do określenia, czy tych stanów fizycznych może być dowolnie wiele w tym obszarze. Informacja zawarta jest w stanach cząstek (masowych i bezmasowych), czyli pojawia się problem: czy możemy zgromadzić dowolnie wiele cząstek w określonym obszarze czasoprzestrzeni? ■ Ogólna teoria względności (OTW): obecność masy-energii zakrzywia czasoprzestrzeń (wprowadza geometryczną krzywiznę, którą opisuje tzw. tensor Einsteina dla czterech wymiarów). Kiedy ściskamy gaz z kapsuły Maxwella do coraz mniejszej objętości wytwarzamy coraz większe ciśnienie, aż osiagamy pewną gęstość krytyczną, kiedy materia zapada się w sposób niekontrolowany prowadząc do tzw. osobliwości (gęstość i krzywizna czasoprzestrzeni stają się nieskończone) → powstaje czarna dziura, której promień (tzw. „promień Schwarzschilda”) zależy wprost od jej masy i tworzy „horyzont czarnej dziury” (którego powierzchnia jest proporcjonalna do masy czarnej dziury). Wewnątrz horyzontu grawitacja jest tak olbrzymia, że żaden obiekt o skończonej energii nie może się spoza niego wydostać. ■ Paradoks: masa-energia, podobnie jak pęd cząstek wpadających do czarnej dziury „nie giną” (masa czarnej dziury i moment pędu odpowiednio wzrastają, więc zasady zachowania energii i pędu obowiązują), ale – klasycznie rzecz ujmując – informacja kodowana stanami fizycznymi cząstek zostaje bezpowrotnie utracona, unicestwiona dla obserwatora z zewnątrz, co oznaczałoby, że czarne dziury zmniejszają entropię we Wszechświecie. Czyżby OTW przewidywała naruszanie II zasady termodynamiki? ■ Okazuje się, że nie: czarne dziury – jak każdy obiekt fizyczny – również mają swoją entropię informacyjną. Odkrycie Stephena Hawkinga (1974): czarne dziury promieniują, wysyłają ultrasłabe promieniowanie termiczne, a więc jakaś informacja się z nich wydostaje w postaci ciepła (czarne dziury parują tym słabiej, im większa jest ich masa) → promieniowanie Hawkinga. Jacob Beckenstein wyznaczył związek między entropią czarnej dziury a jej powierzchnią (A): entropia czarnej dziury = ¼ jej powierzchni A wyznaczonej w jednostkach powierzchni Plancka (= 10-66 cm2). Entropia czarnej dziury zależy wyłącznie od jej powierzchni, nigdy od jej objętości, choć jest maksymalną entropią, jaką może posiadać materia i promieniowanie ściśnięte w określonej objętości (czarna dziura posiada maksymalną możliwą entropię fizyczną)! → Zasada holograficzna w kosmologii (sformułowana przez Leonarda Susskinda i Gerardusa t'Hoofta w latach 1993-95). ■ Ponieważ czarna dziura zawiera całą informację, którą wcześniej pochłonęła, wynika stąd, że informacja fizyczna da się zawsze zakodować na skwantowanej powierzchni, nie potrzeba do tego trzeciego wymiaru przestrzennego, np. informacja zawarta w pewnej objętości (kapsule) gazu da się bez żadnej straty zakodować na powierzchni otaczającej tę jednostkę gazu (objętość nie ma tu znaczenia). Gęstość informacji we Wszechświecie jest ograniczana wyłącznie elementarnymi, kwantowymi jednostkami powierzchni (Plancka). Jednostka entropii = jednostka informacji = 1 bit = 4 powierzchnie Plancka (gdy posługujemy się tzw. jednostkami naturalnymi, tzn. stała Boltzmanna k i długość Plancka równe 1). Można przypuszczać zgodnie z zasadą holograficzną, że cała fizyka powinna dać się sformułować w dwóch wymiarach przestrzennych, na tzw. „kosmologicznym brzegu” (trójwymiarowość jest iluzją). ■ Rozwój fizycznej teorii informacji prowadzi nas do pewnych głębokich i nieintuicyjnych odkryć w fizyce fundamentalnej – być może jest to wreszcie trop nowej zasady, na której będzie można zbudować kosmologię kwantową. Nie jest jasne, jak rozumieć fizyczny sens zasady holograficznej, choć jedyne sensowne rozwiązanie wskazuje, iż na poziomie fundamentalnym istnieje dyskretna struktura czasoprzestrzeni (olbrzymia, ale skończona liczba stopni swobody), a więc kwantowa teoria pola zbudowana na założeniu ciągłej przestrzeni jest jedynie efektywnym przybliżeniem i trzeba będzie z niej zrezygnować! Zdumiewająca trafność filozoficznych intuicji Leibniza: czy Wszechświat to istotnie obiekt obliczający / przetwarzający informację?

Polecana literatura rozszerzająca – dla dociekliwych i zainteresowanych:

• Campbell-Kelly, Martin (2009). Jak powstały komputery. „Świat Nauki”, nr 10, ss. 54 – 61.
  
• Cooper, Leon N. (1975). Istota i struktura fizyki (ss. 366 – 401). PWN: Warszawa. (Na temat II zasady termodynamiki, entropii i termodynamiki statystycznej.)
  
• Dyson, George B. (2005). Darwin wśród maszyn. Rzecz o ewolucji inteligencji. Prószyński i S-ka: Warszawa.
  
• Hawking, Stephen (1993). Mechanika kwantowa czarnych dziur, [w:] tegoż, Czarne dziury i wszechświaty niemowlęce (ss. 135 – 151). Alkazar: Warszawa. (Pierwotnie popularnonaukowy artykuł z Scientific American, nr 1 / 1977.)
  
• Heller, Michał; Mączka, Janusz, red. (2005). Informacja a rozumienie (Materiały z VIII Krakowskiej Konferencji Metodologicznej). Biblos: Kraków.
  
• Jonscher, Charles (2001). Życie okablowane. Kim jesteśmy w epoce przekazu cyfrowego? Muza SA: Warszawa.
  
• Kopplin, John (2002). ''An Illustrated History of Computers'' (świetna galeria nt. historii maszyn obliczeniowych, na stronie Computer Science Lab).
  
• Levinson, Paul (2006). Miękkie ostrze, czyli historia i przyszłość rewolucji informacyjnej. Muza SA: Warszawa.
  
• Ligonnière, Robert (1992). Prehistoria i historia komputerów. Od początków rachowania do pierwszych kalkulatorów elektronicznych. Ossolineum: Wrocław.
  
• Lloyd, Seth; Ng, Y. Jack (2004). Wszechświat jako komputer. „Świat Nauki”, nr 12, ss. 33 – 41.
  
• Maroney, Owen (2009). ''Information Processing and Thermodynamic Entropy'' (Stanford Encyclopedia of Philosophy) – filozoficzne aspekty entropii i informacji fizycznej dla bardziej zaawansowanych.
  
• Penrose, Roger (2000). Nowy umysł cesarza. O komputerach, umyśle i prawach fizyki. PWN: Warszawa. (Prowokująco nt. obliczalności w świecie fizycznym, kosmologii, teorii kwantów i umysłu – pióra wybitnego fizyka i matematyka.)
  
• Scott, Alwyn (1999). Schody do umysłu. Nowa kontrowersyjna wiedza o świadomości (zwł. ss. 45 – 111). Wyd. Naukowo-Techniczne: Warszawa. (Przystępnie nt. neurofizyki i przetwarzania informacji w układzie nerwowym.)
  
• Smolin, Lee (2001). Trzy drogi do kwantowej grawitacji (zwł. ss. 87 – 125). CiS: Warszawa. (Przystępnie nt. termodynamiki czarnych dziur – pióra wybitnego fizyka-teoretyka.)
  
• Susskind, Leonard (1997). Czarne dziury i paradoks informacji. „Świat Nauki”, nr 6, ss. 40 – 45.
  
• Trzęsicki, Kazimierz (2006). Leibniza idea systemu binarnego, [w:] J. Kopania, H. Święczkowska (red.), Filozofia i myśl społeczna XVII wieku (ss. 183 – 203). Wyd. Uniwersytetu w Białymstoku: Białystok.