Full resolution (JPEG) - On this page / på denna sida - H. 5. 4 februari 1950 - Informationsteorin, ett nytt fält inom teletekniken, av Bertil Håård
<< prev. page << föreg. sida << >> nästa sida >> next page >>
Below is the raw OCR text
from the above scanned image.
Do you see an error? Proofread the page now!
Här nedan syns maskintolkade texten från faksimilbilden ovan.
Ser du något fel? Korrekturläs sidan nu!
This page has never been proofread. / Denna sida har aldrig korrekturlästs.
86
I TEKNISK TIDSKRIFT
Man får härvid informationen hos en symbol i
dekadiska enheter. Då
alog n = ^-6log n
° log a °
kan man allmänt skriva
H = log n
och låta logaritmens bas vara en konstant, som
bestämmer den enhet i vilken informationen
uttryckes.
Varje symbol i meddelandet innehåller således
ovannämnda information, och om meddelandet
består av m symboler blir den totala
informationen
II = m log n
Man kan också direkt studera hela meddelandet
och betrakta det urval man får göra för att
bestämma detta. Om meddelandet innehåller m
symboler och var och en av dessa är utvald ur n
möjligheter, finnes nm kombinationer, dvs.
möjliga meddelanden. Hos ett av dessa är därmed
informationen
II — log nm = m log n
som förut.
I det ovanstående har stillatigande antagits att
alla symbolerna är lika sannolika, dvs. om man
studerar ett mycket långt meddelande
förekommer där alla symbolerna lika ofta. Detta är
emellertid icke i allmänhet fallet, ty om symbolerna
representerar t.ex. bokstäver, kommer
exempelvis e, n och t att förekomma vida oftare än q, x
och z. Om man vet att ett ord börjar på t, vet
man mycket litet om själva ordet, medan om
det börjar på x, man har ett litet fåtal ord att
välja på. De ovanligare symbolerna har således
ett större informationsvärde än de vanliga.
Om sannolikheten för att man skall träffa på
en viss symbol, numrerad i, oin man väljer på
måfå, är pu kan man lätt inse att dess
informationsvärde är
II = log -.= — log pi
Pi
Man kan t.ex. som förut tänka sig symbolen
erhållen genom urval och detta skall då ske
mellan grupper, inom vilka symbolernas
sammanlagda sannolikhet är lika, varvid ovanstående
resultat erhålles. Då
n
2 pi = 1
i=i
blir informationen per symbol i medeltal
n
H = — 2 pi log pi
(=i
Meddelandet kan betraktas som framkommet
vid en stochastisk (sannolikhets-)process, där
symbol efter symbol producerats med en före-
komstfrekvens svarande mot deras
sannolikheter. Om dessa sannolikheter icke förändras
under processens gång, säges denna vara
ergo-disk eller i statistisk jämvikt. Detta innebär då
bland annat att sannolikheten för att en viss
symbol skall produceras vid ett visst tillfälle är
lika med limes för symbolens relativa
förekomstfrekvens då processens längd blir oändlig. Vidare
har vid en ergodisk process medelvärdet för
informationen per symbol ett bestämt gränsvärde
då antalet symboler växer över alla gränser. De
flesta processer av praktiskt intresse är
ergo-diska eller kan återföras på ergodiska processer.
Sannolikheten för att en viss symbol skall
produceras vid den stochastiska processen är
ofta beroende av de föregående symbolerna.
Om t.ex. ett ord börjar med bokstaven m, är
sannolikheten mycket liten för att den skall
åtföljas av ett s, men relativt stor att
bokstaven skall vara e. Då informationen hos en
symbol är ett mått på mängden av urval eller
osäkerheten att vid valet få just den symbolen,
inses att ett beroende mellan symbolerna måste
underlätta valet och minska osäkerheten, dvs.
informationen. Informationen är sålunda störst
när symbolerna väljes fullständigt oberoende av
varandra, och varje samband härvidlag minskar
informationen. En närmare behandling av detta
blir dock alltför komplicerad för att kunna tas
med i detta sammanhang.
Om symbolerna väljes fullständigt oberoende
av varandra, var i det ergodiska fallet
medelvärdet av informationen per symbol
n
H — — 2 pi log pi
i=i
Om symbolerna produceras av en källa, t.ex. en
text, säges också denna storhet H vara
informationskällans entropi. Benämningen, som är
hämtad från termodynamiken, motiveras av
vittgående analogier mellan teleteknikens
informations-och termodynamikens entropibegrepp.
Medelvärdet av informationen per symbol har
ett maximum
H — — log p
vid givet antal symboler, då alla p{ — p, dvs. då
alla symbolerna utnyttjas lika. Detta kan man
inse rent intuitivt vara den situation som ger den
största osäkerheten vid ett godtyckligt val av en
symbol.
Informationen hos en kontinuerlig funktion
Ofta är icke det meddelande som skall
överföras givet i form av en svit av diskreta
symboler, utan såsom en kontinuerlig tidsfunktion,
t.ex. en talspänning. Man kan bestämma den
information en sådan innehåller genom att
återföra den på det diskreta fallet. Detta sker i två
steg; först representeras tidsfunktionen av ett
<< prev. page << föreg. sida << >> nästa sida >> next page >>
