Shannon Entropie Calculator
Retro‑simulatie van Shannon’s “guessing game” (inspiratie: ‘The ideafactory‘ ):
- Plak een Engelse tekst
- De app normaliseert naar 27‑symbool alfabet (26 letters + 1 spatie).
- Er wordt een 1–3‑gram taalmodel getraind (unigram, bigram, trigram) plus eenvoudige heuristieken (woordgrenzen).
- Voor elke geëvalueerde positie (tot ingesteld maximum) rangschikt het model de 27 tekens naar kans; de rang r van de werkelijk volgende letter wordt geteld.
- Uit de verdeling p_r (kans dat r pogingen nodig zijn) berekent de app meteen:
- Ondergrens: \(H_{\text{lower}} = \sum_r r\,(p_r – p_{r+1})\,\log_2 r\)
- Bovengrens: \(H_{\text{upper}} = \sum_r p_r\,\log_2 (1/p_r)\)
- Midpoint: \((H_{\text{lower}} + H_{\text{upper}})/2\)
Om het 1970’s‑gevoel te behouden én performance acceptabel te houden, modelleert de app hoog‑N via wegingsfactoren (trigram weegt zwaarder bij hogere N). Volledig 100‑grams opslaan is in de praktijk onnodig zwaar en gaat voorbij aan Shannon’s setup (menselijke voorspellers met beperkte tabellen)
