For purchase of this item, please read the instructions.
Volume 27: Pages 537-547, 2014
Information entropy and the statistical physics of the classical ideal gas
D. Sands1,a)and Jeremy Dunning-Davies2
1Department of Physics and Mathematics, University of Hull, Hull HU6 7RX, United Kingdom
2Institute for Theoretical Physics and Advanced Mathematics (IFM) Einstein-Galilei, Via Santa Gonda, 14, 59100 Prato, Italy
The link between statistical mechanics and information theory is examined with reference to the classical ideal gas. In particular, Jaynes’ assertion [E. T. Jaynes, Phys. Rev. 106(4), 620 (1957)] that a clear distinction between statistical and physical aspects, the latter consisting of the correct enumeration of the system’s states and their properties, is questioned in relation to the information entropy. Jaynes suggested that statistical mechanics need not be considered a physical theory, as the techniques of statistical inference lead to physically sensible results. However, we show that a physical theory of the statistics of the ideal gas leads to expressions for the information entropy that differ from those found in statistical mechanics because the probability distributions underlying the entropy differ from the canonical distribution. In particular, we show that the distribution of energy states accessible to a classical ideal gas connected to a thermal reservoir is given by the Gamma distribution and in open systems, in which the number of particles fluctuates, by a weighted sum of Gamma distributions. Computer simulations using a hard-sphere model of a classical ideal gas demonstrate the ideas. We compare the Shannon information entropy with the thermodynamic entropy and argue on the basis of the work presented here that information theoretic entropy and thermodynamic entropy, whilst seemingly related, are not necessarily identical.
Le lien entre la mécanique statistique et la théorie de l’information est examiné en référence au gaz idéal classique. En particulier, l'affirmation de Jaynes [E. T. Jaynes, Phys.Rev. 106, 620 (1957)] selon laquelle il existe une nette distinction entre les aspects statistiques et physiques, ces derniers consistant en l'énumération correcte des états du système et de leurs propriétés, est remise en question par rapport à l'entropie de l'information. Jaynes était d'avis que la mécanique statistique ne doit pas être considérée comme une théorie physique étant donné que les techniques d’inférence statistique mènent à des résultats physiquement raisonables. Cependant, nous montrons qu' une théorie physique de la statistique du gaz idéal conduit à des expressions de l'entropie de l'information qui diffèrent de celles trouvées dans la mécanique statistique, car les distributions de probabilité sous-jacentes à l'entropie diffèrent de la distribution canonique. En particulier, nous montrons que la distribution des états d'énergie accessibles à un gaz idéal classique relié à un réservoir thermique est donnée par la distribution Gamma et, dans des systèmes ouverts dans lesquels le nombre de particules varie, par une somme pondérée des distributions Gamma. Des simulations informatiques utilisant un modèle de sphères dures d'un gaz idéal classique démontrent ces idées. Nous comparons l'entropie de l'information de Shannon avec l'entropie thermodynamique et argumentons, sur la base des travaux présentés ici, que l'entropie théorique de l'information et l'entropie thermodynamique, bien que semblant liées, ne sont pas nécessairement identiques.
Key words: Classical Ideal Gas; Information Entropy; Canonical Distribution; Grand Canonical Distribution; Gibbs
Paradox.
Received: September 18, 2012; Accepted: September 6, 2014; Published Online: September 24 2014
a) This email address is being protected from spambots. You need JavaScript enabled to view it.
