信息量计算方法

发布网友 发布时间：2024-08-11 15:36

我来回答

共1个回答

热心网友 时间：2024-09-09 17:41

信息论的奠基人C.E.Shannon在1938年引入了比特（bit）的概念，它以2的对数为基础，表示对两种可能结果的抉择量。信息论的核心在于通过概率的对数运算，量化不确定性。对于m个对象中的第i个对象，如果用n个观测指标进行度量，其全信息量TI可以通过计算Log2n得出。

申农定义的信息量，即自由信息量FI，是通过试验后不确定性减少的量，计算公式为FI=－∑piLog2pi，其中pi代表随机变量xi的观测权重，反映了实际状态分布的概率。这个减少的不确定性被称为先验信息或约束信息量BI，它等于TI减去FI，反映了风险的内在结构能。

研究显示，观控对象的比较收益优选顺序，与它们的自由信息量FI有紧密关系，对象的自由度越高，风险越小。而约束信息量BI则是风险的测量，它反映了风险的熵性质，即风险熵。

信息熵是信息的一种基本描述，它作为一种状态量，是绝对存在的；而信息量则是过程量，与信息传播过程相关，相对存在。从系统性和统计性角度看，信息量取决于特定信源和信宿的范围，它是衡量信息潜在流动价值的统计性指标，符合熵增原理的要求。信息量的定义强调了它不是孤立于传播行为，而是对信源和信宿间信息流动价值的评价，而非已发生的实际流动。

信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。

热心网友 时间：2024-09-09 17:41

信息论的奠基人C.E.Shannon在1938年引入了比特（bit）的概念，它以2的对数为基础，表示对两种可能结果的抉择量。信息论的核心在于通过概率的对数运算，量化不确定性。对于m个对象中的第i个对象，如果用n个观测指标进行度量，其全信息量TI可以通过计算Log2n得出。

申农定义的信息量，即自由信息量FI，是通过试验后不确定性减少的量，计算公式为FI=－∑piLog2pi，其中pi代表随机变量xi的观测权重，反映了实际状态分布的概率。这个减少的不确定性被称为先验信息或约束信息量BI，它等于TI减去FI，反映了风险的内在结构能。

研究显示，观控对象的比较收益优选顺序，与它们的自由信息量FI有紧密关系，对象的自由度越高，风险越小。而约束信息量BI则是风险的测量，它反映了风险的熵性质，即风险熵。

信息熵是信息的一种基本描述，它作为一种状态量，是绝对存在的；而信息量则是过程量，与信息传播过程相关，相对存在。从系统性和统计性角度看，信息量取决于特定信源和信宿的范围，它是衡量信息潜在流动价值的统计性指标，符合熵增原理的要求。信息量的定义强调了它不是孤立于传播行为，而是对信源和信宿间信息流动价值的评价，而非已发生的实际流动。

信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。

热心网友 时间：2024-09-09 17:42

信息论的奠基人C.E.Shannon在1938年引入了比特（bit）的概念，它以2的对数为基础，表示对两种可能结果的抉择量。信息论的核心在于通过概率的对数运算，量化不确定性。对于m个对象中的第i个对象，如果用n个观测指标进行度量，其全信息量TI可以通过计算Log2n得出。

申农定义的信息量，即自由信息量FI，是通过试验后不确定性减少的量，计算公式为FI=－∑piLog2pi，其中pi代表随机变量xi的观测权重，反映了实际状态分布的概率。这个减少的不确定性被称为先验信息或约束信息量BI，它等于TI减去FI，反映了风险的内在结构能。

研究显示，观控对象的比较收益优选顺序，与它们的自由信息量FI有紧密关系，对象的自由度越高，风险越小。而约束信息量BI则是风险的测量，它反映了风险的熵性质，即风险熵。

信息熵是信息的一种基本描述，它作为一种状态量，是绝对存在的；而信息量则是过程量，与信息传播过程相关，相对存在。从系统性和统计性角度看，信息量取决于特定信源和信宿的范围，它是衡量信息潜在流动价值的统计性指标，符合熵增原理的要求。信息量的定义强调了它不是孤立于传播行为，而是对信源和信宿间信息流动价值的评价，而非已发生的实际流动。

信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的，则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。