信息熵与图像熵范文

第一篇：信息熵与图像熵范文

信息论中有关信源熵的不等式

论文题目： 信息论中有关各种熵之间关系的证明 学院：数学科学学院 专业：信息与计算科学 姓名：周艳君 学号：20071115158

信息论中有关各种熵之间关系的证明

07信息班 周艳君 20071115158

指导老师 王桂霞

摘 要 根据信息量与熵的定义和重要定理以及主要公式，对各种熵之间的关系进行分析和证明.

关键词 无条件熵 条件熵 联合熵 交互熵.

⒈基本定义

1.1信息就是对事物动态(或它的存在方式)的不确定性的一种描述.不确定 性及随机性，可以用研究随机现象的数学教具—概率论与随机过程来描述信息. 1.2自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息.用I(ai)来表示. 1.3联合自信息量：自信息量是二维联合集XY上元素aibj的联合概率

p(aibj)数的负值，称为联合自信息量.用I(aibj)来表示. 1.4条件自信息量：为条件概率对数的负值.用I(ai/bj)来表示. 1.5交互信息量：ai后验概率与先验概率比值的对数为bj对ai的互信息量, 也称交互信息量(简称互信息).用I(ai;bj)来表示. 1.6信源熵：信源各个离散消息的自信息量的数学期望(即概率加权的统计 平均值)为信源的平均自信息量，一般称为信源的信息熵，也叫信源熵或香农熵，记为H(X). 1.7条件熵：在联合符号集合XY上的条件自信息量的数学期望.可以用

H(X/Y)表示. 1.8联合熵：也叫共熵，是联和离散符号XY上的每的元素aibj的联合自信息量的数学期望，用H(XY)表示. 2.基本公式

2.1 自信息量：I(ai)log2p(ai) 2.2 联合的自信息量：I(aibj)log2p(aibj) 当X和Y相互独立时，p(aibj)p(ai)p(bj);则有：

I(aibj)log2p(aibj)log2p(ai)p(bj)log2p(ai)log2p(bj)I(ai)I(bj)

2.3条件自信息量：I(ai/bj)log2p(ai/bj) 或 I(bj/ai)log2p(bj/ai)

2.4互信息量：I(ai;bj)log2p(ai/bj)p(ai) (i1,2,,n;j1,2,,m)

n12.5信源熵：H(X)E[I(ai)]E[log2]p(ai)log2p(ai)

p(ai)i12.6条件熵：ⅰ：在已知随机变量Y的条件下，随机变量X的条件熵H(X/Y)为：

H(X/Y)E[I(ai/bj)]p(aibj)I(ai/bj)

j1i1mn

p(aibj)lo2gp(ai/bj).

j1i1mn

ⅱ：在已知随机变量X的条件下，随机变量Y的条件熵H(Y/X)为：

H(Y/X)E[I(bj/ai)]p(aibj)I(bj/ai)

j1i1mmn

p(aibj)lo2gp(bj/ai).

j1i1n2.7联合熵：H(XY)p(aibj)I(aibj)p(aibj)log2p(aibj).

i1j1j1i1nmmn2.8有关概率的基本公式：p(ai)1，p(bj)1，p(ai/bj)1，

i1nmnj1i1p(bj1mj/ai)1，p(ab)1，p(ab)p(b),p(ab)p(a)ijijjnmnmiji，i1j1i1j1p(aibj)p(ai)p(bj/ai)p(bj)p(ai/bj).

3.各种熵之间的关系 3.1无条件熵 3.1.2 H(X)H(X/Y)I(X;Y)H(X/Y). 证明：①H(X)p(ai)log2p(ai)

i1n

p(ab)logp(a/b)p(a/b)

ij2ijj1i1nijmnp(ai)

p(aibj)lo2gj1i1mp(ai/bj)p(ai)p(aibj)lo2gp(ai/bj)

j1i1mn

I(X;Y)H(X/Y).

②H(X/Y)p(bj)p(ai/bj)log2p(ai/bj)

ji

p(bj)[p(ai/bj)log2p(ai/bj)].

ji

由熵的极值性知：

H(X/Y)p(bj)[p(ai/bj)lo2gp(ai)]

ji

[p(bj)p(ai/bj)]lo2gp(ai)

ij

H(X),

其中 p(b)p(a/b)p(ab)p(a).

jijijijj同理： H(Y)H(Y/X)I(X;Y)H(Y/X). 3.1.2. H(X)H(XY)H(Y/X). 证明：H(X)p(ai)log2p(ai)

i

[p(bj)p(ai/bj)]log2ijp(aibj)p(bj/ai)ij

p(aibj)log2p(aibj)[p(aibj)log2p(bj/ai)]

ij

H(XY)H(Y/X), 同理：H(Y)H(XY)H(X/Y).

3.2条件熵 H(X/Y)H(XY)H(Y)H(X)I(X;Y). 3.2.1 H(X/Y)H(XY)H(Y). 证明：H(X/Y)p(ab)logiji1j1mnnm2p(ai/bj)

p(aibj)log2p(aibj)i1j1nm[p(ab)]logijj1i1mmn2p(bj)

p(aibj)log2p(aibj)p(bj)log2p(bj)

i1j1j1H(XY)H(Y),

其中：p(aibj)p(bj).

i1n3.2.2 H(X/Y)H(X)I(X;Y) . 证明：H(X/Y)p(aibj)log2p(ai/bj)

i1j1nm

p(aibj)lo2gp(ai)i1j1nmnmp(aibj)p(ai)n

m

[p(aibj)]lo2gp(ai)i1j1i1mp(aibj)lo2gj1ijip(ai/bj)p(ai)

H(X)I(X;Y), 其中：

p(ab)p(a).

j1同理：H(Y/X)H(XY)H(X)H(Y)I(X;Y). 3.3联合熵 H(XY)H(YX)

H(XY)H(X)H(Y/X)H(Y)H(X/Y)

H(X)H(Y)I(X;Y) H(X/Y)H(Y/X)I(X;Y). 3.3.1H(XY)H(X)H(Y/X)H(Y)H(X/Y) . 证明：H(XY)p(aibj)log2p(aibj)

i1j1nm

p(aibj)lo2gp(ai)p(bj/ai)

i1j1nnm

[p(aibj)]lo2gp(ai)p(aibj)p(bj/ai)

i1j1i1j1mmnm

H(X)H(Y/X),

其中：p(aibj)p(ai).

j1同理：

H(XY)H(Y)H(X/Y). 3.3.2 H(XY)H(X)H(Y)I(X;Y)

. 证明：H(XY)p(aibj)log2p(ai)p(bj/ai)

i1j1nm

p(aibj)lo2gp(ai)p(bj)i1j1nmmnmp(bj/ai)p(bj)n

[p(aibj)]log 2p(ai)[p(aibj)]log2p(bj)i1j1j1i1

p(aibj)log2i1j1nmp(bj/ai)p(bj)

H(X)H(Y)I(X;Y).

3.3.3 H(XY)H(X/Y)H(Y/X)I(X;Y). 证明：H(XY)p(aibj)log2p(ai)p(bj/ai)

i1j1nm

p(aibj)lo2gp(ai/bj)p(bj/ai)i1j1nmnmnmp(ai)

p(ai/bj)

p(aibj)loggp(bj/ai) 2p(ai/bj)p(aibj)lo2i1j1i1j1

p(aibj)lo2gi1j1nmp(ai/bj)p(ai)

H(X/Y)H(Y/X)I(X;Y) 3.4交互熵 I(X;Y)I(Y;X)

I(X;Y)H(X)H(X/Y)H(Y)H(Y/X)

H(XY)H(X/Y)H(Y/X)H(X)H(Y)H(XY) . 3.4.1 I(X;Y)H(X)H(X/Y)H(Y)H(Y/X) 证明：I(X;Y)p(aibj)log2i1j1nmnmp(ai/bj)p(ai)

nm

[p(aibj)]lo2gp(ai)p(aibj)lo2gp(ai/bj)

i1j1i1j1m

H(X)H(X/Y), 其中：p(aibj)p(ai).

j1同理：I(X;Y)H(Y)H(Y/X). 3.4.2证明: I(X;Y)p(aibj)log2i1j1nmp(ai/bj)p(ai)

p(aibj)log2p(ai/bj)p(bj/ai)i1j1nmnmnm1

p(aibj)p(aibj)log2p(aibj)p(aibj)log2p(ai/bj)

i1j1mi1j1p(aibj)log2p(bj/ai)

i1j1nH(XY)H(X/Y)H(Y/X).

3.4.3证明：I(X;Y)p(aibj)log2i1j1nmp(ai/bj)p(ai)

p(aibj)lo2gi1j1nmnmp(aibj)p(ai)p(bj)

mn

[p(aibj)]lo2gp(ai)[p(aibj)]lo2gp(bj)

i1j1mj1i1

p(aibj)lo2gp(aibj)

i1j1n

H(X)H(Y)H(XY). 其中：p(aibj)p(ai)，p(aibj)p(bj). j1i1mn参考文献

[1]傅祖芸，赵建中.信息论与编码.电子工业出版社,2006,4. [2]邓稼先，康耀红.信息论与编码.西安电子科技大学出版社,2007,5. [3]陈运.信息论与编码.电子工业出版社,2007,12.

[4]贾世楼.信息论理论基础. 哈尔滨工业大学出版社,2002,6.

第二篇：感受图像信息 教案

感受图像信息

【教学目标】：

知识与技能：

、掌握“画图”的启动和退出。

2、了解画图软件的界面和画图工具的基本结构与功能。

3、使用画图软件画一幅自然风景画。

4、保存画图文件。

过程与方法：

教师讲授、演示→学生操作、练习→学生提问、教师辅导、帮助。

情感态度价值

学习画图软件的使用方法，了解如何使用计算机处理图像信息，为我们以后学习更专业的图像处理软件打下良好的基础。

【教学重点】：

了解画图软件的界面和掌握画图工具的基本结构与功能。

【教学难点】

了解画图软件的界面和掌握画图工具的基本结构与功能。

【教学过程】

导入新课：

大家都喜欢在纸上涂涂画画，那么我们如何运用电脑来进行绘画呢?

今天，我们就来学习一个用来绘画的应用程序——“画图”。

教学新知：

、“画图”的启动

依次打开“开始”、“所有程序”、“附件”，单击“画图”命令，即可以启动“画图。”

2、认识画图窗口

启动“画图”后，会出现画图窗口，它由标题栏，菜单栏，工具箱，绘图区，颜料盒和状态栏组成。

工具箱：其中有十六种绘图工具和一个辅助选择框，为用户提供了多种选择。

颜料盒：由显示多种颜色的小色块组成，用户可以随意改变绘图颜色。

3、退出“画图”程序

有两种方法：

单击窗口右上角的关闭按钮。

单击“文件”菜单中的退出按钮。

4、“文件”菜单中常用命令的使用如下：

单击“文件”“新建”，可以新建文件。

单击“文件”“保存”，打开另存为对话框，选择保存在：

单击“文件”中的“页面设置”，可以进行页面设置。

单击“文件”中的“打开”命令，可以打开指定的图像文件。

5、学生自由练习使用各种功能。

6、教师演示：

画一幅自然风景画。

7、学生练习，教师辅导。

8、展示好的学生作品，进行点评。

9、保存文件后退出“画图”程序。

总结：

今天我们学习了画图软件的有关知识：启动和退出“画图”、“画图”窗口的组成、画图工具的基本结构与功能、“文件”菜单中的一些常用命令的使用，最主要的是通过使用画图工具画图使我们明白画图软件是一个非常实用的程序，我们应该熟练掌握它的使用方法，为我们今后学习更专业的软件打好基础。

作业：有条件的学生自己创作一幅作品，题材不限。

【教学后记】：本节课的内容学生很感兴趣，所以教学效果很好，不过要使学生熟练的掌握画图软件的使用，还需要时间反复地练习。

【板书设计】

感受图像信息

1、掌握“画图”的启动和退出

2、了解画图软件的界面和画图工具的基本结构与功能

3、“文件”菜单中常见命令的使用

4、使用画图软件画一幅自然风景画

5、保存画图文件

第三篇：学历证书图像信息采集

教务部关于做好2012届毕业生学历证书图像信息采集的通

知

各系：

根据省教育厅闽教办学[2011]22号文规定，2012届预计毕业生学历证书电子注册图像信息采集工作由新华

社福建分社承担，经与新华社福建高校毕业生图像信息采集中心联系,我院2011届预计毕业生学历证书电子注册

图像信息采集工作定于2011年11月(具体时间待定)在河西校区A2-10

1、A2-102教室进行。

各系应及时通知2012届预计毕业生(包括未参加过电子注册照拍摄的往届生和预计参军毕业生)按照安排

的时间、地点参加照片数据的采集工作。现将有关事项通知如下：

1.今年我院2012届预计毕业生学历证书电子注册图像信息采集使用数据库进行拍摄,各系必须严格按照本

通知要求,按系各专业的学号从小到大排队拍照。

2.拍摄时，毕业生所穿的上衣须避开与肤色相近的黄、浅黄、土黄以及与背景颜色相近的蓝色等。

3.根据教育厅通知要求,2012届预计毕业生图像采集和后期制作(每人2寸照片4张，1寸照片8张)需每

人收费15元，各学系在拍摄前向学生收取拍摄费, 收齐后在拍摄现场以学院为单位统一交福建高校毕业生

图像信息采集中心指定工作人员, 福建高校毕业生图像信息采集中心出具统一的票据给学校。

4.个别预计毕业生因特殊原因无法在规定时间内参加图像信息采集，可以在正常的图像采集之后，由学生

所在学院统一组织到福建图像采集中心本部(地址：福州市金山建新中路2号福建分社福建图像采集中心)

补拍。补拍时间为：2012年4月1—30日(工作日，上午8：30-11：30，下午2：30-5：00)。

5.各系各专业具体拍摄时间到时另行通知。

福建师范大学协和学院教务部

2011年10月8日

第四篇：图像信息的采集与加工

2011年冠县高 中教师优质课

图像信息的采集与加工

冠县一中

骆 伟

一、教学目标

本节课从表达信息的需求出发，介绍图像合成的相关知识与技能。以制作图像作品为例，引领学生经历创作图像作品的实践活动过程，逐步掌握利用图像合成突出主题，表达信息的基本方法。

1.知识与技能

(1)掌握图像合成一些基本方法;

(2)理解图层的概念。

2.过程与方法

(1)能根据表达、交流或创作的需要，选择适当的媒体和工具完成图像作品，用以呈现信息、交流思想;

(2)能对采集的图像素材进行加工编辑，表达自己的主题思想。

3.情感态度与价值观

(1)经历创作图像作品的过程，形成积极主动学习和利用图像处理技术，参与图像作品创作的态度，培养学生的创新能力，表达能力;

(2)能理解并遵守相关的伦理道德与法律法规，认真负责地利用作品进行表达和交流，树立健康的信息表达和交流意识。

4.教学重点

掌握图像合成的一些基本方法。

5.教学难点

理解图层的概念。

二、教学内容分析

本节内容是教育科学出版社《信息技术基础》教材第五章中的内容。本节具体学习内容为 ：图像的独特魅力、图像的采集与加工。为了既让学生掌握基本操作、基本技能，又能培养学生信息技术素养，我对本节内容进行了处理，并使教学过程遵从：

1.教学过程是以教师为主导、学生为主体的过程，新课程尤其强调学生的主体性，使学生养成良好的思想品德，形成正确的人生观、世界观和价值观，培养学生的主动性、独立性、创造性、自信心、实际动手能力等。

2.防止只强调学生通过自己探索去发现、积累知识，忽视书本知识的学习和教师的系统讲授;防止只强调传授知识，忽视思想品德教育。

3.传授给学生的知识应是规律性的知识;在一定时间范围内所学的知识的量要适当;采用启发式教学。

4.科学性与教育性相结合原则;理论联系实际原则;直观性原则;循序渐进原则;巩固性原则;因材施教原则。

三、教学组织

本节以演示典型作品和主题式任务组织教学，在活动任务中体现分层次和探究式教学。

四、教学过程

(一)情景导入激发兴趣：

1.让学生去观看优秀图像作品，以学生为主体创设特定的情境，感受图像的丰富视觉效果，激发学生学习、操作的动力和积极性。 2.提出本节课要求：自己动手合成精美图像。

(二)教学内容： 1.获取数字化图像的途径

将传统照片数字化(扫描仪) 使用数码相机拍摄

从网络或其他数字化资源库中获取需要的图像素材 从影像资料中捕获 2.图像的加工工具 简易型图像软件：画图

普及型图像软件：ACDSee、Flash 专业型图像软件：Photoshop、AutoCAD 3.认识Photoshop软件工具 4.课堂演示及引导

演示样例：以“地球——我们的家园”这题，引出如何利用图像的合成技术，更好地表达信息，接着引出图像的合成操作所涉及的知识点及技能，教师以流程形式给出图像工具的图标、名称和属性功能，跟学生分析各个图像元素是用了哪些工具从原始图中选取出来的，然后进行加工，最后合成及保存作品。具体操作主要看教师演示。做到从表达信息的需求出发，介绍图像合成的相关知识与技能。以制作图像作品为例，引领学生经历创作图像作品的实践活动过程。

任

务：

第一步、打开Photoshop软件，新建一幅768×1024像素的空白图像，保存该文件

第二步、将素材中重点的图像“剪”到白纸上。主要运用到矩形选框工具、魔棒工具、磁性套索工具。

第三步、重新命名各图层

第四步、调整尺寸大小，利用移动工具调整作品各对象的位置。

第五步、进步润色作品，加入文字，增加背景图层。使用到文字工具、渐变工具 第六步、美化完成作品。 综合练习：

教师在“图像”文件夹下提供了大量的素材。大家充分利用老师提供的素材，通过小组间互帮互评的办法进一步完善自己的图像，使自己的图像最美。(进一步强化学生的审美能力和规化能力)

教师巡视，随时解决学生在学习过程中遇到的问题，并注意收集有共性的问题，同时调控整个班级情况，密切注意学生动向并及时反馈，营造一种竞争的课堂教学环境。

教师在学生介绍后多给学生正面评价，充分肯定其学习成果，展示几个好的作品，激发学生兴趣，鼓励各小组间互评，解决共性问题。

课堂小结

这节课的重点及难点。图像有很好的表达效果，但是我们在选择时，一定要根据主题和表达的需求，恰当地选择媒体，才能达到最佳效果。

作

业

通过这节课学习，每个小组设计一幅图像主题：珍惜每一滴水。

第五篇：初中信息技术 插入图像教学实录

黑龙江省肇州县兴城中学初中信息技术 插入图像教学实录

教学过程：

一、提出问题，导入新课 上课伊始，播放视频。

师：你喜欢摄影吗?在我的学校，有这样的一个群体，他们手持着相机记录着发生在校园的每个精彩瞬间，这就是我们学校的小记者俱乐部。可是最近他们遇到麻烦了。你愿意帮忙他们吗? 生：愿意 …… ……

师：播放视频“各位同学，很高兴通过这样的方式交流，我们是小记者俱乐部的成员。最近正商量着想重新设计美化我们的小记者证，但是在制作过程中却问题重重，所以想求助于大家，希望能得到你的帮助。”请大家一起来看一下他们原来的证件，说说你的感受?

生1：感觉太单调了

生2：我觉得色彩不够丰富，小记者证几个字也没有特色

师：那么如果你是设计师的话，你的设计思路又如何呢?(留有一定时间让生思考) 生讨论：颜色方便改善……弄的好看一些……有创意 师总结(略) 设计意图：利用同龄的小记者们的问题激发学生学习的兴趣和求知欲，从而有目的地引出探究任务。

二、交流合作，共同探究 1.明确探究任务。

师：今天，我们通过研究在word 中插入图像来帮助他们解决问题。 请大家思考：如何添加图片? (来自文件的图片、艺术字) 师：(观看视频，了解任务)

小记者们提出制作要求：

1、插入一张符合主题的背景图片; 2.设计醒目且美观的标题;

3.选择合适的装饰图片进行美化。

学生探究操作：在相应的边框中添加一个你满意的背景图片 师：老师在制作过程中遇到了一个难题，请大家帮忙解决—背景图片虽然已经调整了大小但是无法移动到制定的边框中?

生：请一生在教师机上面边操作边讲解

师：是否有同学与这位同学的操作不同?还有其他的方法吗?

(注：讲解本课时，受到机房硬件环境制约，教师机与学生机word版本不同，学生们积极进行不同方法的探究，但有的方法学生们在自己的机器上可行，在教师机器上却不能实现，需要教师讲清楚原因，不要让积极探究的学生们思路受挫) 师：那么添加上醒目的艺术字后如果想放置到合适的位置上是否也需要上述的设置?对艺术字工具栏设置“环绕方式”

(巩固练习并对艺术字进行美化)

1 生：自行讨论操作，找一生在教师机上完成，与大家共享操作结果 师;各小组展开竞赛活动，探索图片工具栏中的其他按钮功能

师：当插入了一幅装饰小图片后发现并不美观，原因在于小图片中的背景并不透明，如何消除背景?

生：竞赛第一个环节，组内讨论，实践操作，找到答案 …… ……

师：展示操作结果，比较不同组学生的作品，哪种才算是最佳的办法。

师：在发给你的资料中还有一个学生照片，请完成添加，思考：是否可以将照片进行适当处理，去除多余部分呢?

生：竞赛第二个环节……探索继续

总结：为了进一步修饰文档，烘托主题，可以对其进行格式修饰，比如设置透明色、裁剪等(加强对图片工具栏的使用学习)。

设计意图：让学生接受明确的任务，在真正的解决问题中对自己喜欢探索的内容进行自主学习。在整个学习过程中充分发挥学生的主动性，培养学生独立分析、解决问题的能力。 2.自主设计

师：美化你的作品，并为之设计一句宣传语。(根据不同层次的学生而言，可以让一部分学生进行精致设计，一部分学生完成基本设计，实现任务分层)

设计意图：学生将自主探究的结果进行分享交流，获得解决问题的最佳途径，并使学生在独立探索过程中不断获得成就感。同时，在学生理解知识和掌握方法的基础上，使学生的综合运用能力得到发挥与提升。

四、展示评价

师：大多数同学的作品已经完成了，让我们先睹为快，一起来欣赏一下。分小组进行作品展示。 师：看了这个作品你想说什么?对这个作品你怎么评价?你认为它的优点是什么?你又有什么新发现?谁还认为自己的想法特别新颖，展示一下你的作品，你认为你哪儿做的漂亮? 生1：作品整体特别的丰富，颜色很鲜艳。

生2：但是，作品的装饰图好像太大了，而且跟主题不太符合。 师：那你有什么好的建议给设计师吗? 生：…… 设计意图：采用多种形式对学生的作品进行展示、交流、评价，增强学生的自信心和成就感，达到交流思想、取长补短的目的。

五、梳理总结 师：其实，老师觉得同学们的作品都很棒，由于时间关系，我们不能一一展示同学们的作品。那通过这一节课的学习你有什么新的收获?(学会插入图片、调整图片大小及位置、设置图片工具栏及艺术字工具栏版式、设置图片透明色，裁剪等)。

设计意图：通过对本节课所学内容的梳理、总结，进一步激发学生深入学习的欲望，鼓励学生去积极、主动地探索解决问题的方法，达到培养学生发散式思维和创新能力的目的，同时为下一节《图文混排》做好了承上启下的工作。