网上有关“这里是AI小课堂我来授课啦”话题很是火热，小编也是针对这里是AI小课堂我来授课啦寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，希望能够帮助到您。
大家好！今天在这边给大家开始人工智能科普系列讲堂，这个系列我们会浅入浅出的带大家理解网络上各种高大上的词-大数据，云，人工智能，深度学习，机器学习等等分别代表了什么以及他们之间的关系。第一堂课先让大家简单了解人工智能到底是什么以及现在最流行的人工智能的一些分支。
人工智能是一个非常庞大的领域，所有现在流行的相关技术都属于其机器学习的分支，其中深度学习是机器学习中比较有难度也是最火热的领域之一。我们课堂中提到的人工智能都会泛指机器学习这个分支。
机器学习通过大量数据和算法建立模型，当有新的数据出现时，就可以利用模型进行预测了。以前人们靠经验做的决策现在都可以靠数据做支持了。
如果大家有什么人工智能相关的话题想在这里听到或者学习，欢迎大家在评论里告诉我。如果大家喜欢这个系列，欢迎点赞分享
人工智能通识-科普-信息熵和信息量
人工智能（Artificial Intelligence，简称AI）指的是一门研究和开发使机器能够模拟和执行人类智能活动的科学和技术领域。它涵盖了一系列的技术、方法和应用，旨在使计算机系统能够感知、理解、学习、推理、决策和交互，以完成各种任务。
人工智能的目标是使计算机能够模仿人类的认知能力，包括感知、理解、推理、学习和解决问题等。这可以通过多种方式实现，包括机器学习、深度学习、自然语言处理、计算机视觉、专家系统和强化学习等技术和方法。
人工智能的应用非常广泛，涵盖了诸多领域，如自动驾驶汽车、语音助手、机器翻译、金融风险分析、医疗诊断、智能机器人等。人工智能的发展已经对社会产生了深远的影响，并在许多领域取得了重大的突破和进展。
信息论中的熵如何度量的？
信息是否可以有统一的度量标准？
当你收到两条不同信息的时候，是否有方法可以度量那一条包含更多内容？
信息论之父克劳德香农Claude Shannon对这一切给出了数学量化方法，提出信息熵和信息量的概念。
同热力学中熵的概念一致，信息熵也是用于表现系统的无序随机程度。
硬币只有正反两面，随机投掷后落地只有两种可能；而骰子有六种可能。所以随意投出的投资比随意投出的硬币具有更多的随机性，或者说硬币的确定性更多一些。
明显的，信息A的信息量更大，因为它消除了另外5种可能；而信息B则只消除了另外一种可能。
当一条信息出现的时候，也意味着背后的随机性的消失。信息熵是对系统背后所有随机可能性的度量，信息量是指特定信息能够消除多少随机性（熵）。
信息熵和信息量之间的关系是什么？
特定信息的出现都是有概率的。比如说“硬币落地正面朝上”这个信息的概率是1/2，而“骰子落地显示5点”这个信息的概率是1/6。
以骰子来看，每个点数的信息都可以消除另外5种随机可能，那么我们把这些信息量相加就得到了所有可以被消除的熵的总和，但需要注意的是，每个点数都只有1/6概率出现，所以我们还需要乘以这个概率，那么我们就得到：
其中：
以上的信息熵公式中的信息量h(x)如何定义？
首先这是纯粹由人来设定的含义，应该方便于表达和计算。克劳德香农主要考虑到信息量应该具有以下特征：
我们知道，多个事件叠加的结果需要概率相乘，比如两个骰子，“A：其中一个投出6点”，“B：另一个投出5点”，那么叠加后“C：一个投出6点，另一个投出5点”，对于概率应该是P(C)=P(A)·P(B)，这里C事件出现的概率是1/6乘1/6等于1/36。
矛盾出现了，h(x)和1/P(x)成正比，但是又要满足 和 ，这可能吗？
可以的，香农经过数学推理之后得到结论，信息量必须是可能性P的倒数的对数：
这里的对数log的底数可以是10或自然对数e或者任意数字，但在香农的信息论中都使用2。
那么对于“硬币正面向上”这个信息，它的信息量就是 ，这个也是香农设定的信息量单位，也叫香农单位，其实也对应了1比特。
而对于四种平均随机可能的情况，每一种的信息量就是 ，对应2比特的信息量。
骰子的每种情况的信息量是 ，可以是小数。
这个信息量公式的另一种表达方式是改为：
所以整体信息熵的计算公式就是：
或写作：
按照这个公式计算扔硬币系统的信息熵是 ，而四种可能性的随机系统的信息熵是 ，骰子系统的信息熵是 。
很明显，系统的信息熵和单条信息量是相等的。但请注意，这里存在一个前提，那就是： 此条信息必须能够让系统变得完全确定 。对于“骰子投出的点数大于3”这样的信息就不可以简单的用这样的算法来计算。
如果一条信息能够消除系统所有的不确定性，那么它所蕴含的信息量与整个系统的信息熵一样多。
硬币和骰子和四种可能的例子几乎都是所有事件（每条信息）的发生概率相等的情况，对于更复杂的情况我们将在后面的文章中继续讨论。
END
关于“这里是AI小课堂我来授课啦”这个话题的介绍，今天小编就给大家分享完了，如果对你有所帮助请保持对本站的关注！
本文来自作者[南门迁迁]投稿，不代表欧娜号立场，如若转载，请注明出处：https://ovna.cn/xwzx/202502-53763.html
评论列表（4条）
我是欧娜号的签约作者“南门迁迁”！
希望本篇文章《这里是AI小课堂我来授课啦_1》能对你有所帮助！
本站[欧娜号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：网上有关“这里是AI小课堂我来授课啦”话题很是火热，小编也是针对这里是AI小课堂我来授课啦寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，希望能够帮助到您...