课程内容
我有话说
1/1 层次 Softmax(Hierarchical Softmax)
讲解多分类场景下一个常用的概率归一化函数,指出当类别数量很大时它带来的计算开销问题,并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手,逐步说明如何依据权重构建层级,并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练,适合学习语言模型或词向量训练原理的读者。
本课程经Softmax瓶颈分析与Huffman树推导,讲解层次Softmax加速原理,解决大词表计算过大,帮助理解概率优化思路。
讲解多分类场景下一个常用的概率归一化函数,指出当类别数量很大时它带来的计算开销问题,并介绍一种通过树形结构来降低复杂度的改进思路。文章从原始计算方式入手,逐步说明如何依据权重构建层级,并把类别映射到叶子节点上。读完可理解这种优化为何能显著加速训练,适合学习语言模型或词向量训练原理的读者。
本课程通过工厂函数问题讲解引用折叠与std::forward,解决模板转发多余拷贝及左右值属性丢失,帮助学习者掌握完美转发机制。
本课程通过解释器加锁剖析,讲解 Python GIL 机制与影响,解决多线程多进程选型混淆,帮助学习者按 IO/CPU 密集选型。
本课程讲解 std::bind 参数绑定、占位符重排与可调用对象适配,帮助学习者掌握函数适配器用法,提升 C++ 函数式编程能力。