如何在分类任务中可视化注意力机制?

Question

我已经设法使用从@cbaziotis实现中采用的注意力机制完成了实验，现在我对可视化感到困惑。我也不太了解热图。如果你们能向我解释这些，那就意味着很多：

1. 什么是热图？如何阅读它们？
2. 在注意力机制中可视化什么？重量？
3. 可视化注意力机制的代码，结合@cbaziotis的实现

提前感谢！

Answer 1

通常，"热图"是2D强度图像，其中暗区="冷"区域，亮区="热"区。
在"注意力图"的上下文中，地图的"冷"/暗区域表示网络不关注的地方，而"热"/亮"区域是网络关注更多的区域。
它通常依赖于实现，但通常注意力热图表示注意力权重：在进行预测时如何权衡输入的不同区域。"热"区域具有更高的权重，因此它们对输出预测的贡献更大，影响更大。