在 Caffe 框架中，常用的激活函数有：
Sigmoid 激活函数：将输入值映射到 0 到 1 之间，通常用于二分类问题。Tanh 激活函数：将输入值映射到 -1 到 1 之间，通常用于多分类问题。ReLU（Rectified Linear Unit）激活函数：将负数部分置为 0，保留正数部分，通常用于加速收敛。Leaky ReLU 激活函数：ReLU 的改进版本，允许负数部分有一定的梯度。ELU（Exponential Linear Units）激活函数：ReLU 的改进版本，对负数部分进行指数变换，有更好的性能。PReLU（Parametric ReLU）激活函数：引入参数化参数，让激活函数的负数部分有一定的学习能力。Softmax 激活函数：将向量归一化为概率分布，通常用于多分类问题。这些激活函数可以根据具体的问题和网络结构选择合适的激活函数来提高训练效果。
