Hyperopt中的qloguniform搜索空间设置问题

Question

我正在使用hyperopt来调整我的ML模型，但在使用qloguniform作为搜索空间时遇到了问题。我给出了官方维基的例子，并更改了搜索空间。

import pickle
import time
#utf8
import pandas as pd
import numpy as np
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials
def objective(x):
return {
'loss': x ** 2,
'status': STATUS_OK,
# -- store other results like this
'eval_time': time.time(),
'other_stuff': {'type': None, 'value': [0, 1, 2]},
# -- attachments are handled differently
'attachments':
{'time_module': pickle.dumps(time.time)}
}
trials = Trials()
best = fmin(objective,
space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)),
algo=tpe.suggest,
max_evals=100,
trials=trials)
pd.DataFrame(trials.trials)

但是得到以下错误。

ValueError：('negative arg to lognormal_cdf'，array([3.445387764，-3.45387764、-3.45387764、-3.4538764、-3.45287764，-3.45387764、-3.45387764、-3.4538764、-3.45287764、-4.45387764，-3.45387764、-3.45387764、-3.4538764、-3.45287764、-4.45387764，-3.45387764、-3.45387764、-3.4538764、-3.45287764、-4.45387764，-3.45387764，-3.45387764，-3.4538764，-345387764](

我尝试过不进行日志转换，如下所示，但输出值是日志转换(例如1.017,1.0008,1.02456(，这是错误的。它与文件一致。

hp.qloguniform('x', 0.001,0.1, 0.001)

感谢

Answer 1

问题似乎出现在hp.qloguniform、q以及tpe.suggest如何使用它们的最后一个参数中。

1. 首先让我们讨论一下q。根据文件：

   hp.qloguniform(标签，低，高，q(

   round(exp(uniform(low, high)) / q) * q 
   

   适用于目标所针对的离散变量"平滑"，并随着值的大小而变得更平滑，但是应在上方和下方都有边界。

   q这里是一个"quantizer"，它将把定义空间的输出限制为q的倍数。例如，以下是qloguniform内部发生的情况：

   from hyperopt import pyll, hp
   n_samples = 10
   space = hp.loguniform('x', np.log(0.001), np.log(0.1))
   evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]
   # Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,
   #          0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]
   q = 0.005
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])
   

   此处比较evaluated和qevaluated。qevaluated是q的倍数，或者说它是以q的"区间"(或步长(量化的。您可以尝试更改q值以了解更多信息。

   您在问题中定义的q与生成的样本范围(0.001 to 0.1(相比非常大：

   np.log(0.001)
   # Output: -6.907755278982137
   

   因此，这里所有值的输出都将为0。

   q = np.log(0.001)
   qevaluated = np.round(np.array(evaluated)/q) * q
   # Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]
   

2. 现在来看tpe.suggest(本文的第4节(：TPE使用不同估计器的树来优化搜索过程，在此过程中，它根据空间的生成器来划分搜索空间(在本例中为qloguniform(。有关详细信息，请参阅此处的代码。为了将空间划分为多个部分，它将使用q。

   但是，由于空间中的所有点都将为0.0(如上所述(，因此负q会为lognormal_cdf生成无效边界，这是不可接受的，因此会产生错误。

长话短说，你对q的使用不恰当。正如你在评论中所说：-

此外，根据round(exp(uniform(low, high)) / q) * q，不应在对数均匀/对数正态随机采样中使用q值

因此您应该只提供对所需空间有效的q值。因此，在这里，由于您希望生成0.001和0.1之间的值，因此q的值应该与它们相当。

我同意您在qloguniform中提供np.log(0.001)和np.log(0.1)，但这是为了使输出值在0.001和0.1之间。所以不要在q中使用np.log。应根据生成的值使用q。