我目前正在运行用c++编写的贝叶斯优化。我使用Ruben Martinez Cantin的一个名为Bayesopt的工具箱(http://rmcantin.bitbucket.org/html/)。我正在做关于贝叶斯优化的论文(https://en.wikipedia.org/wiki/Bayesian_optimization)。
我之前曾尝试过这个工具箱,本周我注意到代码的运行速度比我记忆中的要慢得多。值得一提的是,我确实编写了一些可以使用此工具箱的代码。
我决定试着理解为什么会发生这种情况,我确实看到代码运行得比它应该运行的慢得多。
为了理解这是我的代码的错还是错,我尝试了一个不使用任何代码的示例。
考虑以下示例:
#include <iostream>
#include <bayesopt.hpp>
class ExampleMichalewicz: public bayesopt::ContinuousModel
{
public:
ExampleMichalewicz(bopt_params par);
double evaluateSample(const vectord& x);
bool checkReachability(const vectord &query) {return true;};
void printOptimal();
private:
double mExp;
};
ExampleMichalewicz::ExampleMichalewicz(bopt_params par):
ContinuousModel(10,par)
{
mExp = 10;
}
double ExampleMichalewicz::evaluateSample(const vectord& x)
{
size_t dim = x.size();
double sum = 0.0;
for(size_t i = 0; i<dim; ++i)
{
double frac = x(i)*x(i)*(i+1);
frac /= M_PI;
sum += std::sin(x(i)) * std::pow(std::sin(frac),2*mExp);
}
return -sum;
}
void ExampleMichalewicz::printOptimal()
{
std::cout << "Solutions: " << std::endl;
std::cout << "f(x)=-1.8013 (n=2)"<< std::endl;
std::cout << "f(x)=-4.687658 (n=5)"<< std::endl;
std::cout << "f(x)=-9.66015 (n=10);" << std::endl;
}
int main(int nargs, char *args[])
{
bopt_params par = initialize_parameters_to_default();
par.n_iterations = 20;
par.n_init_samples = 30;
par.random_seed = 0;
par.verbose_level = 1;
par.noise = 1e-10;
par.kernel.name = "kMaternARD5";
par.crit_name = "cBEI";
par.crit_params[0] = 1;
par.crit_params[1] = 0.1;
par.n_crit_params = 2;
par.epsilon = 0.0;
par.force_jump = 0.000;
par.verbose_level = 1;
par.n_iter_relearn = 1; // Number of samples before relearn kernel
par.init_method = 1; // Sampling method for initial set 1-LHS, 2-Sobol (if available),
par.l_type = L_MCMC; // Type of learning for the kernel params
ExampleMichalewicz michalewicz(par);
vectord result(10);
michalewicz.optimize(result);
std::cout << "Result: " << result << "->"
<< michalewicz.evaluateSample(result) << std::endl;
michalewicz.printOptimal();
return 0;
}
如果我单独编译这个例子,运行时间大约是23秒。
有了这个cmake文件
PROJECT ( myDemo )
ADD_EXECUTABLE(myDemo ./main.cpp)
find_package( Boost REQUIRED )
if(Boost_FOUND)
include_directories(${Boost_INCLUDE_DIRS})
else(Boost_FOUND)
find_library(Boost boost PATHS /opt/local/lib)
include_directories(${Boost_LIBRARY_PATH})
endif()
include_directories(${PROJECT_SOURCE_DIR}/include)
include_directories("../bayesopt/include")
include_directories("../bayesopt/utils")
set(CMAKE_CXX_FLAGS " -Wall -std=c++11 -lpthread -Wno-unused-local-typedefs -DNDEBUG -DBOOST_UBLAS_NDEBUG")
target_link_libraries(myDemo libbayesopt.a libnlopt.a)
现在考虑相同的主要示例,但其中我向cmake项目添加了三个额外的文件(不包括在main.cpp中)。这三个文件是我所有代码的子部分。
PROJECT ( myDemo )
ADD_EXECUTABLE(myDemo ./iCubSimulator.cpp ./src/DatasetDist.cpp ./src/MeanModelDist.cpp ./src/TGPNode.cpp)
find_package( Boost REQUIRED )
if(Boost_FOUND)
include_directories(${Boost_INCLUDE_DIRS})
else(Boost_FOUND)
find_library(Boost boost PATHS /opt/local/lib)
include_directories(${Boost_LIBRARY_PATH})
endif()
include_directories(${PROJECT_SOURCE_DIR}/include)
include_directories("../bayesopt/include")
include_directories("../bayesopt/utils")
set(CMAKE_CXX_FLAGS " -Wall -std=c++11 -lpthread -Wno-unused-local-typedefs -DNDEBUG -DBOOST_UBLAS_NDEBUG")
target_link_libraries(myDemo libbayesopt.a libnlopt.a)
这一次,运行时间约为3分钟。这对我的工作至关重要,因为如果我增加par.n_iterations
,情况往往会变得更糟。
我进一步得出的结论是,如果我在TGPNode.cpp 中评论一行
utils::cholesky_decompose(K,L); (NOTICE THAT THIS LINE IS NEVER CALLED).
我得到了23秒。此函数属于bayesopt工具箱中的一个文件:ublas_cholesky.hpp。
同样需要注意的是,工具箱代码中也调用了相同的函数。此行没有注释,它在michalewicz.optimize(result);
期间运行。
有人知道为什么会发生这种事吗?如果有人对这个主题有一些见解,那将是一个很大的帮助。
非常感谢。
JoséNogueira
它不会返回。
它将无限递归(到堆栈溢出)。
代码如下:
bopt_params initialize_parameters_to_default(void)
{
bayesopt::Parameters par;
return par.generate_bopt_params();
和generate_bopt_params
:
bopt_params Parameters::generate_bopt_params(){
bopt_params c_params = initialize_parameters_to_default();
看起来有人试图在没有实际测试的情况下消除代码重复。完全您可以恢复第一个函数的注释掉的正文