将神经网络应用于数字识别

Question

我试图理解神经网络

我将输入数组组成

..# ### ### #.#
.## ..# ..# #.#
..# ### ### ###
..# #.. ..# ..#
..# ### ### ..#, etc

所需输出I设置为数字/10，即数字=5输出=0.5

代码

require 'ruby-fann'
train = RubyFann::TrainData.new(
inputs: [
[0,0,1,0,1,1,0,0,1,0,0,1,0,0,1],
[1,1,1,0,0,1,1,1,1,1,0,0,1,1,1],
[1,1,1,0,0,1,1,1,1,0,0,1,1,1,1],
[1,0,1,1,0,1,1,1,1,0,0,1,0,0,1],
[1,1,1,1,0,0,1,1,1,0,0,1,1,1,1],
[1,1,1,1,0,0,1,1,1,1,0,1,1,1,1],
[1,1,1,0,0,1,0,1,0,1,0,0,1,0,0],
[1,1,1,1,0,1,1,1,1,1,0,1,1,1,1],
[1,1,1,1,0,1,1,1,1,0,0,1,1,1,1]
],
desired_outputs: [[0.1],[0.2],[0.3], [0.4], [0.5], [0.6], [0.7], [0.8], [0.9]]
)
fann = RubyFann::Standard.new(
num_inputs: 15,
hidden_neurons: [8,4,3,4,1],
num_outputs: 1
)
fann.train_on_data(train, 100000, 10, 0.1) # 100000 max_epochs, 100 errors between reports and 0.1 desired MSE (mean-squared-error)
outputs = fann.run([0,0,1,0,1,1,0,0,1,0,0,1,0,0,1])
result = outputs.first
abort result.inspect

每个运行脚本的输出

0.5367386954219215
0.5141728468011051
0.5249739971144654
0.5373135467504666
0.5182686028674102
0.46710004502372293
0.4723526462690119
0.5306690734137796
0.5151398228322749
0.5359153267266001
0.469100790593523
0.4749347798092478
0.5094355973839471
0.5205985468860461
0.5277528652471375
0.4825827561254995

我不明白为什么输出不等于0.1，这与第一次输入完全相同。

在0.46-0.53的滞育中，这个值意味着什么？

更新

我将0替换为0.1，将1替换为0.9

输出

0.4794515462681635
0.5332274595769928
0.4601992972516728
0.427064909364266
0.43466252163025687
0.46931411920827737
0.4455544021835517
0.48051179013023565
0.4798245565677274
0.4479353078492235
0.4646710791032779
0.4887400910135108

此外，我为零位添加了+1个输入，没有发生任何显著变化

Answer 1

训练神经网络有点像一门黑暗的艺术。在这里，你最大的问题是将RMS误差目标设置为0.1，这意味着你会接受比你感兴趣的差异更大的平均绝对误差。将其设置得更低应该会有很大帮助。

此外(但不太重要)：

• 您不需要那么多隐藏层。刚好有足够的神经元。经过反复试验，我认为你的[8,4,3,4,1]对于这个问题有点低(最后一个1没有任何用处)。[30]的值似乎有效——我基本上是通过尝试一些猜测得到的。

• 分类通常最好是每个类别输出一个0/1，然后选择最大值。不过，你不需要，我用你的0.1、0.2等目标进行了测试，它可以很好地工作。解释为什么单独输出更好：如果你的输入有一些噪声，并且网络理想情况下应该在3和8之间进行选择，那么使用单个输出的中间值可能是0.55，这不是很有用，即使你四舍五入，这个值基本上是不正确的。然而，使用9个输出进行分类，"3"one_answers"8"的输出都会很高，您可以选择稍高的一个，也可以自信地表明正确的值是"3"或"8"。

• 你选择作为测试用例的问题可能会陷入局部极小值，你需要调整动量和学习率，以获得更好的成功机会。

• 整理训练数据也可能有所帮助。

以下对代码/参数的更改应该更接近您想要的结果：

require 'ruby-fann'
train = RubyFann::TrainData.new(
inputs: [
[0,0,1,0,1,1,0,0,1,0,0,1,0,0,1], [1,1,1,0,0,1,1,1,1,1,0,0,1,1,1],
[1,1,1,0,0,1,1,1,1,0,0,1,1,1,1], [1,0,1,1,0,1,1,1,1,0,0,1,0,0,1],
[1,1,1,1,0,0,1,1,1,0,0,1,1,1,1], [1,1,1,1,0,0,1,1,1,1,0,1,1,1,1],
[1,1,1,0,0,1,0,1,0,1,0,0,1,0,0], [1,1,1,1,0,1,1,1,1,1,0,1,1,1,1],
[1,1,1,1,0,1,1,1,1,0,0,1,1,1,1]
],
desired_outputs: [ [1,0,0,0,0,0,0,0,0], [0,1,0,0,0,0,0,0,0],
[0,0,1,0,0,0,0,0,0], [0,0,0,1,0,0,0,0,0],
[0,0,0,0,1,0,0,0,0], [0,0,0,0,0,1,0,0,0],
[0,0,0,0,0,0,1,0,0], [0,0,0,0,0,0,0,1,0],
[0,0,0,0,0,0,0,0,1] ]
)
fann = RubyFann::Standard.new(
num_inputs: 15,
hidden_neurons: [30],
num_outputs: 9
)
fann.learning_rate = 0.5
fann.momentum = 0.5
fann.train_on_data(train, 10000, 1000, 0.001)
outputs = fann.run([0,0,1,0,1,1,0,0,1,0,0,1,0,0,1])
m = outputs.max
puts "Result: #{( outputs.find_index { |x| x == m } ) + 1}"