np.random.rand以某种方式生成大于1的浮点值

Question

我正在尝试创建一个2层神经网络，为此，我首先使用numpy.random.rand将权重和偏差初始化为0和1之间的随机浮动。然而，由于某些原因，这个过程会为W1(权重1(产生大于1的浮动，而它对所有其他权重和偏差都能正确工作。我不明白为什么会发生这种情况，我想可能有什么东西从我初始化参数的函数外部影响了函数，但我无法检测到函数中任何可能受到函数外部影响的部分。

import numpy as np
    ### CONSTANTS DEFINING THE MODEL ####
n_x = 12288     # num_px * num_px * 3
n_h = 7
n_y = 1
layers_dims = (n_x, n_h, n_y)
def initialize_parameters_deep(layer_dims):
    """
    Arguments:
    layer_dims -- python array (list) containing the dimensions of each layer in our network
    
    Returns:
    parameters -- python dictionary containing your parameters "W1", "b1","W2", "b2":
    """
    np.random.seed(1)
    parameters = {}
    parameters["W1"] = np.random.rand(n_h, n_x)  #(7, 12288)
    parameters["b1"] = np.random.rand(n_h, 1)    #(7)
    parameters["W2"] = np.random.rand(n_y, n_h)  #(7, 1)
    parameters["b2"] = np.random.rand(n_y, 1)    #(1)
    
    return parameters
parameters = initialize_parameters_deep(layers_dims)
print(parameters)

输出：

{'W1': array([[4.17022005e-01, 7.20324493e-01, 1.14374817e-04, ...,
        3.37562919e-01, 1.12292153e-01, 5.37047221e-01],
       [7.07934286e-01, 3.37726007e-01, 7.07954162e-01, ...,
        4.22040811e-01, 7.78593215e-01, 3.49866021e-01],
       [9.01338451e-01, 7.95132845e-03, 1.03777034e-01, ...,
        2.78602449e-01, 5.05813021e-02, 8.26828833e-01],
       ...,
       [5.62717083e-03, 6.58208224e-01, 3.88407263e-01, ...,
        5.56312618e-01, 8.69650932e-01, 1.00112287e-01],
       [4.16278934e-01, 4.56060621e-01, 9.33378848e-01, ...,
        9.52798385e-01, 9.41894584e-01, 4.44342962e-01],
       [8.89254832e-01, 6.42558949e-01, 2.29427262e-01, ...,
        8.05884494e-01, 1.80676088e-01, 6.12694420e-01]]), 'b1': array([[0.11933315],
       [0.50073416],
       [0.21336813],
       [0.14223935],
       [0.60809243],
       [0.41994954],
       [0.43137737]]), 'W2': array([[0.81360697, 0.44638382, 0.41794085, 0.08649817, 0.29957473,
        0.33706742, 0.24721952]]), 'b2': array([[0.92363097]])}

Answer 1

它不会生成大于1的浮点值，只是以不同的方式表示它们。

4.17022005e-01与0.417022005相同，1.14374817e-04与0.000114374817相同。

请参阅此处或此处。

Answer 2

W1数字末尾的e-01、e-02、e-03等表示这些数字是以指数格式书写的。例如，如果你有2.786e-01，这和它写得像(2.786/10(一样，也就是0.2786。同样的情况：2.786e-03=(2.786/1000(==0.002786。e+2是10^2，e-2是1/(10^2(。

Answer 3

打印权重参数张量时，请注意打印的最后几个字符，例如e-01。这表示以10为基数的幂运算，也就是说，给定权重的值是打印次10到给定幂的数字。

所有的幂都是负的，这意味着权重在[0，1]范围内具有较小但正的值。

例如，4.17022005e-01等于0.417022005。