反向传播(Backpropagation)是神经网络中最主要的算法之一。使用Numpy重复实现Backpropagation是理解和学习反向传播的好方法。本文将使用Python中的Numpy来实现简单的全连接神经网络的反向传播算法。
首先,我们需要加载所需的Python库。
import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
我们将使用sklearn的API来生成一个数据集,该数据集将用于我们的分类任务。该分类器将是我们的全连接神经网络。在这个分类问题中,我们从一个构造的数据集中使用200个样本,其中有20个特征和两个类,每个类有100个样本。
X, y = make_classification(n_samples=200, n_features=20, n_classes=2, n_clusters_per_class=2, n_redundant=10)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, shuffle=True)
接下来,我们将指定在神经网络中使用的各层的数量,学习率和迭代次数。我们使用的神经网络是一个三层的神经网络,其中输入层有20个特征,输出层有2个类别,隐藏层有10个神经元。我们指定学习率为0.001和迭代次数为1500。
n_input = X_train.shape[1] # 输入层的数量
n_hidden = 10 # 隐藏层的数量
n_output = 2 # 输出层的数量
learning_rate = 0.001
n_iterations = 1500
接下来,我们需要初始化整个神经网络的权重和偏置。在这个神经网络中,我们使用一个非常简单的随机初始化方法。我们将在代码中使用两个字典来表示每一层的权重和偏置。
weights = {
'hidden': np.random.uniform(-1, 1, (n_input, n_hidden)),
'output': np.random.uniform(-1, 1, (n_hidden, n_output))
}
biases = {