要解决训练集很小但测试准确率始终很高的问题,可以使用交叉验证和数据增强等技术来改善模型的泛化能力。下面是一个示例代码,演示了如何使用交叉验证和数据增强来提高模型的准确率。
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import KFold
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.metrics import accuracy_score
from sklearn.model_selection import train_test_split
from sklearn.utils import resample
# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target
# 数据增强
X_resampled, y_resampled = resample(X, y, n_samples=100, random_state=0)
# 创建模型
model = Pipeline([
('scaler', StandardScaler()),
('classifier', SVC())
])
# 交叉验证
cv = KFold(n_splits=5, shuffle=True, random_state=0)
scores = cross_val_score(model, X_resampled, y_resampled, scoring='accuracy', cv=cv)
print("交叉验证准确率: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))
# 训练和测试
X_train, X_test, y_train, y_test = train_test_split(X_resampled, y_resampled, test_size=0.2, random_state=0)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("测试准确率: %0.2f" % accuracy)
这段代码使用了iris数据集作为示例数据集,首先对数据进行了数据增强(resample),然后创建了一个包含数据标准化和SVM分类器的Pipeline模型。接下来使用K折交叉验证来评估模型的准确率,最后使用训练集进行训练,并在测试集上进行预测,计算准确率。
通过使用交叉验证和数据增强,可以更好地评估模型的准确率,并提高模型的泛化能力,即使训练集很小。