解决不平衡医疗数据集上的二元分类问题,可以采用以下步骤:
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.utils import resample
from sklearn.metrics import classification_report
# 导入数据集
data = pd.read_csv('medical_data.csv')
# 划分特征和目标变量
X = data.drop('target', axis=1)
y = data['target']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 将训练集划分为正例和负例
positive_cases = X_train[y_train == 1]
negative_cases = X_train[y_train == 0]
# 过采样正例
positive_cases_oversampled = resample(positive_cases, n_samples=len(negative_cases), random_state=42)
# 合并过采样后的正例和负例
X_train_oversampled = pd.concat([positive_cases_oversampled, negative_cases])
y_train_oversampled = pd.Series([1] * len(positive_cases_oversampled) + [0] * len(negative_cases))
# 打印过采样后的训练集样本数量
print("过采样后的训练集样本数量:", len(X_train_oversampled))
# 在过采样后的训练集上训练模型
model.fit(X_train_oversampled, y_train_oversampled)
# 在测试集上进行预测
y_pred = model.predict(X_test)
# 打印分类报告
print(classification_report(y_test, y_pred))
上述代码示例中,假设数据集已经导入为一个名为medical_data.csv
的CSV文件,包含特征和目标变量,特征列已经被划分为X
,目标列为target
。model
代表了一个已经实例化的机器学习模型,例如逻辑回归、决策树等。
在处理不平衡数据集时,我们通过过采样的方式增加了正例的样本数量,使得正例和负例的样本数量相等,从而改善了数据集的平衡性。然后,我们使用过采样后的训练集训练模型,并在测试集上进行预测和评估。
请根据实际情况调整代码中的参数和模型选择,以适应您的具体问题。