![Python机器学习算法: 原理、实现与案例](https://wfqqreader-1252317822.image.myqcloud.com/cover/317/27563317/b_27563317.jpg)
2.4 项目实战
最后,我们分别来做一个Logistic回归和一个Softmax回归的实战项目:使用Logistic回归和Softmax回归分别来鉴别红酒的种类,如表2-1所示。
表2-1 红酒数据集(https://archive.ics.uci.edu/ml/datasets/wine)
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-T45_33077.jpg?sign=1739016213-mbmhRLPCA6UAvV2V4cuDHvyaFSr0yYxR-0-be95ab6042b0b2d11d0609bf047ad4be)
数据集总共有178条数据,其中每一行包含一个红酒样本的类标记以及13个特征,这些特征是酒精度、苹果酸浓度等化学指标。红酒的种类有3种,Softmax回归可以处理多元分类问题,而Logistic回归只能处理二元分类问题,因此在做Logistic回归项目时,我们从数据集中去掉其中的一类红酒样本,使用剩下的两类红酒样本作为训练数据。
读者可使用任意方式将红酒数据集文件letter-recognition.data下载到本地。此文件所在的URL为:https://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data。
2.4.1 Logistic回归
1. 准备数据
首先,调用Numpy的genfromtxt函数加载数据集:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P46_33078.jpg?sign=1739016213-5A3Wk90MK6m96JKMiH3jE1wQK4iwf7uq-0-32dc2de54a547eb8545cbc4bdef17026)
在这个项目中,我们使用Logistic回归鉴别第1类和第2类红酒,因此将数据集中第3类红酒样本去除:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P47_33080.jpg?sign=1739016213-C51kAzYKRogvtNFsycMcro9EHeEpwGMM-0-ff5e6a3a0c2ab0b920044760bb1445d4)
另外,目前y中的类标记为1和2,转换为算法所使用的0和1:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33081.jpg?sign=1739016213-RWNdwQ5SPUAClRhI3ujCvVrBpnWjSSIL-0-b07286a588608fac1b78a963d3909711)
至此,数据准备完毕。
2. 模型训练与测试
LogisticRegression的超参数有:
(1)梯度下降最大迭代次数n_iter
(2)学习率eta
(3)损失降低阈值tol(tol不为None时,开启早期停止法)
先以超参数(n_iter=2000,eta=0.01,tol=0.0001)创建模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33082.jpg?sign=1739016213-jRbqrEGLurp2CQ6Nc4Ehoskx5xPtBKNj-0-c8a9b499f3f44cc797749a114db89a91)
然后,调用sklearn中的train_test_split函数将数据集切分为训练集和测试集(比例为7:3):
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P48_33083.jpg?sign=1739016213-GdBxmzfzNBG05wgK018TAD3c807QcSBv-0-9e06fdb4a55458517c87f3fbdb1ff9a4)
在第1章中曾讨论过,应用梯度下降算法时,应保证各特征值相差不大。观察下面的数据集特征均值及方差:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P49_33084.jpg?sign=1739016213-uXYLwGynhFLrkHlkYVbeTuwVwHDU0jCk-0-1878cad7681a4dee0b40358884cb6792)
发现其中一些特征值差别较大,因此调用sklearn中的StandardScaler函数对各特征值进行缩放:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P49_33085.jpg?sign=1739016213-kJmv1oySHaL4mLlZEouixS59wpFUjS4Y-0-2301bfae4e131435f85416fb212c102d)
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P50_33086.jpg?sign=1739016213-rYiRrePRvyGwjkN7NCfUyNwaVCqbiujt-0-cc599cdfcd809726cc0dd3a46397a9a1)
接下来,训练模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P50_33087.jpg?sign=1739016213-QZAV88VN2BmYFR7VeMbNKZT7Bt2OuHDh-0-93e5bdbdf3da33dd91dfa673b21f66a4)
经过700多次迭代后算法收敛。图2-3所示为训练过程中的损失(loss)曲线。
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_11667.jpg?sign=1739016213-oDYMRId647bkBZv7pZUDU9XaNZ0CbwDy-0-d4f8b14a3c8ae41436ef65edfb246098)
图2-3
使用已训练好的模型对测试集中的实例进行预测,并调用sklearn中的accuracy_score函数计算预测的准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_33088.jpg?sign=1739016213-0hRUkhdTywJWKPiOb7HKIy4h85243Ht6-0-bfcb6ab92d5fb1bf258644099b2ce57b)
单次测试一下,预测的准确率为100%,再进行多次(50次)反复测试,观察平均的预测准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P51_33089.jpg?sign=1739016213-YEUAN4qffgBmUh5v6JxcFvnuApKW6gfc-0-b5cdb97405155c15e23cbfe2f0962cb2)
50次测试平均的预测准确率为98.05%,这表明几乎只有一个实例被预测错误,结果令人满意。读者还可以尝试使用其他超参数的组合创建模型,但该分类问题比较简单,性能提升空间不大。
至此,Logistic回归项目就完成了。
2.4.2 Softmax回归
1. 准备数据
除了无须去掉第3类红酒样本外,Softmax回归项目的数据准备工作与Logistic回归项目的数据准备工作完全相同。
首先,调用Numpy的genfromtxt函数加载数据集:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P52_33091.jpg?sign=1739016213-A1dIahgLlY3Wj3zD1mAGw7wRCHRmgbCo-0-5cb7de44e15bf54a23eb45fbde049579)
然后,将目前y中的类标记为(1,2,3),转换为算法所使用的(0,1,2):
1. >>> y -= 1
至此,数据准备完毕。
2. 模型训练与测试
Softmax回归项目中的模型训练与测试过程与之前Logistic回归项目中的完全相同,以下叙述中某些细节不再重复。
SoftmaxRegression的超参数与LogisticRegression相同:
(1)梯度下降最大迭代次数n_iter
(2)学习率eta
(3)损失降低阈值tol(tol不为None时,开启早期停止法)
我们依然使用超参数(n_iter=2000,tol=0.01,eta=0.0001)创建模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33092.jpg?sign=1739016213-zXWpehi9A2YqrylsB39P4wKi7TXpZM7t-0-17028de2b805830c437b050c80e2da58)
将数据集切分为训练集和测试集(比例为7:3):
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33093.jpg?sign=1739016213-ibBXT4TnERcL9w4jzk9ii708kCVZiR0O-0-d3d6556ae2e04af097ead787fc6f9aef)
对各特征值进行缩放:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33094.jpg?sign=1739016213-wbISC9FwbwfHIBYnLJVvCizQT9iGPqTu-0-574865e1bb520b8b523dd5eea8b14a2d)
训练模型:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33095.jpg?sign=1739016213-P8ftuyFrMne8RyT1GduMImimHpXdSTAQ-0-24e845f16f7aea8cf44b8e35286c53ce)
使用已训练好的模型对测试集进行预测,并计算预测的准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P53_33096.jpg?sign=1739016213-um9s0jSA377LJ4yCqzL71w7UYek3kST9-0-b1064c537b8374c28a3ed9c435256610)
单次测试一下,预测的准确率为98.15%,同样,再进行多次(50次)反复测试,观察平均的预测准确率:
![](https://epubservercos.yuewen.com/889FA0/15825992205221106/epubprivate/OEBPS/Images/Figure-P54_33098.jpg?sign=1739016213-2DlLFypiAyQ3RqJcda7tgTf9GsnTDcs3-0-8278fdce827ce0ed2eacd2979e89e049)
50次测试平均的预测准确率为98.04%,与之前的Logistic回归性能几乎相同。
至此,Softmax回归项目也完成了。