监督学习-支持向量机 (SVM)

支持向量机（Support Vector Machine，简称SVM）是一种常用的监督学习算法，用于解决分类和回归问题。SVM的目标是找到一个最优的超平面，将不同类别的样本分开。

SVM的基本原理如下：

1. 寻找最优超平面：SVM通过在特征空间中寻找最优的超平面来进行分类。最优超平面是能够最大化不同类别样本之间的间隔（也称为间隔最大化）。
2. 支持向量：支持向量是离最优超平面最近的样本点。这些样本点对于定义最优超平面的位置和间隔起到关键作用。
3. 核函数：SVM可以使用核函数将数据映射到高维特征空间，从而在低维空间中实现非线性分类。常用的核函数包括线性核、多项式核和径向基函数（RBF）核等。

SVM在分类问题中的应用非常广泛，尤其在小样本和高维数据的情况下表现良好。它可以用于二分类和多分类问题，并且对于异常值的鲁棒性较高。此外，SVM还可以应用于回归问题，称为支持向量回归（Support Vector Regression，简称SVR）。

在Python中，可以使用sklearn.svm库中的SVC类进行分类问题的SVM，使用SVR类进行回归问题的SVM。这些类提供了许多参数和方法来调整和使用SVM，如kernel选择核函数，C控制正则化程度，fit用于拟合模型，predict用于预测新样本的分类或回归结果等。

导入库

import numpy as np
import matplotlib.pyplot as plt
import pandas as pd

导入数据

数据集下载地址：
https://github.com/chemalls/100-Days-Of-ML-Code/blob/master/datasets/Social_Network_Ads.csv

dataset = pd.read_csv('Social_Network_Ads.csv')
X = dataset.iloc[:, [2, 3]].values
y = dataset.iloc[:, 4].values

拆分数据集为训练集合和测试集合

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.25, random_state = 0)

特征量化

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test = sc.fit_transform(X_test)

适配SVM到训练集合

from sklearn.svm import SVC
classifier = SVC(kernel = 'linear', random_state = 0)
classifier.fit(X_train, y_train)

预测测试集合结果

y_pred = classifier.predict(X_test)

创建混淆矩阵

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred)

训练集合结果可视化

from matplotlib.colors import ListedColormap
X_set, y_set = X_train, y_train
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('SVM (Training set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()

测试集合结果可视化

from matplotlib.colors import ListedColormap
X_set, y_set = X_test, y_test
X1, X2 = np.meshgrid(np.arange(start = X_set[:, 0].min() - 1, stop = X_set[:, 0].max() + 1, step = 0.01),
                     np.arange(start = X_set[:, 1].min() - 1, stop = X_set[:, 1].max() + 1, step = 0.01))
plt.contourf(X1, X2, classifier.predict(np.array([X1.ravel(), X2.ravel()]).T).reshape(X1.shape),
             alpha = 0.75, cmap = ListedColormap(('red', 'green')))
plt.xlim(X1.min(), X1.max())
plt.ylim(X2.min(), X2.max())
for i, j in enumerate(np.unique(y_set)):
    plt.scatter(X_set[y_set == j, 0], X_set[y_set == j, 1],
                c = ListedColormap(('red', 'green'))(i), label = j)
plt.title('SVM (Test set)')
plt.xlabel('Age')
plt.ylabel('Estimated Salary')
plt.legend()
plt.show()