训练用于一类和二类分类的支持向量机 (svm) 分类器 -凯发官方首页
训练用于一类和二类分类的支持向量机 (svm) 分类器
语法
说明
fitcsvm
基于低维或中维预测变量数据集训练或交叉验证一类和二类(二元)分类的支持向量机 (svm) 模型。fitcsvm
支持使用核函数映射预测变量数据,并支持序列最小优化 (smo)、迭代单点数据算法 (isda) 或 l1 软边距最小化(二次规划目标函数最小化)。
要基于高维数据集(即包含许多预测变量的数据集)训练二类分类线性 svm 模型,请改用 fitclinear
。
对于结合使用二类 svm 模型的多类学习,请使用纠错输出编码 (ecoc)。有关详细信息,请参阅 fitcecoc
。
要训练 svm 回归模型,请参阅 fitrsvm
(适用于低维和中维预测变量数据集)或 fitrlinear
(适用于高维数据集)。
返回训练的支持向量机 (svm) 分类器 mdl
= fitcsvm(tbl
,responsevarname
)mdl
。该分类器使用表 tbl
中包含的样本数据进行训练。responsevarname
是 tbl
中变量的名称,该变量包含一类或二类分类的类标签。
如果类标签变量只包含一个类(例如,由 1 组成的向量),fitcsvm
会训练一类分类模型。否则,该函数将训练二类分类模型。
可在前面语法中的输入参数外使用一个或多个名称-值对组参数指定选项。例如,您可以指定交叉验证的类型、误分类的代价以及分数变换函数的类型。mdl
= fitcsvm(___,name,value
)
示例
训练 svm 分类器
加载 fisher 鸢尾花数据集。删除萼片的长度和宽度以及所有观测到的山鸢尾花。
load fisheriris inds = ~strcmp(species,'setosa'); x = meas(inds,3:4); y = species(inds);
使用经过处理的数据集训练 svm 分类器。
svmmodel = fitcsvm(x,y)
svmmodel = classificationsvm responsename: 'y' categoricalpredictors: [] classnames: {'versicolor' 'virginica'} scoretransform: 'none' numobservations: 100 alpha: [24x1 double] bias: -14.4149 kernelparameters: [1x1 struct] boxconstraints: [100x1 double] convergenceinfo: [1x1 struct] issupportvector: [100x1 logical] solver: 'smo' properties, methods
svmmodel
是经过训练的 classificationsvm
分类器。您可以查看 svmmodel
的属性。例如,使用圆点表示法查看类顺序。
classorder = svmmodel.classnames
classorder = 2x1 cell
{'versicolor'}
{'virginica' }
第一个类 ('versicolor'
) 是负类,第二个类 ('virginica'
) 是正类。您可以使用 'classnames'
名称-值对组参数在训练期间更改类顺序。
绘制数据的散点图并圈出支持向量。
sv = svmmodel.supportvectors; figure gscatter(x(:,1),x(:,2),y) hold on plot(sv(:,1),sv(:,2),'ko','markersize',10) legend('versicolor','virginica','support vector') hold off
支持向量是发生在其估计的类边界之上或之外的观测值。
您可以使用 'boxconstraint'
名称-值对组参数在训练过程中设置框约束来调整边界(从而调整支持向量的数量)。
绘制二类 svm 分类器的决策边界和边际线
此示例说明如何绘制具有两个预测变量的二类(二元)svm 分类器的决策边界和边距线。
加载 fisher 鸢尾花数据集。排除所有杂色鸢尾花物种(仅留下山鸢尾花和海滨鸢尾花物种),仅保留萼片长度和宽度测量值。
load fisheriris; inds = ~strcmp(species,'versicolor'); x = meas(inds,1:2); s = species(inds);
训练线性核 svm 分类器。
svmmodel = fitcsvm(x,s);
svmmodel
是经过训练的 classificationsvm
分类器,其属性包括支持向量、线性预测变量系数和偏置项。
sv = svmmodel.supportvectors; % support vectors beta = svmmodel.beta; % linear predictor coefficients b = svmmodel.bias; % bias term
绘制数据的散点图并圈出支持向量。支持向量是发生在其估计的类边界之上或之外的观测值。
hold on gscatter(x(:,1),x(:,2),s) plot(sv(:,1),sv(:,2),'ko','markersize',10)
svmmodel
分类器的最佳分离超平面是由 指定的直线。将两个物种之间的决策边界绘制为一条实线。
x1 = linspace(min(x(:,1)),max(x(:,1)),100);
x2 = -(beta(1)/beta(2)*x1)-b/beta(2);
plot(x1,x2,'-')
线性预测变量系数 定义与决策边界正交的向量。最大边距宽度为 (有关详细信息,请参阅用于二类分类的支持向量机)。将最大边距边界绘制为虚线。标记坐标区并添加图例。
m = 1/sqrt(beta(1)^2 beta(2)^2); % margin half-width x1margin_low = x1 beta(1)*m^2; x2margin_low = x2 beta(2)*m^2; x1margin_high = x1-beta(1)*m^2; x2margin_high = x2-beta(2)*m^2; plot(x1margin_high,x2margin_high,'b--') plot(x1margin_low,x2margin_low,'r--') xlabel('x_1 (sepal length in cm)') ylabel('x_2 (sepal width in cm)') legend('setosa','virginica','support vector', ... 'boundary line','upper margin','lower margin') hold off
训练和交叉验证 svm 分类器
加载 ionosphere
数据集。
load ionosphere rng(1); % for reproducibility
使用径向基核训练 svm 分类器。让软件计算核函数的缩放值。对预测变量进行标准化。
svmmodel = fitcsvm(x,y,'standardize',true,'kernelfunction','rbf',... 'kernelscale','auto');
svmmodel
是经过训练的 classificationsvm
分类器。
交叉验证 svm 分类器。默认情况下,软件使用 10 折交叉验证。
cvsvmmodel = crossval(svmmodel);
cvsvmmodel
是 classificationpartitionedmodel
交叉验证的分类器。
估计样本外的误分类率。
classloss = kfoldloss(cvsvmmodel)
classloss = 0.0484
泛化率约为 5%。
使用 svm 和一类学习检测离群值
通过将所有鸢尾花分配给同一个类来修改 fisher 的鸢尾花数据集。检测修改后的数据集中的离群值,并确认观测值中离群值的预期比例。
加载 fisher 鸢尾花数据集。删除花瓣的长度和宽度。将所有鸢尾花都视为来自同一个类。
load fisheriris
x = meas(:,1:2);
y = ones(size(x,1),1);
使用修改后的数据集训练 svm 分类器。假设 5% 的观测值是离群值。对预测变量进行标准化。
rng(1); svmmodel = fitcsvm(x,y,'kernelscale','auto','standardize',true,... 'outlierfraction',0.05);
svmmodel
是经过训练的 classificationsvm
分类器。默认情况下,软件使用高斯核进行一类学习。
绘制观测值和决策边界。标记支持向量和潜在离群值。
svind = svmmodel.issupportvector; h = 0.02; % mesh grid step size [x1,x2] = meshgrid(min(x(:,1)):h:max(x(:,1)),... min(x(:,2)):h:max(x(:,2))); [~,score] = predict(svmmodel,[x1(:),x2(:)]); scoregrid = reshape(score,size(x1,1),size(x2,2)); figure plot(x(:,1),x(:,2),'k.') hold on plot(x(svind,1),x(svind,2),'ro','markersize',10) contour(x1,x2,scoregrid) colorbar; title('{\bf iris outlier detection via one-class svm}') xlabel('sepal length (cm)') ylabel('sepal width (cm)') legend('observation','support vector') hold off
将离群值与其余数据分隔的边界出现在围道值为 0
的位置。
验证交叉验证数据中具有负分数的观测值的比例接近 5%。
cvsvmmodel = crossval(svmmodel); [~,scorepred] = kfoldpredict(cvsvmmodel); outlierrate = mean(scorepred<0)
outlierrate = 0.0467
使用二类 svm 计算多个类边界
创建 fisheriris
数据集的散点图。将图中网格的坐标点视为来自数据集分布的新观测值,并通过将坐标点分配给数据集中的三个类之一来找出类边界。
加载 fisher 鸢尾花数据集。使用花瓣长度和宽度作为预测变量。
load fisheriris
x = meas(:,3:4);
y = species;
检查数据的散点图。
figure gscatter(x(:,1),x(:,2),y); h = gca; lims = [h.xlim h.ylim]; % extract the x and y axis limits title('{\bf scatter diagram of iris measurements}'); xlabel('petal length (cm)'); ylabel('petal width (cm)'); legend('location','northwest');
该数据包含三个类,其中一个类与其他类可线性分离。
对于每个类:
创建一个逻辑向量 (
indx
),指示观测值是否为该类的成员。使用预测变量数据和
indx
训练 svm 分类器。将该分类器存储在元胞数组的一个元胞中。
定义类顺序。
svmmodels = cell(3,1); classes = unique(y); rng(1); % for reproducibility for j = 1:numel(classes) indx = strcmp(y,classes(j)); % create binary classes for each classifier svmmodels{j} = fitcsvm(x,indx,'classnames',[false true],'standardize',true,... 'kernelfunction','rbf','boxconstraint',1); end
svmmodels
是 3×1 元胞数组,其中每个元胞包含一个 classificationsvm
分类器。对于每个元胞,正类分别是 setosa、versicolor 和 virginica。
在图中定义精细网格,并将坐标点视为来自训练数据分布的新观测值。使用每个分类器估计新观测值的分数。
d = 0.02; [x1grid,x2grid] = meshgrid(min(x(:,1)):d:max(x(:,1)),... min(x(:,2)):d:max(x(:,2))); xgrid = [x1grid(:),x2grid(:)]; n = size(xgrid,1); scores = zeros(n,numel(classes)); for j = 1:numel(classes) [~,score] = predict(svmmodels{j},xgrid); scores(:,j) = score(:,2); % second column contains positive-class scores end
scores
的每行包含三个分数。分数最高的元素的索引是新类观测值最可能属于的类的索引。
将每个新观测值与给它最高分数的分类器相关联。
[~,maxscore] = max(scores,[],2);
基于对应新观测值所属的类,在绘图区域中着色。
figure h(1:3) = gscatter(xgrid(:,1),xgrid(:,2),maxscore,... [0.1 0.5 0.5; 0.5 0.1 0.5; 0.5 0.5 0.1]); hold on h(4:6) = gscatter(x(:,1),x(:,2),y); title('{\bf iris classification regions}'); xlabel('petal length (cm)'); ylabel('petal width (cm)'); legend(h,{'setosa region','versicolor region','virginica region',... 'observed setosa','observed versicolor','observed virginica'},... 'location','northwest'); axis tight hold off
优化 svm 分类器
使用 fitcsvm
自动优化超参数。
加载 ionosphere
数据集。
load ionosphere
通过使用自动超参数优化,找到最小化五折交叉验证损失的超参数。为了实现可再现性,请设置随机种子并使用 'expected-improvement-plus'
采集函数。
rng default mdl = fitcsvm(x,y,'optimizehyperparameters','auto', ... 'hyperparameteroptimizationoptions',struct('acquisitionfunctionname', ... 'expected-improvement-plus'))
|=====================================================================================================| | iter | eval | objective | objective | bestsofar | bestsofar | boxconstraint| kernelscale | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 1 | best | 0.20513 | 16.349 | 0.20513 | 0.20513 | 64.836 | 0.0015729 | | 2 | accept | 0.35897 | 0.14027 | 0.20513 | 0.21471 | 0.036335 | 5.5755 | | 3 | best | 0.13105 | 6.6774 | 0.13105 | 0.14133 | 0.0022147 | 0.0023957 | | 4 | accept | 0.35897 | 0.19112 | 0.13105 | 0.13109 | 5.1259 | 98.62 | | 5 | accept | 0.1339 | 14.128 | 0.13105 | 0.13111 | 0.0011147 | 0.0010089 | | 6 | accept | 0.13675 | 2.8413 | 0.13105 | 0.13117 | 0.0010151 | 0.0059137 | | 7 | best | 0.12821 | 8.0524 | 0.12821 | 0.12827 | 0.0010563 | 0.0022307 | | 8 | accept | 0.1339 | 7.5899 | 0.12821 | 0.13053 | 0.0010113 | 0.0026572 | | 9 | accept | 0.12821 | 7.7937 | 0.12821 | 0.12991 | 0.0010145 | 0.0018037 | | 10 | accept | 0.12821 | 8.4811 | 0.12821 | 0.1294 | 0.0010049 | 0.0018883 | | 11 | accept | 0.13675 | 15.109 | 0.12821 | 0.12842 | 994.04 | 0.19205 | | 12 | accept | 0.1339 | 12.793 | 0.12821 | 0.1288 | 8.1763 | 0.047242 | | 13 | accept | 0.22507 | 16.693 | 0.12821 | 0.12804 | 983.48 | 0.067705 | | 14 | accept | 0.13105 | 0.39394 | 0.12821 | 0.12807 | 0.058846 | 0.073767 | | 15 | accept | 0.12821 | 4.4698 | 0.12821 | 0.12806 | 22.877 | 0.2836 | | 16 | accept | 0.12821 | 5.4563 | 0.12821 | 0.12811 | 0.12835 | 0.020261 | | 17 | accept | 0.13675 | 12.678 | 0.12821 | 0.12789 | 959.28 | 0.57912 | | 18 | accept | 0.12821 | 2.72 | 0.12821 | 0.12809 | 1.6281 | 0.087712 | | 19 | accept | 0.12821 | 0.15632 | 0.12821 | 0.1281 | 0.0010071 | 0.029923 | | 20 | accept | 0.12821 | 2.5345 | 0.12821 | 0.12794 | 0.37931 | 0.04231 | |=====================================================================================================| | iter | eval | objective | objective | bestsofar | bestsofar | boxconstraint| kernelscale | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | accept | 0.13675 | 12.566 | 0.12821 | 0.12792 | 218.45 | 0.28692 | | 22 | accept | 0.1396 | 0.46859 | 0.12821 | 0.12816 | 0.0084263 | 0.024097 | | 23 | accept | 0.1339 | 0.17073 | 0.12821 | 0.12795 | 0.0011093 | 0.11727 | | 24 | accept | 0.12821 | 14.216 | 0.12821 | 0.12798 | 0.76711 | 0.0086394 | | 25 | accept | 0.13675 | 0.36176 | 0.12821 | 0.12805 | 0.83585 | 0.25134 | | 26 | accept | 0.17949 | 16.549 | 0.12821 | 0.12796 | 0.11898 | 0.0010906 | | 27 | accept | 0.1339 | 13.043 | 0.12821 | 0.12797 | 1.3574 | 0.020097 | | 28 | accept | 0.13675 | 11.003 | 0.12821 | 0.12803 | 0.088329 | 0.0068614 | | 29 | accept | 0.12821 | 4.7252 | 0.12821 | 0.1286 | 7.8795 | 0.16358 | | 30 | best | 0.11966 | 0.20019 | 0.11966 | 0.11999 | 0.0010805 | 0.060691 |
__________________________________________________________ optimization completed. maxobjectiveevaluations of 30 reached. total function evaluations: 30 total elapsed time: 246.8684 seconds total objective function evaluation time: 218.5525 best observed feasible point: boxconstraint kernelscale _____________ ___________ 0.0010805 0.060691 observed objective function value = 0.11966 estimated objective function value = 0.11999 function evaluation time = 0.20019 best estimated feasible point (according to models): boxconstraint kernelscale _____________ ___________ 0.0010805 0.060691 estimated objective function value = 0.11999 estimated function evaluation time = 0.16467
mdl = classificationsvm responsename: 'y' categoricalpredictors: [] classnames: {'b' 'g'} scoretransform: 'none' numobservations: 351 hyperparameteroptimizationresults: [1x1 bayesianoptimization] alpha: [118x1 double] bias: -2.5864 kernelparameters: [1x1 struct] boxconstraints: [351x1 double] convergenceinfo: [1x1 struct] issupportvector: [351x1 logical] solver: 'smo' properties, methods
输入参数
tbl
— 样本数据
表
用于训练模型的样本数据,指定为表。tbl
的每行对应一个观测值,每列对应一个预测变量。不允许多列变量和字符向量元胞数组以外的元胞数组。
(可选)tbl
可以包含一个对应于响应变量的列和一个对应于观测值权重的列。
响应变量必须为分类数组、字符数组或字符串数组、逻辑向量或数值向量,或者字符向量元胞数组。
fitcsvm
仅支持一类和二类(二元)分类。或者响应变量最多只能包含两个不同类,或您必须使用classnames
名称-值参数指定一个或两个用于训练的类。有关多类学习的信息,请参阅fitcecoc
。使用
classnames
名称-值参数在响应变量中指定类的顺序是很好的做法。
权重列必须为数值向量。
您必须使用
responsevarname
或formula
在tbl
中指定响应变量,并使用weights
在tbl
中指定观测值权重。通过使用
responsevarname
指定响应变量 -fitcsvm
将其余变量用作预测变量。要使用tbl
中其余变量的子集作为预测变量,请使用predictornames
指定预测变量。使用
formula
定义模型设定 -fitcsvm
使用tbl
中变量的子集作为预测变量和响应变量,如formula
中所指定的那样。
如果 tbl
不包含响应变量,则使用 y
指定响应变量。响应变量 y
的长度和 tbl
中的行数必须相等。要使用 tbl
中变量的子集作为预测变量,请使用 predictornames
指定预测变量。
数据类型: table
responsevarname
— 响应变量名称
tbl
中变量的名称
响应变量名称,指定为 tbl
中变量的名称。
您必须以字符向量或字符串标量指定 responsevarname
。例如,如果响应变量 y
存储为 tbl.y
,则将其指定为 "y"
。否则,软件在训练模型时会将 tbl
的所有列(包括 y
)视为预测变量。
响应变量必须为分类数组、字符数组或字符串数组、逻辑向量或数值向量,或者字符向量元胞数组。如果 y
是字符数组,则响应变量的每个元素必须对应于数组的一行。
使用 classnames
名称-值参数来指定类的顺序是很好的做法。
数据类型: char
| string
formula
— 响应变量和预测变量子集的解释模型
字符向量 | 字符串标量
由响应变量和部分预测变量构成的解释模型,指定为 "y~x1 x2 x3"
形式的字符向量或字符串标量。在此形式中,y
表示响应变量,x1
、x2
、x3
表示预测变量。
要将 tbl
中的一部分变量指定为模型训练的预测变量,请使用公式。如果您指定公式,则软件不会使用 tbl
中未出现在 formula
中的任何变量。
公式中的变量名称必须既是 tbl
中的变量名称 (tbl.properties.variablenames
),又是有效的 matlab® 标识符。您可以使用 isvarname
函数来验证 tbl
中的变量名称。如果变量名称无效,可以使用 matlab.lang.makevalidname
函数进行转换。
数据类型: char
| string
y
— 类标签
分类数组 | 字符数组 | 字符串数组 | 逻辑向量 | 数值向量 | 字符向量元胞数组
用于训练 svm 模型的类标签,指定为分类、字符或字符串数组,逻辑或数值向量,或字符向量元胞数组。
fitcsvm
仅支持一类和二类(二元)分类。或者y
最多只能包含两个不同类,或您必须使用classnames
名称-值参数指定一个或两个用于训练的类。有关多类学习的信息,请参阅fitcecoc
。y
的长度和tbl
或x
的行数必须相等。如果
y
是字符数组,则每个标签必须对应于数组的一行。使用
classnames
名称-值对组参数来指定类顺序是很好的做法。
数据类型: categorical
| char
| string
| logical
| single
| double
| cell
x
— 预测变量数据
数值矩阵
用于训练 svm 分类器的预测变量数据,指定为数值矩阵。
x
的每行对应一个观测值(也称为实例或示例),每列对应一个预测变量(也称为特征)。
y
的长度和 x
的行数必须相等。
要按预测变量在 x
中出现的顺序指定预测变量的名称,请使用 'predictornames'
名称-值对组参数。
数据类型: double
| single
名称-值参数
将可选的参数对组指定为 name1=value1,...,namen=valuen
,其中 name
是参数名称,value
是对应的值。名称-值参数必须出现在其他参数后,但参数对组的顺序无关紧要。
在 r2021a 之前,使用逗号分隔每个名称和值,并用引号将 name
引起来。
示例: fitcsvm(x,y,'kfold',10,'cost',[0 2;1 0],'scoretransform','sign')
执行 10 折交叉验证,对假正的罚分是对假负的罚分的两倍,并使用 sign 函数转换分数。
kernelfunction
— 核函数
'linear'
| 'gaussian'
| 'rbf'
| 'polynomial'
| 函数名称
用于计算 gram 矩阵的元素的核函数,指定为以逗号分隔的对组,其中包含 'kernelfunction'
和核函数名称。假设 g(xj,xk) 是 gram 矩阵的元素 (j,k),其中 xj 和 xk 是 p 维向量,表示 x
中的观测值 j 和 k。下表说明支持的核函数名称及其函数形式。
核函数名称 | 描述 | 公式 |
---|---|---|
'gaussian' 或 'rbf' | 高斯或径向基函数 (rbf) 核,默认用于一类学习 |
|
'linear' | 线性核,默认用于二类学习 |
|
'polynomial' | 多项式核。使用 'polynomialorder', 指定 q 次多项式核。 |
|
您可以通过设置 'kernelfunction','kernel'
来设置自己的核函数,例如 kernel
。值 kernel
必须采用以下形式。
function g = kernel(u,v)
u
是 m×p 矩阵。列对应于预测变量,行对应于观测值。v
是 n×p 矩阵。列对应于预测变量,行对应于观测值。g
是u
和v
行的 m×n gram 矩阵。
kernel.m
必须在 matlab 路径上。
避免对核函数使用泛型名称是很好的做法。例如,调用 sigmoid 核函数 'mysigmoid'
,而不是 'sigmoid'
。
示例: 'kernelfunction','gaussian'
数据类型: char
| string
kernelscale
— 核尺度参数
1
(默认) | 'auto'
| 正标量
核尺度参数,指定为以逗号分隔的对组,其中包含 'kernelscale'
和 'auto'
或正标量。软件将预测变量矩阵 x
的所有元素除以 kernelscale
的值。然后,软件应用适当的核范数来计算 gram 矩阵。
如果您指定
'auto'
,则软件使用启发式过程选择适当的尺度因子。这种启发式过程使用二次抽样,因此不同调用的估计值可能不同。因此,为了重现结果,请在训练前使用 设置随机数种子。如果您指定
kernelscale
和您自己的核函数,例如'kernelfunction','kernel'
,则软件会引发错误。您必须在kernel
中应用尺度缩放。
示例: 'kernelscale','auto'
数据类型: double
| single
| char
| string
polynomialorder
— 多项式核函数阶
3
(默认) | 正整数
多项式核函数阶,指定为以逗号分隔的对组,其中包含 'polynomialorder'
和正整数。
如果您设置 'polynomialorder'
且 kernelfunction
不是 'polynomial'
,则软件会引发错误。
示例: 'polynomialorder',2
数据类型: double
| single
kerneloffset
— 核偏移量参数
非负标量
核偏移量参数,指定为以逗号分隔的对组,其中包含 'kerneloffset'
和一个非负标量。
软件将 kerneloffset
添加到 gram 矩阵的每个元素。
默认值为:
0
,如果求解器是 smo(也就是说,您设置'solver','smo'
)0.1
,如果求解器是 isda(也就是说,您设置'solver','isda'
)
示例: 'kerneloffset',0
数据类型: double
| single
standardize
— 指示是否标准化预测变量数据的标志
false
(默认) | true
solver
— 优化例程
'isda'
| 'l1qp'
| 'smo'
优化例程,指定为以逗号分隔的对组,其中包含 'solver'
和下表中的一个值。
值 | 描述 |
---|---|
'isda' | 迭代单数据算法(请参阅 ) |
'l1qp' | 使用 (optimization toolbox) 通过二次规划实现 l1 软边距最小化。此选项需要 optimization toolbox™ 许可证。有关详细信息,请参阅二次规划定义 (optimization toolbox)。 |
'smo' | 序列最小优化(请参阅 ) |
对于二类学习,如果您将 'outlierfraction'
设置为正值,则默认值为 'isda'
;否则为 'smo'
。
示例: 'solver','isda'
alpha
— alpha 系数的初始估计值
非负值的数值向量
alpha 系数的初始估计值,指定为以逗号分隔的对组,其中包含 'alpha'
和非负值的数值向量。alpha
的长度必须等于 x
的行数。
'alpha'
的每个元素对应于x
中的一个观测值。'alpha'
不能包含任何nan
。如果您指定
'alpha'
和任一交叉验证名称-值对组参数('crossval'
、'cvpartition'
、'holdout'
、'kfold'
或'leaveout'
),软件将返回错误。
如果 y
包含任何缺失值,则删除与缺失值对应的 y
、x
和 'alpha'
的所有行。即,输入:
idx = ~isundefined(categorical(y)); y = y(idx,:); x = x(idx,:); alpha = alpha(idx);
y
、x
和 alpha
作为响应、预测变量和初始 alpha 估计值传递。
默认值为:
0.5*ones(size(x,1),1)
(用于一类学习)zeros(size(x,1),1)
(用于二类学习)
示例: 'alpha',0.1*ones(size(x,1),1)
数据类型: double
| single
cachesize
— 缓存大小
1000
(默认) | 'maximal'
| 正标量
缓存大小,指定为以逗号分隔的对组,其中包含 'cachesize'
和 'maximal'
或正标量。
如果 cachesize
是 'maximal'
,则软件预留足够的内存来容纳整个 n×n gram 矩阵。
如果 cachesize
是正标量,则软件会预留 cachesize
mb 内存用于训练模型。
示例: 'cachesize','maximal'
数据类型: double
| single
| char
| string
clipalphas
— 指定是否限定 alpha 系数的标志
true
(默认) | false
指定是否限定 alpha 系数的标志,指定为以逗号分隔的对组,其中包含 'clipalphas'
和 true
或 false
。
假设观测值 j 的 alpha 系数是 αj,观测值 j 的框约束是 cj,j = 1、...、n,其中 n 是训练样本大小。
值 | 描述 |
---|---|
true | 在每次迭代中,如果 αj 接近 0 或接近 cj,则 matlab 分别将 αj 设置为 0 或 cj。 |
false | matlab 在优化过程中不更改 alpha 系数。 |
matlab 将 α 的最终值存储在经过训练的 svm 模型对象的 alpha
属性中。
clipalphas
会影响 smo 和 isda 收敛。
示例: 'clipalphas',false
数据类型: logical
nu
— 用于一类学习的 ν 参数
0.5
(默认) | 正标量
用于一类学习的 ν 参数,指定为由 'nu'
和正标量组成的以逗号分隔的对组。nu
必须大于 0
且最大为 1
。
nu
用于在确保大多数训练样本为正类和尽量减小分数函数权重之间进行权衡。
示例: 'nu',0.25
数据类型: double
| single
numprint
— 优化诊断消息的输出间隔(迭代次数)
1000
(默认) | 非负整数
优化诊断消息的输出间隔(迭代次数),指定为由 'numprint'
和非负整数组成的以逗号分隔的对组。
如果您指定 'verbose',1
和 'numprint',numprint
,则软件会在命令行窗口中每隔 numprint
次迭代显示来自 smo 和 isda 的所有优化诊断消息。
示例: 'numprint',500
数据类型: double
| single
outlierfraction
— 训练数据中离群值的预期比例
0
(默认) | 区间 [0,1) 中的数值标量
训练数据中离群值的预期比例,指定为以逗号分隔的对组,其中包含 'outlierfraction'
和区间 [0,1) 中的数值标量。
假设您设置 'outlierfraction',outlierfraction
,其中 outlierfraction
是大于 0 的值。
对于二类学习,软件实现稳健学习。换句话说,当优化算法收敛时,软件尝试删除 100*
outlierfraction
% 的观测值。删除的观测值对应于幅值较大的梯度。对于一类学习,软件会使用合适的偏差项,使得训练集中
outlierfraction
的观测值具有负分数。
示例: 'outlierfraction',0.01
数据类型: double
| single
removeduplicates
— 指定是否用单一观测值替换重复观测值的标志
false
(默认) | true
指定是否在训练数据中用单一观测值替换重复观测值的标志,指定为以逗号分隔的对组,其中包含 'removeduplicates'
和 true
或 false
。
如果 removeduplicates
是 true
,则 fitcsvm
用相同值的单一观测值替换训练数据中的重复观测值。该单一观测值的权重等于对应删除副本的权重总和(请参阅 weights
)。
提示
如果您的数据集包含许多重复的观测值,则指定 'removeduplicates',true
可以大大缩短收敛时间。
数据类型: logical
verbose
— 详细级别
0
(默认) | 1
| 2
详细级别,指定为以逗号分隔的对组,其中包含 'verbose'
和 0
、1
或 2
。verbose
的值控制软件在命令行窗口中显示的优化信息量,并将这些信息作为结构体保存到 mdl.convergenceinfo.history
中。
下表总结了可用的详细级别选项。
值 | 描述 |
---|---|
0 | 软件不显示或保存收敛信息。 |
1 | 软件显示诊断消息,并每隔 numprint 次迭代保存收敛条件,其中 numprint 是名称-值对组参数 'numprint' 的值。 |
2 | 软件显示诊断消息,并在每次迭代时保存收敛条件。 |
示例: 'verbose',1
数据类型: double
| single
categoricalpredictors
— 分类预测变量列表
正整数向量 | 逻辑向量 | 字符矩阵 | 字符串数组 | 字符向量元胞数组 | 'all'
分类预测变量列表,指定为本表中的值之一。
值 | 描述 |
---|---|
正整数向量 | 向量中的每个条目为一个索引值,指示对应的预测变量是分类变量。索引值介于 1 和 如果 |
逻辑向量 |
|
字符矩阵 | 矩阵的每行均为预测变量的名称。名称必须与 predictornames 中的条目相匹配。系统用空格填充名称以使字符矩阵的每行具有相同的长度。 |
字符串数组或字符向量元胞数组 | 数组中的每个元素均为预测变量的名称。名称必须与 predictornames 中的条目相匹配。 |
"all" | 所有预测变量均为分类预测变量。 |
默认情况下,如果预测变量数据在表 (tbl
) 中,并且它是逻辑向量、分类向量、字符数组、字符串数组或字符向量元胞数组,则 fitcsvm
假设变量是分类变量。如果预测变量数据是矩阵 (x
),fitcsvm
假设所有预测变量均为连续的。要将任何其他预测变量识别为分类预测变量,请使用 categoricalpredictors
名称-值参数指定它们。
对于已识别的分类预测变量,fitcsvm
根据分类变量是无序还是有序,使用两种不同方案创建虚拟变量。对于无序分类变量,fitcsvm
为分类变量的每个水平创建一个虚拟变量。对于有序分类变量,fitcsvm
创建的虚拟变量数比类别数少一个。有关详细信息,请参阅 automatic creation of dummy variables。
示例: 'categoricalpredictors','all'
数据类型: single
| double
| logical
| char
| string
| cell
classnames
— 用于二类学习的类的名称
分类数组 | 字符数组 | 字符串数组 | 逻辑向量 | 数值向量 | 字符向量元胞数组
用于二类学习的类的名称,指定为分类、字符或字符串数组;逻辑或数值向量;或字符向量元胞数组。classnames
必须与 tbl
或 y
中的响应变量具有相同的数据类型。
如果 classnames
是字符数组,则每个元素必须对应于数组的一行。
使用 classnames
可以:
指定训练期间类的顺序。
指定对应于类顺序的任何输入或输出参数维度的顺序。例如,使用
classnames
指定cost
的维度的顺序或predict
返回的分类分数的列顺序。选择用于训练的类的子集。例如,假设
y
中所有不同类名的集合是["a","b","c"]
。要仅使用来自"a"
和"c"
类的观测值训练模型,请指定"classnames",["a","c"]
。
classnames
的默认值为 tbl
或 y
中的响应变量的所有不同类名的集合。
此参数只对二类学习有效。
示例: "classnames",["b","g"]
数据类型: categorical
| char
| string
| logical
| single
| double
| cell
cost
— 二类学习的误分类代价
[0 1; 1 0]
(默认) | 方阵 | 结构体数组
二类学习的误分类代价,指定为以逗号分隔的对组,其中包括 'cost'
和一个方阵或结构体数组。
如果您指定方阵
cost
且观测值的真实类是i
,则cost(i,j)
是将一个点分类到j
类的代价。也就是说,行对应于真实类,列对应于预测的类。要为cost
的对应行和列指定类顺序,则还需指定classnames
名称-值对组参数。如果您指定结构体
s
,则它必须有两个字段:s.classnames
,其中包含类名作为一个变量,变量的数据类型与y
相同。s.classificationcosts
,其中包含按s.classnames
中的顺序排列行和列的代价矩阵
如果您指定代价矩阵,则软件会通过合并代价矩阵中所述的用于训练的罚分来更新先验概率,并将用户指定的值存储在已训练的 svm 模型对象的 cost
属性中。有关 boxconstraint
、cost
、prior
、standardize
和 weights
的关系和算法行为的详细信息,请参阅算法。
此参数只对二类学习有效。
示例: 'cost',[0,1;2,0]
数据类型: double
| single
| struct
predictornames
— 预测变量名称
唯一名称的字符串数组 | 唯一字符向量元胞数组
预测变量名称,指定为唯一名称字符串数组或唯一字符向量元胞数组。predictornames
的功能取决于您提供训练数据的方式。
如果您提供
x
和y
,则可以使用predictornames
为x
中的预测变量指定名称。predictornames
中名称的顺序必须对应于x
中列的顺序。也就是说,predictornames{1}
是x(:,1)
的名称,predictornames{2}
是x(:,2)
的名称,依此类推。此外,size(x,2)
和numel(predictornames)
必须相等。默认情况下,
predictornames
是{'x1','x2',...}
。
如果您提供
tbl
,则您可以使用predictornames
来选择在训练中使用哪些预测变量。也就是说,fitcsvm
仅使用predictornames
中的预测变量和训练过程中的响应变量。predictornames
必须为tbl.properties.variablenames
的子集,并且不能包含响应变量的名称。默认情况下,
predictornames
包含所有预测变量的名称。最好仅使用
predictornames
或formula
(但不能同时使用两者)来指定训练的预测变量。
示例: "predictornames",["sepallength","sepalwidth","petallength","petalwidth"]
数据类型: string
| cell
prior
— 二类学习的每个类的先验概率
'empirical'
(默认) | 'uniform'
| 数值向量 | 结构体数组
二类学习的每个类的先验概率,指定为以逗号分隔的对组,其中包含 'prior'
和下表中的一个值。
值 | 描述 |
---|---|
'empirical' | 类先验概率是 y 中的类相对频数。 |
'uniform' | 所有类先验概率等于 1/k,其中 k 是类的数目。 |
数值向量 | 向量中的每个元素均为类先验概率。根据 mdl.classnames 对元素进行排序,或使用 classnames 名称-值对组参数指定顺序。软件对元素进行归一化,使其总和为 1 。 |
结构体 | 具有以下两个字段的结构体
|
如果您指定代价矩阵,则软件将通过合并代价矩阵中所述的用于训练的罚分来更新先验概率。在将概率归一化为总和为 1
后,软件将用户指定的先验概率存储在已训练模型对象的 prior
属性中。有关 boxconstraint
、cost
、prior
、standardize
和 weights
的关系和算法行为的详细信息,请参阅算法。
此参数只对二类学习有效。
示例: struct('classnames',{{'setosa','versicolor','virginica'}},'classprobs',1:3)
数据类型: char
| string
| double
| single
| struct
responsename
— 响应变量名称
"y"
(默认) | 字符向量 | 字符串标量
响应变量名称,指定为字符向量或字符串标量。
如果您提供
y
,则您可以使用responsename
来指定响应变量的名称。如果您提供
responsevarname
或formula
,则您无法使用responsename
。
示例: "responsename","response"
数据类型: char
| string
scoretransform
— 分数转换
"none"
(默认) | "doublelogit"
| "invlogit"
| "ismax"
| "logit"
| 函数句柄 | ...
分数变换,指定为字符向量、字符串标量或函数句柄。
下表总结了可用的字符向量和字符串标量。
值 | 描述 |
---|---|
"doublelogit" | 1/(1 e–2x) |
"invlogit" | log(x / (1 – x)) |
"ismax" | 将分数最高的类的分数设置为 1,并将所有其他类的分数设置为 0 |
"logit" | 1/(1 e–x) |
"none" 或 "identity" | x(无变换) |
"sign" | –1 表示 x < 0 0 表示 x = 0 1 表示 x > 0 |
"symmetric" | 2x – 1 |
"symmetricismax" | 将分数最高的类的分数设置为 1,并将所有其他类的分数设置为 –1 |
"symmetriclogit" | 2/(1 e–x) – 1 |
对于 matlab 函数或您定义的函数,请使用其函数句柄进行分数变换。函数句柄必须接受矩阵(原始分数)并返回相同大小(转换后的分数)的矩阵。
示例: "scoretransform","logit"
数据类型: char
| string
| function_handle
weights
— 观测值权重
数值向量 | tbl
中变量的名称
观测值权重,指定为以逗号分隔的对组,其中包含 'weights'
和由正值组成的数值向量或 tbl
中变量的名称。软件使用 weights
中的对应值对 x
或 tbl
的每行中的观测值进行加权。weights
的大小必须等于 x
或 tbl
的行数。
如果您将输入数据指定为表 tbl
,则 weights
可以是包含数值向量的 tbl
中的变量的名称。在本例中,您必须将 weights
指定为字符向量或字符串标量。例如,如果权重向量 w
存储为 tbl.w
,则将其指定为 'w'
。否则,软件在训练模型时会将 tbl
的所有列(包括 w
)视为预测变量或响应变量。
默认情况下,weights
是 ones(
,其中 n
,1)n
是 x
或 tbl
中的观测值数目。
软件会对 weights
进行归一化,使其总和等于对应类中的先验概率值。有关 boxconstraint
、cost
、prior
、standardize
和 weights
的关系和算法行为的详细信息,请参阅算法。
数据类型: double
| single
| char
| string
注意
不能将任何交叉验证名称-值参数与 'optimizehyperparameters'
名称-值参数结合使用。您只能通过使用 'hyperparameteroptimizationoptions'
名称-值参数来修改 'optimizehyperparameters'
的交叉验证。
crossval
— 指定是否训练交叉验证分类器的标志
'off'
(默认) | 'on'
指定是否训练交叉验证分类器的标志,指定为以逗号分隔的对组,其中包含 'crossval'
和 'on'
或 'off'
。
如果您指定 'on'
,则软件使用 10 折来训练交叉验证分类器。
您可以使用 cvpartition
、holdout
、kfold
或 leaveout
名称-值对组参数覆盖此交叉验证设置。一次只能使用一个交叉验证名称-值对组参数来创建一个交叉验证模型。
或者,稍后通过将 mdl
传递给 来进行交叉验证。
示例: 'crossval','on'
cvpartition
— 交叉验证分区
[]
(默认) | cvpartition
分区对象
交叉验证分区,指定为由 cvpartition
创建的 cvpartition
分区对象。该分区对象指定交叉验证的类型以及训练集和验证集的索引。
要创建交叉验证模型,您只能指定以下四个名称-值参数之一:cvpartition
、holdout
、kfold
或 leaveout
。
示例: 假设您使用 cvp = cvpartition(500,'kfold',5)
创建一个随机分区,用于对 500 个观测值进行 5 折交叉验证。然后,您可以使用 'cvpartition',cvp
指定交叉验证的模型。
holdout
— 用于留出法验证的数据比例
范围 (0,1) 内的标量值
用于留出法验证的数据比例,指定为 (0,1) 范围内的标量值。如果您指定 'holdout',p
,则软件将完成以下步骤:
随机选择并预留
p*100
% 的数据作为验证数据,并使用其余数据训练模型。将经过训练的紧凑模型存储在交叉验证模型的
trained
属性中。
要创建交叉验证模型,您只能指定以下四个名称-值参数之一:cvpartition
、holdout
、kfold
或 leaveout
。
示例: 'holdout',0.1
数据类型: double
| single
kfold
— 折的数目
10
(默认) | 大于 1 的正整数值
交叉验证模型中使用的折的数目,指定为大于 1 的正整数值。如果您指定 'kfold',k
,则软件将完成以下步骤:
将数据随机分为
k
个数据集。对于每个数据集,预留用作验证数据的数据集,并使用其他
k
– 1 数据集训练模型。将
k
个紧凑的经过训练的模型存储在交叉验证模型的trained
属性中的k
×1 元胞向量中。
要创建交叉验证模型,您只能指定以下四个名称-值参数之一:cvpartition
、holdout
、kfold
或 leaveout
。
示例: 'kfold',5
数据类型: single
| double
leaveout
— 留一法交叉验证标志
'off'
(默认) | 'on'
留一法交叉验证标志,指定为 'on'
或 'off'
。如果您指定 'leaveout','on'
,则对于 n 个观测值中的每一个(其中 n 是不包括缺失观测值的观测值数目,在模型的 numobservations
属性中指定),软件完成以下步骤:
预留作为验证数据的观测值,并使用其他 n - 1 个观测值训练模型。
将 n 个紧凑的经过训练的模型存储在交叉验证模型的
trained
属性中的 n×1 元胞向量中。
要创建交叉验证模型,您只能指定以下四个名称-值参数之一:cvpartition
、holdout
、kfold
或 leaveout
。
示例: 'leaveout','on'
deltagradienttolerance
— 梯度差的容差
非负标量
通过序列最小优化 (smo) 或迭代单数据算法 (isda) 获得的上违反量和下违反量之间梯度差的容差,指定为由 'deltagradienttolerance'
和非负标量组成的以逗号分隔的对组。
如果 deltagradienttolerance
是 0
,则软件不使用梯度差的容差来检查优化收敛。
默认值为:
如果求解器是 smo(例如,您设置
'solver','smo'
),默认值为1e-3
如果求解器是 isda(例如,您设置
'solver','isda'
),默认值0
示例: 'deltagradienttolerance',1e-2
数据类型: double
| single
gaptolerance
— 可行性间隙容差
0
(默认) | 非负标量
通过 smo 或 isda 获得的可行性间隙容差,指定为由 'gaptolerance'
和非负标量组成的以逗号分隔的对组。
如果 gaptolerance
是 0
,则软件不使用可行性间隙容差来检查优化收敛。
示例: 'gaptolerance',1e-2
数据类型: double
| single
iterationlimit
— 数值优化迭代的最大次数
1e6
(默认) | 正整数
数值优化迭代的最大次数,指定为以逗号分隔的对组,其中包含 'iterationlimit'
和一个正整数。
无论优化例程是否成功收敛,软件都会返回经过训练的模型。mdl.convergenceinfo
包含收敛信息。
示例: 'iterationlimit',1e8
数据类型: double
| single
kkttolerance
— karush-kuhn-tucker 互补条件违规容限
非负标量
karush-kuhn-tucker (kkt) 互补条件违规容限,指定为由 'kkttolerance'
和非负标量组成的以逗号分隔的对组。
如果 kkttolerance
是 0
,则软件不使用 kkt 互补条件违规容限来检查优化收敛。
默认值为:
如果求解器是 smo(例如,您设置
'solver','smo'
),默认值为0
如果求解器是 isda(例如,您设置
'solver','isda'
),默认值1e-3
示例: 'kkttolerance',1e-2
数据类型: double
| single
shrinkageperiod
— 活动集各次归约之间的迭代次数
0
(默认) | 非负整数
活动集各次归约之间的迭代次数,指定为由 'shrinkageperiod'
和非负整数组成的以逗号分隔的对组。
如果您设置 'shrinkageperiod',0
,则软件不会缩小活动集。
示例: 'shrinkageperiod',1000
数据类型: double
| single
optimizehyperparameters
— 要针对二类学习优化的参数
'none'
(默认) | 'auto'
| 'all'
| 合格参数名称的字符串数组或元胞数组 | optimizablevariable
对象的向量
要针对二类学习优化的参数,指定为以逗号分隔的对组,其中包含 'optimizehyperparameters'
和下列值之一:
'none'
- 不优化。'auto'
- 使用{'boxconstraint','kernelscale'}
。'all'
- 优化所有合格参数。合格参数名称的字符串数组或元胞数组。
optimizablevariable
对象的向量,通常是 的输出。
优化尝试通过更改参数来最小化 fitcsvm
的交叉验证损失(误差)。有关交叉验证损失的信息,请参阅。要控制交叉验证类型和优化的其他方面,请使用 hyperparameteroptimizationoptions
名称-值对组参数。
注意
'optimizehyperparameters'
的值会覆盖您使用其他名称-值参数指定的任何值。例如,将 'optimizehyperparameters'
设置为 'auto'
会导致 fitcsvm
优化与 'auto'
选项对应的超参数,并忽略超参数的任何指定值。
fitcsvm
的合格参数包括:
boxconstraint
-fitcsvm
在正值中搜索,默认情况下对数尺度范围为[1e-3,1e3]
。kernelscale
-fitcsvm
在正值中搜索,默认情况下对数尺度范围为[1e-3,1e3]
。kernelfunction
-fitcsvm
在'gaussian'
、'linear'
和'polynomial'
中搜索。polynomialorder
-fitcsvm
在[2,4]
范围内的整数中搜索。standardize
-fitcsvm
在'true'
和'false'
中搜索。
通过传递具有非默认值的 optimizablevariable
对象的向量可设置非默认参数。例如:
load fisheriris params = hyperparameters('fitcsvm',meas,species); params(1).range = [1e-4,1e6];
将 params
作为 optimizehyperparameters
的值传递。
默认情况下,迭代输出会出现在命令行中,绘图会根据优化中的超参数个数来显示。对于优化和绘图,目标函数是误分类率。要控制迭代输出的显示,请设置 'hyperparameteroptimizationoptions'
名称-值参数的 verbose
字段。要控制绘图,请设置 'hyperparameteroptimizationoptions'
名称-值参数的 showplots
字段。
有关示例,请参阅优化 svm 分类器。
此参数只对二类学习有效。
示例: 'optimizehyperparameters','auto'
hyperparameteroptimizationoptions
— 二类学习的优化选项
结构体
二类学习的优化选项,指定为结构体。此参数修改 optimizehyperparameters
名称-值参数的效果。结构体中的所有字段均为可选字段。
字段名称 | 值 | 默认值 |
---|---|---|
optimizer |
| 'bayesopt' |
acquisitionfunctionname |
其名称包含 | 'expected-improvement-per-second-plus' |
maxobjectiveevaluations | 目标函数计算的最大数量。 | 对于 'bayesopt' 和 'randomsearch' 为 30 ,对于 'gridsearch' 为整个网格 |
maxtime | 时间限制,指定为正实数标量。时间限制(以秒为单位),由 | inf |
numgriddivisions | 用于 'gridsearch' ,表示每个维度中的值的数量。该值可以是由指定每个维度上值个数的正整数组成的向量,也可以是应用于所有维度的标量。对于分类变量,此字段被忽略。 | 10 |
showplots | 指示是否显示绘图的逻辑值。如果为 true ,此字段绘制最佳观测目标函数值对迭代编号的图。如果使用贝叶斯优化(optimizer 为 'bayesopt' ),则此字段还会绘制最佳估计目标函数值。最佳观测目标函数值和最佳估计目标函数值分别对应于迭代输出的 bestsofar (observed) 和 bestsofar (estim.) 列中的值。您可以在 mdl.hyperparameteroptimizationresults 的属性 objectiveminimumtrace 和 estimatedobjectiveminimumtrace 中找到这些值。如果问题包含一个或两个用于贝叶斯优化的优化参数,则 showplots 还会绘制目标函数的模型对这些参数的图。 | true |
saveintermediateresults | 指示当 optimizer 为 'bayesopt' 时是否保存结果的逻辑值。如果为 true ,此字段将在每次迭代中覆盖名为 'bayesoptresults' 的工作区变量。变量是 bayesianoptimization 对象。 | false |
verbose | 在命令行中的显示:
有关详细信息,请参阅 | 1 |
useparallel | 指示是否并行运行贝叶斯优化的逻辑值,这需要 parallel computing toolbox™。由于并行时序的不可再现性,并行贝叶斯优化不一定产生可重现的结果。有关详细信息,请参阅 。 | false |
repartition | 逻辑值,指示是否在每次迭代时对交叉验证进行重新分区。如果此字段为 设置为 | false |
请使用以下三个选项之一。 | ||
cvpartition | cvpartition 对象,由 cvpartition 创建 | 如果未指定交叉验证字段,则为 'kfold',5 |
holdout | (0,1) 范围内的标量,表示保留比例。 | |
kfold | 大于 1 的整数。 |
此参数只对二类学习有效。
示例: 'hyperparameteroptimizationoptions',struct('maxobjectiveevaluations',60)
数据类型: struct
输出参数
mdl
— 经过训练的 svm 分类模型
classificationsvm
模型对象 | classificationpartitionedmodel
交叉验证模型对象
经过训练的 svm 分类模型,以 classificationsvm
模型对象或 交叉验证模型对象形式返回。
如果您设置任一名称-值对组参数 kfold
、holdout
、leaveout
、crossval
或 cvpartition
,则 mdl
是 classificationpartitionedmodel
交叉验证分类器。否则,mdl
是 classificationsvm
分类器。
要引用 mdl
的属性,请使用圆点表示法。例如,在命令行窗口中输入 mdl.alpha
以显示经过训练的 lagrange 乘数。
限制
fitcsvm
为一类或二类学习应用训练 svm 分类器。要使用就有两个以上类的数据训练 svm 分类器,请使用fitcecoc
。fitcsvm
支持低维和中维数据集。对于高维数据集,请改用fitclinear
。
详细信息
框约束
框约束是参数,它控制对违反边距的观测值施加的最大罚分,这有助于防止过拟合(正则化)。
如果增加框约束,则 svm 分类器分配的支持向量会更少。然而,增加框约束会导致更长的训练时间。
gram 矩阵
由 n 个向量 {x1,..,xn; xj ∊ rp} 组成的 gram 矩阵是一个 n×n 矩阵,其中元素 (j,k) 定义为 g(xj,xk) = <ϕ(xj),ϕ(xk)>,即使用核函数 ϕ 的变换后的预测变量的内积。
对于非线性 svm,算法使用预测变量数据 x 的行形成 gram 矩阵。对偶问题形式用生成的 gram 矩阵的对应元素替换 x 中观测值的内积(称为“核方法”)。因此,非线性 svm 在变换后的预测变量空间中运算以找到分离超平面。
karush-kuhn-tucker (kkt) 互补条件
kkt 互补条件是最优非线性规划解所需的优化约束。
在 svm 中,对于所有 j = 1、...、n,kkt 互补条件是
,其中 ϕ 是核函数(请参阅 gram 矩阵),ξj 是松弛变量。如果这些类完全可分离,则对于所有 j = 1,...,n,满足 ξj = 0。
一类学习
支持向量
支持向量是与 α1,...,αn 的严格正估计值对应的观测值。
对于给定训练集,最好选用产生较少支持向量的 svm 分类器。
用于二类分类的支持向量机
svm 二类分类算法搜索将数据分成两类的最优超平面。对于可分离类,最优超平面会最大化自身周围的边距(不包含任何观测值的空间),从而在正类和负类间创建边界。对于不可分离的类,目标是相同的,但是,如果有观测值位于其类边界的错误一侧,则算法会相应地对边距长度施加罚分。
线性 svm 分数函数是
其中:
x 是观测值(对应于
x
的一行)。向量 β 包含定义超平面的正交向量的系数(对应于
mdl.beta
)。对于可分离的数据,最佳边距长度是b 是偏差项(对应于
mdl.bias
)。
特定系数的 f(x) 的根定义超平面。对于特定的超平面,f(z) 是从 z 点到超平面的距离。
算法搜索最大边距长度,同时将观测值分为正类 (y = 1) 和负类 (y = –1)。
对于可分离的类,目标是最小化关于 β 和 b 的 ,并且对于所有 j = 1、...、n,满足 yjf(xj) ≥ 1。这是针对可分离类的原问题形式。
对于不可分离的类,算法会在遇到跨越类边界的观测值时使用松弛变量 (ξj) 对目标函数进行罚分。对于未跨越类边界的观测值,ξj = 0,否则 ξj ≥ 0。
目标是最小化关于 β、b 和 ξj 的 ,对于所有 j = 1,..,n 和正标量框约束 c,满足 和 。这是针对不可分离类的原问题形式。
算法采用 lagrange 乘数方法优化目标,引入 n 个系数 α1,...,αn(对应于 mdl.alpha
)。线性 svm 的对偶问题形式如下:
对于可分离的类,最小化关于 α1,...,αn 的
,对于所有 j = 1,...,n,满足 ,αj ≥ 0,且满足 karush-kuhn-tucker (kkt) 互补条件。
对于不可分离的类,目标与可分离的类相同,不同之处是所有 j = 1、...、n 需满足附加条件 。
得到的分数函数是
是偏差的估计值, 是向量 的第 j 个估计值,j = 1,...,n。写为这种形式时,score 函数不再需要原问题形式中的 β 估计值。
svm 算法使用 对新观测值 z 进行分类
在某些情况下,非线性边界对类进行分隔。非线性 svm 在经过变换的预测变量空间中计算以找到最佳的分离超平面。
非线性 svm 的对偶问题可表示为关于 α1、...、αn 的以下形式
对于所有 j = 1、..、n,满足 ,,且满足 kkt 互补条件。g(xk,xj) 是 gram 矩阵的元素。得到的分数函数是
提示
除非您的数据集很大,否则请始终尝试标准化预测变量(请参阅
standardize
)。标准化可使预测变量不受其测量尺度的影响。使用
kfold
名称-值对组参数进行交叉验证是很好的做法。交叉验证结果决定 svm 分类器的泛化能力。对于一类学习:
支持向量中的稀疏性是 svm 分类器的一个理想属性。要减少支持向量的数量,可将
boxconstraint
设置为较大的值。此操作会增加训练时间。为了获得最佳训练时间,请将
cachesize
设置为计算机允许的最大内存限制。如果您期望支持向量比训练集中的观测值少得多,则您可以使用名称-值对组参数
'shrinkageperiod'
缩小活动集,从而显著加快收敛速度。指定'shrinkageperiod',1000
是很好的做法。远离决策边界的重复观测值不影响收敛。然而,决策边界附近出现的少数几个重复的观测值可能会大幅减慢收敛速度。在以下情况下,要加快收敛速度,请指定
'removeduplicates',true
:您的数据集包含许多重复的观测值。
您怀疑有几个重复的观测值接近决策边界。
要在训练期间保留原始数据集,
fitcsvm
必须临时分别存储两个数据集:原始数据集和没有重复观测值的数据集。因此,如果您为包含少量重复观测值的数据集指定true
,则fitcsvm
消耗的内存将接近原始数据的两倍。在训练模型后,您可以生成预测新数据标签的 c/c 代码。生成 c/c 代码需要 matlab coder™。有关详细信息,请参阅introduction to code generation。
算法
有关 svm 二类分类算法的数学公式,请参阅用于二类分类的支持向量机和。
nan
、
、空字符向量 (''
)、空字符串 (""
) 和
值表示缺失值。fitcsvm
会删除对应于缺失响应的整行数据。在计算总权重时(请参阅下几项内容),如果某权重所对应的观测值至少具有一个缺失变量,则fitcsvm
忽略该权重。此操作会导致平衡类问题中出现不平衡的先验概率。因此,观测值框约束可能不等于boxconstraint
。如果您指定
cost
、prior
和weights
名称-值参数,则输出模型对象会将指定的值分别存储在cost
、prior
和w
属性中。cost
属性存储用户指定的代价矩阵 (c),无需进行任何修改。prior
和w
属性分别存储归一化后的先验概率和观测值权重。对于模型训练,软件会更新先验概率和观测值权重,以纳入代价矩阵中所述的罚分。有关详细信息,请参阅。请注意,
cost
和prior
名称-值参数用于二类学习。对于一类学习,cost
和prior
属性分别存储0
和1
。对于二类学习,
fitcsvm
为训练数据中的每个观测值指定一个框约束。观察值 j 的框约束的公式是,其中 c0 是初始框约束(请参阅
boxconstraint
名称-值参数),而 wj* 是观测值 j 的由cost
和prior
调整的观测值权重。有关观测值权重的详细信息,请参阅。如果您将
standardize
指定为true
并设置cost
、prior
或weights
名称-值参数,则fitcsvm
会使用对应于预测变量的加权均值和加权标准差对预测变量进行标准化。也就是说,fitcsvm
使用标准化预测变量 j(xj,其中 xjk 是预测变量 j(列)的观测值 k(行),且
假设
p
是您预期在训练数据中的离群值比例,并且您设置了'outlierfraction',p
。对于一类学习,软件会训练偏差项,使得训练数据中 100
p
% 的观测值具有负分数。对于二类学习,软件会实施稳健学习。换句话说,当优化算法收敛时,软件会尝试删除 100
p
% 的观测值。删除的观测值对应于幅值较大的梯度。
如果预测变量数据包含分类变量,则软件通常会对这些变量进行完全虚拟变量编码。软件为每个分类变量的每个水平创建一个虚拟变量。
predictornames
属性为每个原始预测变量名称存储一个元素。例如,假设有三个预测变量,其中一个是具有三个水平的分类变量。那么predictornames
是 1×3 个字符向量元胞数组,其中包含预测变量的原始名称。expandedpredictornames
属性为每个预测变量(包括虚拟变量)存储一个元素。例如,假设有三个预测变量,其中一个是具有三个水平的分类变量。那么expandedpredictornames
就是 1×5 字符向量数组,其中包含预测变量和新虚拟变量的名称。同样,
beta
属性为每个预测变量(包括虚拟变量)存储一个 beta 系数。supportvectors
属性存储支持向量的预测变量值,包括虚拟变量。例如,假设有 m 个支持向量和三个预测变量,其中一个预测变量是具有三个水平的分类变量。那么supportvectors
就是 n×5 矩阵。x
属性将训练数据存储为原始输入,不包括虚拟变量。当输入为表时,x
仅包含用作预测变量的列。
对于表中指定的预测变量,如果任何变量包含经过排序的(有序)类别,软件会对这些变量使用有序编码。
对于具有 k 个有序水平的变量,软件会创建 k – 1 个虚拟变量。在第 j 个虚拟变量中,前 j 个水平的对应值为 –1;从 j 1 至 k 的水平的对应值为 1。
存储在
expandedpredictornames
属性中的虚拟变量的名称使用值 1 指示第一个水平。软件会为虚拟变量另外存储 k – 1 个预测变量名称,包括水平 2、3、...、k 的名称。
所有求解器都实现 l1 软边距最小化算法。
对于一类学习,软件估计 lagrange 乘数 α1、...、αn,满足
替代功能
您还可以使用 函数来训练用于异常检测的一类 svm 模型。
与
fitcsvm
函数相比,ocsvm
函数针对异常检测提供的首选工作流更简单。ocsvm
函数返回oneclasssvm
对象、异常指标和异常分数。您可以使用输出来识别训练数据中的异常。要找出新数据中的异常,可以使用oneclasssvm
的 对象函数。isanomaly
函数返回新数据的异常指标和分数。fitcsvm
函数支持一类和二类分类。如果类标签变量只包含一个类(例如,由 1 组成的向量),fitcsvm
会训练一类分类模型并返回classificationsvm
对象。要识别异常,您必须首先使用classificationsvm
的 或predict
对象函数计算异常分数,然后通过找出具有负分数的观测值来识别异常。请注意,大的正异常分数表示
ocsvm
中存在异常,而负分数表示classificationsvm
的predict
中存在异常。
ocsvm
函数基于 svm 的原问题形式找到决策边界,而fitcsvm
函数基于 svm 的对偶问题形式找到决策边界。对于大型数据集(大型 n),
ocsvm
中求解器的计算开销低于fitcsvm
中的求解器。与fitcsvm
中需要计算 n×n gram 矩阵的求解器不同,ocsvm
中的求解器只需形成大小为 n×m 的矩阵。此处,m 是扩展空间的维数,对于大数据来说,此维数通常远远小于 n。
参考
[1] christianini, n., and j. c. shawe-taylor. an introduction to support vector machines and other kernel-based learning methods. cambridge, uk: cambridge university press, 2000.
[2] fan, r.-e., p.-h. chen, and c.-j. lin. “working set selection using second order information for training support vector machines.” journal of machine learning research, vol. 6, 2005, pp. 1889–1918.
[3] hastie, t., r. tibshirani, and j. friedman. the elements of statistical learning, second edition. ny: springer, 2008.
[4] kecman v., t. -m. huang, and m. vogt. “iterative single data algorithm for training kernel machines from huge data sets: theory and performance.” support vector machines: theory and applications. edited by lipo wang, 255–274. berlin: springer-verlag, 2005.
[5] scholkopf, b., j. c. platt, j. c. shawe-taylor, a. j. smola, and r. c. williamson. “estimating the support of a high-dimensional distribution.” neural comput., vol. 13, number 7, 2001, pp. 1443–1471.
[6] scholkopf, b., and a. smola. learning with kernels: support vector machines, regularization, optimization and beyond, adaptive computation and machine learning. cambridge, ma: the mit press, 2002.
扩展功能
自动并行支持
通过使用 parallel computing toolbox™ 自动运行并行计算来加快代码执行。
要执行并行超参数优化,请在调用 fitcsvm
函数时使用 'hyperparameteroptimizationoptions', struct('useparallel',true)
名称-值参数。
有关并行超参数优化的详细信息,请参阅 。
有关并行计算的一般信息,请参阅 (parallel computing toolbox)。
gpu 数组
通过使用 parallel computing toolbox™ 在图形处理单元 (gpu) 上运行来加快代码执行。
用法说明和限制:
不支持一类分类。标签必须包含两个不同类。
您无法将
kernelfunction
名称-值参数指定为自定义核函数。您只能将
solver
名称-值参数指定为"smo"
。您无法指定
outlierfraction
或shrinkageperiod
名称-值参数。预测变量数据不能包含无限值。
如果满足以下任一条件,则
fitcsvm
在 gpu 上进行模型拟合:输入参数
x
是gpuarray
对象。输入参数
tbl
包含gpuarray
预测变量。
有关详细信息,请参阅run matlab functions on a gpu (parallel computing toolbox)。
版本历史记录
在 r2014a 中推出
另请参阅
classificationsvm
| compactclassificationsvm
| | predict
| | | (optimization toolbox) | fitcecoc
| fitclinear
|
主题
打开示例
您曾对此示例进行过修改。是否要打开带有您的编辑的示例?
matlab 命令
您点击的链接对应于以下 matlab 命令:
请在 matlab 命令行窗口中直接输入以执行命令。web 浏览器不支持 matlab 命令。
you can also select a web site from the following list:
how to get best site performance
select the china site (in chinese or english) for best site performance. other mathworks country sites are not optimized for visits from your location.