Pyspark 线性回归梯度下降交叉验证知识点详解
在本篇内容里小编给大家整理的是一篇关于Pyspark 线性回归梯度下降交叉验证的相关知识点及实例,需要的朋友们可以参考下。
我正在尝试在 pyspark 中的 SGD 模型上执行交叉验证,我正在使用pyspark.mllib.regression,ParamGridBuilder和CrossValidator都来自pyspark.ml.tuning库的LinearRegressionWithSGD。
在 Spark 网站上跟踪文件资料之后,我希望运行此方法可以正常工作
资料参考:https://spark.apache.org/docs/2.1.0/ml-tuning.html
1 2 3 4 5 6 7 8 9 10 | lr = LinearRegressionWithSGD() pipeline = Pipeline(stages = [lr]) paramGrid = ParamGridBuilder()\ .addGrid(lr.stepSize, Array( 0.1 , 0.01 ))\ .build() crossval = CrossValidator(estimator = pipeline,estimatorParamMaps = paramGrid, evaluator = RegressionEvaluator(), numFolds = 10 ) |
但是LinearRegressionWithSGD()没有属性stepSize(也没有运气尝试过其他人)。
我可以将 lr 设置为LinearRegression,但是我无法在模型中使用 SGD 并进行交叉验证。
斯卡拉中有kFold方法,但我不确定如何从 pyspark 访问该方法
解决方案
您可以使用LinearRegressionWithSGD中的step参数来定义步长,但由于您正在混合不兼容的库,因此这将使代码无法正常工作。不幸的是,我不知道如何使用SGD优化对ml库进行交叉验证,我想知道自己,但是您正在混合使用pyspark.ml和pyspark.mllib库。具体来说,您不能将LinearRegressionWithSGD与pyspark.ml库一起使用。您必须使用pyspark.ml.regression.LinearRegression。
好消息是您可以将pyspark.ml.regression.LinearRegression的setsolver属性设置为使用'gd'。因此,您可能可以将'gd'优化器的参数设置为以SGD运行,但是我不确定求解器文档在哪里或如何设置求解器属性(例如批大小)。该api显示了调用Param()的LinearRegression对象,但是我不确定它是否使用pyspark.mllib优化器。如果有人知道如何设置求解器属性,则可以通过允许您将Pipeline,ParamGridBuilder和CrossValidation ml软件包用于LinearRegression进行模型选择,并利用SGD优化进行参数调整来回答您的问题。
到此这篇关于Pyspark 线性回归梯度下降交叉验证知识点详解的文章就介绍到这了
原文链接:https://www.javaroad.cn/questions/364404