博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark Pipeline
阅读量:7292 次
发布时间:2019-06-30

本文共 441 字,大约阅读时间需要 1 分钟。

  一个简单的Pipeline,用作estimator。Pipeline由有序列的stages组成,每个stage是一个Estimator或者一个Transformer。

  当Pipeline调用fit,stages按顺序被执行。如果一个stage是一个Estimator,将调用Estimator的fit方法,使用“输入dataset”来拟合一个模型。 然后,作为transformer的model将dataset变换为下一个stage的输入。

  如果一个stage是Transformer,调用Transformer的transform方法以产生下一个stage使用的数据集。

  从Pipeline拟合的model是PipelineModel,其由fitted models和transformers组成如果没有stages,pipeline充当身份transformer。

转载于:https://www.cnblogs.com/wwxbi/p/6212942.html

你可能感兴趣的文章
RHEL5下升级内核至2.6.29.6
查看>>
heartbeat+lvs+ldirectord 集群
查看>>
OpenStack 通用设计思路 - 每天5分钟玩转 OpenStack(25)
查看>>
Android-----WebView使用
查看>>
【基础】华为设备RIP协议原理及配置全集
查看>>
CentOS SVN安装与配置 (RHEL5.4平台测试通过)
查看>>
P2P成歇斯里式增长的原因何在?投资者如何独善其身?
查看>>
AngularJs ngClass、ngClassEven、ngClassOdd、ngStyle
查看>>
测试网站集群节点的页面访问是否正常
查看>>
Exchange Server 2013 DAG高可用部署(七)-DAG配置(下)
查看>>
交换机中的堆叠与级连区别详解
查看>>
自定义View实例(三)----滑动刻度尺与流式布局
查看>>
nova-network
查看>>
NA-NP-IE系列实验21: EIGRP 路由汇总
查看>>
android api 中文 (74)—— AdapterView.AdapterContextMenuInfo
查看>>
【嵌入式】使用Cross Toolchain构建交叉工具链
查看>>
通过案例学调优之--Oracle数据块(block)
查看>>
puppet进阶指南——host资源详解
查看>>
你的负载均衡耐高温么?(译文)
查看>>
gerrit+gitlab整合调试
查看>>