在各个领域，有一个词眼出现得越来越频繁，即 Pipeline。
开始接触的时候，百思不得其解，觉得作者在 用个 洋名字 在装 高大上，
其实，鲁迅先生说过一句话，太阳底下没有新鲜事
一切的一切，都是纸老虎，
Pipeline，你 土味一点 你把它 翻译成 一条龙服务
专业一点，叫 它 综合解决方案，就行。
算法或者大数据分析里的
可重复使用，针对新的数据，直接输入数据，可以得到结果。
一个典型的机器学习构建包含若干个过程
1、源数据ETL
2、数据预处理
3、特征选取
4、模型训练与验证
以上四个步骤可以抽象为一个包括多个步骤的流水线式工作，从数据收集开始至输出我们需要的最终结果。因此，对以上多个步骤、进行抽象建模，简化为流水线式工作流程则存在着可行性，对利用spark进行机器学习的用户来说，流水线式机器学习比单个步骤独立建模更加高效、易用。
管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/200682.html原文链接：https://javaforall.net
