news 2026/9/2 17:28:06

DAY27 pipeline管道

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DAY27 pipeline管道

一、知识回顾:

1、转化器和估计器的概念

(1)转换器

转化器通俗的来说就是对数据进行预处理的工具,转换器的特点是无状态的,即它们不会存储任何关于数据的状态信息(指的是不存储内参),根据输入数据学习转换规则(比如函数规律、外参),并将其应用于新的数据。

代码示例:

from sklearn.preprocessing import StandardScaler # 初始化转换器 scaler = StandardScaler() # 1. 学习训练数据的缩放规则(计算均值和标准差),本身不存储数据 scaler.fit(X_train) # 2. 应用规则到训练数据和测试数据 X_train_scaled = scaler.transform(X_train)

(2)估计器

估计器是实现机器学习算法的对象或类。估计器的主要方法是fit和predict。fit方法用于根据输入数据,学习模型的参数和规律,而predict方法用于对新的未标记样本进行预测。估计器的特点是有状态的,它们在训练过程中存储了关于数据的状态信息,以便在预测阶段使用。

参考代码:

from sklearn.linear_model import LinearRegression # 创建一个回归器 model = LinearRegression() # 在训练集上训练模型 model.fit(X_train_scaled, y_train) # 对测试集进行预测 y_pred = model.predict(X_test_scaled)

2、管道工程

机器学习的管道机制通过将多个转换器和估计器按顺序连接在一起,可以构建一个完整的数据处理和模型训练流程。具体而言,在管道机制中,可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

二、pipeline管道架构的搭建

1、导入基础库、 Pipeline 和相关预处理工具、机器学习模型和评估工具,并加载原始数据。

2、分离特征和标签,划分数据集

3、定义预处理步骤

(1)识别原始的 object 列

非数值型->离散变量:

(2)构建处理有序特征的 Pipeline:先填充缺失值,再进行有序编码

(3)构建处理标称特征的 Pipeline:先填充缺失值,再进行独热编码

连续性数值

(4)直接从所有列中排除已知的有序和标称特征,构建处理连续特征的 Pipeline: 先填充缺失值,再进行标准化。

(5)基于以上形成的三种Pipeline构建 ColumnTransformer,将不同的预处理应用于不同的列子集,构造一个完备的转化器。

(6)构建完整的 Pipeline,将预处理器和模型串联起来(加入估计器

(7)使用 Pipeline 对模型进行训练和评估。

@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/2 21:28:17

AWS SageMaker SDK 完整教程:从零开始云端训练你的模型 _

一、SageMaker介绍Amazon SageMaker 是 AWS 提供的全托管机器学习平台,它覆盖了从数据准备、模型训练、超参数调优到模型部署的完整流程,我们可以通过 SageMaker,轻松创建 Notebook 实例进行数据探索和实验,也可以使用AWS的计算资…

作者头像 李华
网站建设 2026/9/3 0:38:41

网型逆变器小干扰稳定性分析与控制策略优化:Simulink 仿真之旅

跟网型逆变器小干扰稳定性分析与控制策略优化simulink仿真模型和代码 现代逆变技术 阻抗重塑 双锁相环 可附赠参考文献(英文) 和一份与模型完全对应的中文版报告在现代逆变技术的广阔领域中,网型逆变器的小干扰稳定性分析以及控制策略优化&am…

作者头像 李华
网站建设 2026/9/2 21:46:57

探索机器人运动规划的奇妙世界:从路径插值到轨迹再现

机器人空间任意点位路径插值 s型速度曲线轨迹规划 实现机械臂指定非规则路径运动 拖动示教的轨迹再现在机器人的世界里,精准的运动控制就如同人类的灵动舞步,每一个动作都需要精心编排。今天咱们就来唠唠机器人空间任意点位路径插值、S 型速度曲线轨迹规…

作者头像 李华
网站建设 2026/9/2 22:40:23

自动驾驶汽车轨迹规划:人工势场法与MPC联合仿真探索

人工势场法换道主动避撞加mpc模型预测控制,carsim和simulink联合仿真,有规划和控制轨迹对比图。 跟踪误差良好,可以作为学习人工势场方法在自动驾驶汽车轨迹规划上的应用资料。在自动驾驶领域,轨迹规划与控制是保障行车安全与高效…

作者头像 李华
网站建设 2026/9/2 2:03:32

用长短期记忆网络融合注意力机制做时间序列预测,效果惊人

基于长短期记忆网络融合注意力机制的多变量时间序列预测,预测精度很高。 评价指标: RMSE 0.08024 MSE 0.0064385 MAE 0.071505 MAPE 0.05383在时间序列预测的领域里,多变量时间序列预测一直是个很有挑战性但又特别重要的任务。它广泛应…

作者头像 李华
网站建设 2026/9/2 19:43:24

端到端智驾仿真优选:aiSim破解场景生成、传感器融合核心难题

随着自动驾驶迈入端到端时代,“端到端已来,智驾仿真测试怎么做?”成为研发核心痛点。传统模块化仿真因接口缺失、保真度不足、场景覆盖有限,难以适配端到端模型全链路验证需求。康谋aiSim仿真工具凭借ISO 26262 ASIL-D认证、全链路…

作者头像 李华