news 2026/9/2 22:17:53

CSV Format Flink / PyFlink 读写 CSV 的正确姿势(含 Schema 高级配置)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CSV Format Flink / PyFlink 读写 CSV 的正确姿势(含 Schema 高级配置)

1、依赖引入

Java/Scala 工程需要加 Flink CSV 依赖:

<dependency><groupId>org.apache.flink</groupId><artifactId>flink-csv</artifactId><version>2.2.0</version></dependency>

PyFlink 用户一般可以直接在作业里使用(前提是集群环境里对应的 jar 能被加载;如果你是在远程集群跑,仍然需要按你前面“依赖管理”章节的方式把 jar 加入pipeline.jarsenv.add_jars())。

2、Java:快速读取 POJO(自动推导 Schema)

最省事的方式:让 Jackson 根据 POJO 字段推导 CSV schema:

CsvReaderFormat<SomePojo>csvFormat=CsvReaderFormat.forPojo(SomePojo.class);FileSource<SomePojo>source=FileSource.forRecordStreamFormat(csvFormat,Path.fromLocalFile(...)).build();

注意:CSV 列顺序必须和 POJO 字段顺序一致。必要时加:

@JsonPropertyOrder({"field1","field2",...})

否则列对不上会出现解析错位(最常见的“字段都不为空但值都错”的隐性 bug)。

3、Java:高级配置(自定义分隔符、禁用引号等)

需要精细控制时,用forSchema(...)自己生成CsvSchema,例如把分隔符改成|,并禁用 quote:

Function<CsvMapper,CsvSchema>schemaGenerator=mapper->mapper.schemaFor(CityPojo.class).withoutQuoteChar().withColumnSeparator('|');CsvReaderFormat<CityPojo>csvFormat=CsvReaderFormat.forSchema(()->newCsvMapper(),schemaGenerator,TypeInformation.of(CityPojo.class));FileSource<CityPojo>source=FileSource.forRecordStreamFormat(csvFormat,Path.fromLocalFile(...)).build();

对应 CSV:

Berlin|52.5167|13.3833|Germany|DE|Berlin|primary|3644826 San Francisco|37.7562|-122.443|United States|US|California||3592294 Beijing|39.905|116.3914|China|CN|Beijing|primary|19433000

更复杂的类型也能做(比如数组列),通过CsvSchema.ColumnType.ARRAY并指定数组元素分隔符:

CsvReaderFormat<ComplexPojo>csvFormat=CsvReaderFormat.forSchema(CsvSchema.builder().addColumn(newCsvSchema.Column(0,"id",CsvSchema.ColumnType.NUMBER)).addColumn(newCsvSchema.Column(4,"array",CsvSchema.ColumnType.ARRAY).withArrayElementSeparator("#")).build(),TypeInformation.of(ComplexPojo.class));

4、PyFlink:手动定义 CSV Schema(输出为 Row)

PyFlink 里通常自己建 schema,每一列映射为 Row 字段:

frompyflink.common.watermark_strategyimportWatermarkStrategyfrompyflink.tableimportDataTypesfrompyflink.datastreamimportStreamExecutionEnvironmentfrompyflink.datastream.connectors.file_systemimportFileSourcefrompyflink.formats.csvimportCsvReaderFormat,CsvSchema# 具体 import 以你环境包结构为准env=StreamExecutionEnvironment.get_execution_environment()schema=CsvSchema.builder()\.add_number_column('id',number_type=DataTypes.BIGINT())\.add_array_column('array',separator='#',element_type=DataTypes.INT())\.set_column_separator(',')\.build()source=FileSource.for_record_stream_format(CsvReaderFormat.for_schema(schema),CSV_FILE_PATH).build()ds=env.from_source(source,WatermarkStrategy.no_watermarks(),'csv-source')# ds 的 record 类型是 Row(具名字段 + 复合类型)# Types.ROW_NAMED(['id', 'array'], [Types.LONG(), Types.LIST(Types.INT())])

对应 CSV:

0,1#2#3 1, 2,1

补一个实战提醒:如果某列可能为空(比如上面的array),你后续算子处理时要把None/空数组的分支写好,否则很容易在 map/flat_map 里触发类型错误。

5、PyFlink:写 CSV(Bulk Format)

写 CSV 通常用CsvBulkWriters生成 BulkWriterFactory,再配合FileSink.for_bulk_format(...)

frompyflink.tableimportDataTypesfrompyflink.datastream.connectors.file_systemimportFileSinkfrompyflink.formats.csvimportCsvBulkWriters,CsvSchema# 具体 import 以你环境包结构为准schema=CsvSchema.builder()\.add_number_column('id',number_type=DataTypes.BIGINT())\.add_array_column('array',separator='#',element_type=DataTypes.INT())\.set_column_separator(',')\.build()sink=FileSink.for_bulk_format(OUTPUT_DIR,CsvBulkWriters.for_schema(schema)).build()ds.sink_to(sink)

6、运行模式:Batch / Streaming 都可用

CsvReaderFormat类似TextLineInputFormat,既可用于批也可用于流(持续监控目录等),具体取决于你用的 Source/RuntimeMode 以及文件系统是否支持持续发现。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/2 21:40:40

【毕业设计】基于深度学习卷积神经网络训练识别橘子是否新鲜基于python_CNN深度学习卷积神经网络训练识别橘子是否新鲜

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

作者头像 李华
网站建设 2026/9/2 21:40:39

零代码开发平台有哪些?

在数字化转型的浪潮中&#xff0c;业务部门对敏捷、定制化软件工具的需求与日俱增&#xff0c;但传统的开发流程却受限于高昂的成本和漫长的周期。零代码开发平台正是在此背景下应运而生的解决方案。它指的是一种允许用户通过完全可视化的拖拽、配置和规则设定&#xff0c;无需…

作者头像 李华
网站建设 2026/8/27 18:50:19

海上能源行业面临的网络安全威胁全景

关键发现&#xff1a; 在2024年10月至2025年10月期间&#xff0c;Qilin是针对能源行业的最主要勒索软件团伙。能源行业勒索软件受害者中&#xff0c;56%位于美国和加拿大。今年观察到威胁行为者通过恶意广告在Google Ads上向能源公司分发恶意软件&#xff0c;例如RecipeLister和…

作者头像 李华
网站建设 2026/9/2 0:33:38

Claude Skills深度解析:大模型智能体架构与Gemini 3对比分析

Claude Skills是智能体可动态加载的"能力模块"&#xff0c;包含逻辑与执行脚本&#xff1b;Agent SDK是智能体的"操作系统"&#xff0c;提供运行环境。与Gemini 3相比&#xff0c;两者功能相似但实现路径不同&#xff0c;Anthropic采用模块化"渐进式披…

作者头像 李华
网站建设 2026/9/2 19:53:10

2026年强推新兴GEO服务商-微盟星启:抢占AI搜索心智打造品牌增长

一、AI搜索重构增长逻辑&#xff0c;品牌亟需“标准答案”破局当生成式AI成为搜索领域的核心变革力量&#xff0c;互联网用户的信息获取方式正发生根本性转变。不同于传统关键词搜索的“信息罗列”&#xff0c;AI搜索更倾向于输出“整合式、结论性”的答案&#xff0c;这直接重…

作者头像 李华