十万行CSV如何顺利导进数据库：DBeaver数据导入实战指南
【免费下载链接】dbeaverFree universal database tool and SQL client项目地址: https://gitcode.com/GitHub_Trending/db/dbeaver
把客户表从CSV导进数据库，中文一半变乱码、剩下的行还报主键冲突，这种场面你遇到过吗？DBeaver数据导入是这款通用数据库工具的核心功能之一，搞懂它的错误收集机制和列映射流程，大部分导入报错都能提前避开。
一个真实场景：20万行中文流水CSV导入失败
业务同事丢来一份20万行的门店流水CSV，里面带中文商户名，分隔符是分号（从欧洲系统导出的）。我直接用了默认设置导入，前300行全部失败：中文变问号，"1,234.56"这种金额塞不进数值字段，日志一直指向同一行号。后来排查发现，问题不在数据，而在于编码、分隔符和日期格式我都没配。
DBeaver数据导入的工作机制：两个模块管一条流水线
先说结论：DBeaver的导入不是一个大函数，而是“读”和“写”拼起来的一条流水线。数据传输模块 plugins/org.jkiss.dbeaver.data.transfer/ 负责主流程：把文件逐行拆成行记录，把每一列转换为目标表的类型，再批量写入数据库。你界面上看到的导入向导，则由 plugins/org.jkiss.dbeaver.data.transfer.ui/ 提供，作用是把你的选项翻译成流水线能执行的任务参数。
这里有个值得注意的设计：错误不会当场中断，而是先被收进任务状态里，跑完才能看到哪一行、哪一列出了问题。所以DBeaver导入经常“成功一半”，成功的一半照常落库，失败的那些行留给你回头处理。
DBeaver CSV导入的四个步骤
这四步的目标只有一个：让报错在正式导入前暴露出来，把全量数据的失败率压到接近零。
步骤1：数据体检，先确认编码、分隔符和样例行
目标：确认文件本身可读、格式稳定。
操作：
- 用文本编辑器打开CSV，确认文件编码是UTF-8还是GBK
- 看前5行，确认分隔符是逗号、分号还是制表符，第一行是不是表头
- 扫一遍三种隐患：空值、带千分位的数字、全角字符
验证结果：编辑器里前5行显示正常，且全文件分隔符一致。
步骤2：列映射，把列对对、把格式配上
目标：保证源列类型和目标列兼容。
操作：
- 在导入向导的源步骤，选上一步确认过的编码和分隔符
- 映射步骤里逐列对应源列到目标列，遇到类型不匹配（比如字符串转数字）时，按提示手动指定转换或目标类型
- 日期列填入源数据真实使用的格式，源和目标都尽量用YYYY-MM-DD
- CSV的解析规则集中在 DataImporterCSV.java，想弄清某个值为什么解析成这样，可以从这里看起
验证结果：预览映射后，中文、金额、日期都能按目标表的样子正确显示。
步骤3：小批量试跑，先让100行走完全流程
目标：用最小成本暴露格式和约束问题。
操作：
- 只取前100行（或另存一份100行的样例文件）
- 指向一张测试表，别对着生产表
- 执行导入，跑完查看执行报告
验证结果：100行全部成功，或失败行能明确定位到行号和列名。
步骤4：正式导入，让报错落到报告里，跑完抽样核对
目标：完成导入，并拿到一份明确的失败清单。
操作：
- 恢复全量行数，大数据量时启用批量提交，降低内存和事务压力
- 遇到主键重复时选择策略：跳过、覆盖，或删除后插入
- 跑完后逐条看错误报告，失败行号会记录在任务状态里，记录逻辑可参考 DataTransferState.java
- 按报告修正源数据，只重导失败的行
验证结果：导入行数与源文件行数对得上，随机抽5行核对数值一致。
💡 错误报告不是摆设，排查问题先看报告，别靠猜。
DBeaver导入失败速查表
⚠️ 下表基本每条都有人踩过，对号入座再动手排查。
| 现象 | 可能原因 | 处理动作 |
|---|---|---|
| 中文变问号或方框 | 文件编码和导入设置不一致 | 源步骤手动选GBK或UTF-8后重新预览 |
| 金额列导入失败 | 数字带千分位或全角字符 | 清洗源数据，或在列映射里配置转换 |
| 日期值变0或报错 | 源日期格式与字段不符 | 按源格式如实填写，或先统一成YYYY-MM-DD |
| 主键冲突中断 | 目标表已存在相同主键 | 选择跳过、覆盖或删除后插入策略 |
| 中途报约束违规 | 子表先于父表导入，或引用行缺失 | 调整顺序：先导入父表再导子表 |
| 个别行失败，报告指向同一行 | 某个单元格里藏了换行符 | 用编辑器打开文件，开启显示全部字符定位修复 |
三条过来人的提醒
- 别拿默认设置打天下，改在导入前核对编码、分隔符、日期格式三项，欧洲和美国的CSV常用不同分隔符，默认逗号不一定对。
- 别直接上20万行，改先用100行试跑，一次试跑省下的时间远大于等待的时间。
- 别看到日期列没报错就放心，要导入后抽几行和源数据比对，格式不匹配最危险的是静默写错。
DBeaver数据导入本质是“体检、映射、试跑、批量、验证”五件事，流程做对，多数错误到不了数据库。现在就挑一份小CSV，把步骤3的100行试跑走一遍。
【免费下载链接】dbeaverFree universal database tool and SQL client项目地址: https://gitcode.com/GitHub_Trending/db/dbeaver
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
