pandas文件读取与存储

一、CSV文件

1. 读取csv文件，获取数据

pd.read_csv('路径', sep='分隔符', usecols=[ '列名1', '列名2', ...] )

2. 把读取到的数据写到文件中

df.to_csv('路径.csv', sep=',', index=False ) # 默认为True，会带上索引保存

3. 特殊的csv文件-->tsv文件

区别：csv文件以 ',' 做分隔；tsv文件以 tab键 做分隔

pd.read_csv('路径.tsv', sep='\t', index_col=0) # 第0列设置为索引列

df.to_csv('路径.tsv', sep='\t', index=True ) # 默认为True，会带上索引保存

二、MySQL数据库

1.导包

from sqlalchemy import create_engine

2.读取要写入sql数据库的数据

data = pd.read_csv('路径', encoding='gbk', index_col=0)

3. 创建引擎对象

engine = create_engine('数据库+模块名://数据库的用户名:密码@主机名:端口号/数据库名?编码方式')

4. 将数据写入sql数据库

# 参1：数据表名 参2：引擎对象 参3：是否把索引写进数据库 参4：数据表存在如何处理

# append是在表后追加写 replace是覆盖原表

data.to_sql('表名', engine, index=False, if exists='append')

5. 从sql中读取数据

# 参1：书就表名或sql语句 参2：引擎对象

sql_df = pd.read_sql('表名', engine) sql_df = pd.read_sql('select * from 表名', engine) # 里面也可以写sql语句

三、json文件

1. 读取json文件

# 参1：文件路径 参2：读取形式：records、columns（默认格式）、index 参3：是否按行读取

json_df = pd.read_json('文件路径', orient='读取形式', lines=True)

2. 把数据写入json文件中

json_df.to_json('文件路径', orinet='records') # 结果为：[{}, {}, {},...]

json_df.to_json('文件路径', orinet='records', lines=True) # 结果为：{}, {}, {},...常用

json_df.to_json('文件路径', orinet='index') # 结果为：index:{...}

json_df.to_json('文件路径', orinet='columns', lines=True) # 结果为：columns:{...}