1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 方式一：
f = open(file='文件路径', mode='a+', encoding='utf-8')

# TODO：操作（读写）文件

# 每次打开文件后，无论进行了多少读写操作，最终都一定要将文件关闭，
# 因为打开文件会消耗相关系统资源（文件描述符），不使用时应及时释放。
f.close()


# 方式二：
# open() 后的 file 对象会被 as 关键字赋予变量 f。和之前一样，我们利用 f 进行文件读写。
# with 语句会在它的代码块执行完毕后，或代码块抛出异常时，自动关闭文件，为我们省却了 f.close() 步骤。
with open('example.txt', 'r') as file:
    content = file.read()
print(content)

1
2
3
4

content = ""
with open('example.txt', 'r') as file:
    content = file.read()   # 一次读取整个文件内容
print(content)

1
2
3
4

# 逐行读取
with open('example1.csv', 'r') as file:
    while (line := file.readline()) != '':
        print(line)

1
2
3
4

with open('example.txt', 'r') as file:
    lines = file.readlines()
    for line in lines:
        print(line)

1
2
3

with open('large_file.txt', 'r') as file:
    for line in file:   # 逐行读取，既优雅又高效！
        print(line.strip())

1
2
3
4
5

import itertools

with open('example.txt', 'r') as file:
    for line in itertools.islice(file, 100):
        print(line.strip())

1
2
3
4

s = "Data buffer."
with open('example.txt', 'w+',encoding='utf-8') as file:
    file.write(s)
    file.write('\n')

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

data = [
    ['Name', 'Age', 'City'],
    ['Alice', '30', 'New York'],
    ['Alice', '30'],
    ['Bob', '25', 'Los, Angeles'],
    ['Bob', '25', 'Los Angeles', '3']
]

with open('example.log', 'w', newline='') as file:
    for line in data:
        file.writelines(line)
        file.write('\n')        # 手动添加 换行符

1
2
3
4
5

with open('example.log', 'a+',encoding='utf-8') as file:
    file.write('Data buffer!')
    file.seek(0)                # 写指针导致读写指针指在最后，重置指针以便于从头读取
    s=file.read(10)             # 读取10个字符
    print(s)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# json 处理 结构化数据
import json

data = {"name": "John", "age": 30}
with open('data.json', 'w') as file:
    json.dump(data, file)   # 系列化 data 后写入 file

# 读取 JSON 文件
with open('data.json', 'r') as file:
    loaded_data = json.load(file) # 读取json数据后返序列化 为 字典
    print(loaded_data)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# 基本用法：
import csv

# 数据
data = [
    ['Name', 'Age', 'City'],
    ['Alice', 30, 'New York'],
    ['Bob', 25, 'Los Angeles'],
    ['Alice', 30],                  # 数据 缺失字段
    ['Bob', 25, 'Los Angeles',3]    # 数据 多出 字段
]

# 写入 CSV 文件
# 语法：`csv.writer(f)`
# writer支持 `writerow(列表)` 单行写入，和 `writerows(嵌套列表)` 批量写入多行，无须手动保存。
with open('example.csv', 'w', newline='') as file:
    writer = csv.writer(file)
    writer.writerows(data)  # 数据 缺失、多出 字段 均可写入， 缺失字段没有空站位符

# 高级用法：使用 DictWriter 写入 CSV，提供了字段名的映射。
# 语法：csv.DicWriter(f, fieldnames=fields)
# 写入时可使用writeheader()写入标题，然后使用writerow(字典格式数据行)或writerows(多行数据)
with open('example1.csv', 'w', newline='') as file:
    fields = ['Name', 'Age', 'City']
    writer = csv.DictWriter(file, fieldnames=fields)  # 设置表头
    writer.writeheader()    # 写入表头
    
    # 按表头 写入数据
    writer.writerow({'Name': 'Alice', 'Age': 30, 'City': 'New York'})
    writer.writerow({'Name': 'Bob', 'Age': 25, 'City': 'Los Angeles'})
    writer.writerow({'Name': 'Bob', 'City': 'Los Angeles'})             # 数据字段 缺失 可以正确写入，缺失字段有空占位符
    # writer.writerow({'Name': 'Bob', 'Age': 25, 'City': 'Los Angeles', "class": 3})  # 数据多出字段不能写入，将抛出异常错误

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

# 基本用法
import csv

# 读取 CSV 文件
# 语法：csv.reader(f, delimiter=',')
# reader为生成器，每次读取一行，每行数据为列表格式，可以通过delimiter参数指定分隔符
with open('example.csv', 'r') as file:
    reader = csv.reader(file)
    for row in reader:
        print(row)

# 高级用法：使用 DictReader 读取 CSV，每行数据被映射到一个字典。
# 语法：csv.DicReader(f[, delimiter=','])
# 直接将标题和每一列数据组装成有序字典（OrderedDict）格式，无须再单独读取标题行
with open('example1.csv', 'r') as file:
    reader = csv.DictReader(file)
    for row in reader:
        print(row)

1

pip install pandas

1

import pandas as pd

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# -*- coding: utf-8 -*-

import pandas as pd

# 1. 读写 cvs 文件
data = pd.read_csv('data.csv') # 这一行代码把CSV里的所有数据读取到一个 DataFrame（Pandas对象）中。DataFrame，就是数据工作台。
data.to_csv('processed_data.csv', index=False)

# 2. 快速浏览 数据收尾五行
print(data.head())  # 前五行
print(data.tail())  # 后五行

# 3. 修改列名操作
data.rename(columns={'old_name': 'new_name'}, inplace=True)

# 4. 精准筛选: 条件选择
filtered_data = data[data['age'] > 18]
subset = data[(data['age'] > 18) & (data['age'] < 30)]

# 5. 统计分析：计算平均值
average_age = data['age'].mean()

# 6. 拆分数据
data[['first_name', 'last_name']] = data['name'].str.split(' ', expand=True)

# 7. 合并数据
combined_data = pd.concat([data1, data2], ignore_index=True) # 合并两份数据

merged_data = pd.merge(data1, data2, on='common_key')   # 基于某个键合并

# 9. 数据清洗：去除空值
clean_data = data.dropna()  # 删除空值行
# 或者
data.fillna(value='default', inplace=True)  # 用默认值填充

# 10. 排序操作
sorted_data = data.sort_values(by='age', ascending=True)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# -*- coding: utf-8 -*-

import pandas as pd

# 1. 高效过滤：有时，处理数据时需要基于复杂的逻辑筛选数据。利用query()函数可以提供接近自然语言的查询方式进行筛选。
complex_filtered = data.query('age > 18 and city == "New York"')

# 2. 处理日期时间：CSV中常有日期时间数据，pd.to_datetime() 可以将字符串形式的日期时间转换文Unix时间戳格式的时间
data['date'] = pd.to_datetime(data['date'])

# 3. 透视表（pivot table）快速汇总数据
pivot_table = data.pivot_table(index='city', values='age', aggfunc='mean') # 每个城市人们的平均年龄

# 4. 数据类型转换，改变列的数据类型，比如将字符串转为整型
data['age'] = data['age'].astype(int)

# 5. 高级合并：除了基本的合并，pd.DataFrame.join()提供了更多灵活性，特别是在处理具有相同索引的DataFrame时。
left.join(right, how='inner')  # 内连接

# 6. 数据预览：图形化理解
import matplotlib.pyplot as plt

data['age'].hist()  # 创建一个简单的 年龄分布 直方图。
plt.show()