【一起玩蛇】Python 结构化数据分析工具 Pandas | Series 与 DataFrame

pandas 介绍

❓ Pandas 是什么？

熊猫？14年网龄的我，早就在互联网发表情包了，这种熊猫表情包我可太熟悉了。

但是我们今天要说的是 Python 里的 pandas，为了接地气本篇所有用的表情包都会是熊猫头。

” pandas 就是一个用于数据处理和分析的 python 库 ”

pandas 支持读取和处理各种外部资源数据，比如读取 CSV 文件、文本文件、Excel 文件、web 数据等，还可以使用 matplotlib 可视化数据。

先提一嘴 pandas 的数据结构：

一维数据结构：Series
二维数据结构：Data Frame
三维数据结构：Panel

pandas 在数据中支持多种运算函数，使用 pandas 库需要引入头文件：

import pandas as pd

一般会 as pd 一下，这样用起来能更方便些。（就像 numpy 我们习惯去 as np 一样）

numpy 数组是所有元素都相同的数据类型，但 pandas 允许元素的数据类型不同，并生成结构数，比如 Series 和 DataFrame。

Series 数据结构

简单的一维数据结构，能展示出带有索引 (index) 的一维数组。

与 Numpy 中的一维 array 类似。它们都和 Python 基本的数据结构 List 相似。

现在的 Series 能保存不同数据类型，字符串、boolean 值、数字等，它们都能保存在 Series 中。

用法演示：使用 pd.Series() 函数

可以指定参数 index，如果不指定 index 会默认从 0 开始。

import pandas as pd

data = [1, 3, 5, 7, 9]

# 不指定

s1 = pd.Series(data)

# 指定index

s2 = pd.Series(data, index = [“安娜”, “末日铁拳”, “麦克雷”, “莱因哈特”, “禅雅塔”])

print(s1, “\n\n”, s2, “\n”)

print(s2.values) # 只打印值

print(s2.index) # 只打印索引

用法演示：使用字典数据创建 Series

会将字典的键配置为 index，将字典的值配置为 values。

import pandas as pd

# 利用字典构造 series

data = pd.Series (

{“苹果”: “Apple”, “橘子”: “Orange”, “香蕉”: “banana”, “桃子”: “peach”}

)

print(data)

print(data.index) # 打印索引

print(data.values) # 打印值

DataFrame 数据结构

二维的表格型数据结构，DataFrame 接受带行和列的表数据。

index 和列具有各自的标签（名称）
每个列可以有不同的数据类型
默认情况下，按列管理数据

可以将 DataFrame 理解为 Series 的容器。

可以将多种数据类型的数据转换为 Data Frame 数据结构：

字典、列表、nd-array 对象、Series 数据结构
使用 pd.DataFrame() 函数创建
生成的默认索引为从 0 开始的整数
可使用 index 关键字命名索引
可使用 columns 关键字命名列

用法演示：使用 pd.DataFrame()

import pandas as pd

data = [

[2019, 2.8, “1.63M”],

[2020, 3.4, “1.75M”],

[2021, 5.5, “1.84M”]

]

# 什么都不指定

df1 = pd.DataFrame(data)

print(df1, “\n”)

# 指定 index 和 columns

df2 = pd.DataFrame (

data, # 数据

index = [1, 2, 3], # 指定索引

columns = [‘year’, ‘GDP_rate’, ‘GDP’] # 指定列

)

print(df2)

用法演示：使用字典数据创建 DataFrame（字典的键为列名，字典的值为列值）

import pandas as pd

data = {“year” : [2019, 2020, 2021],

“GDP_rate” : [2.8, 3.4, 3.0],

“GDP” : [“1.63M”, “1.75M”, “1.83M”]

}

## data 是一个字典

df = pd.DataFrame(data) # 等同于 df = pd.DataFrame(data=data)

print(df, “\n”)

print(df.iloc[1], “\n”) # row 引用类型：df.loc[index名称]，df.iloc[index编号]

print(df[“year”], “\n”) # 等同于 print(df.year)

# column 引用方法：df[“列名”] 或 df.列名

## 查看数据类型

print(type(df.iloc[1]))

print(type(df[“year”]))

操作演示：如果在添加行时将其指定为现有索引名称，则会修改现有的数据值。

# 8

import pandas as pd

s1 = pd.Series( [2019, 2020, 2021] )

s2 = pd.Series( [2.8, 3.2, 3.0] )

s3 = pd.Series( [“1.63M”, “1.75M”, “1.87M”] )

data = {“year” : s1, “GDP_rate” : s2, “GDP” : s3}

df1 = pd.DataFrame(data)

print(df1, “\n”)

names = pd.Series([“禅雅塔”, “奥丽莎”, “西格玛”, “索洁恩”, “卢西奥”])

scores = pd.Series([18030, 5069, 8958, 14560, 6800])

members = {“[姓名]”: names, “[伤害量]” : scores}

df2 = pd.DataFrame(members)

print(df2, “\n”)

df2[“[表现]”] = [“A”, “C”, “B”, “A”, “D”] # 列名以 Grade 添加列

df2.loc[5] = [“麦克雷”, 15035, “A”] # 添加行

print(df2)

我们之前提到了，numpy 也是可以塞里面的，我们来看看。

import numpy as np

import pandas as pd

data1 = np.array(

[ [1, 2, 3], [4, 5, 6] ] # 创建一个二维数组

)

df1 = pd.DataFrame(data1)

print(df1, “\n”)

data2 = pd.Series(

{“苹果”: “Apple”, “橙子”: “Orange”,

“香蕉”: “banana”, “桃子”: “peach”}

)

df2 = pd.DataFrame(data2, columns = [“英文名”])

print(df2, “\n”)

df3 = pd.DataFrame (

data = [56, 90, 31],

index = range(1, 4),

columns = [“价格”]

)

print(df3, “\n”)

索引与数据选择

刚才在注释里我们演示了一些 “数据引用”，现在我们现在来正式讲一下这个知识点。

我们假设变量 df 是 DataFrame 的对象：

列值索引：

df[列名]

df.列名1

df[[列名1, 列名2, …]] # 如果有多行要引用，可以写到列表里

切片作为索引：

df[起始位置, 结束位置]      # 从 start 开始到 end-1 行

行索引：

df.loc[行名]

df.loc[[行名1, 行名2, …]] # 如果有多行要引用，可以写到列表里

索引单个元素：

df.loc[行名, 列名]

使用布尔索引 (boolean indexing) 引用符合条件的值：

df[条件式]      # 仅引用满足条件表达式的数据

用法演示：数据索引

import pandas as pd

names = [“Bob”, “Jessica”, “Mary”, “John”, “Kate”]

scores = [56, 11, 99, 83, 45]

members = {“Name”: names, “Score”: scores}

df = pd.DataFrame(data=members)

cgpa = pd.Series (

[3.2, 2.5, 4.1, 2.8, 1.9]

)

df[“Cgpa”] = cgpa

## 整体

print(df, “\n”)

print(“—— 列值引用 ——“)

print(df[[“Name”, “Cgpa”]], “\n”)

print(“—— 切片引用 ——“)

print(df[1 : 4], “\n”)

print(“—— 行引用 ——“)

print(df.loc[[2, 4]], “\n”)

print(df.loc[1, “Name”], “\n”)

print(“—— 布尔索引 ——“)

print(df[df.Score > 60]) # 筛出分数大于60的

loc 指的是 location，iloc 中的 i 是指的是 integer，这两者的区别如下：

loc：根据实际设置的 index 来索引数据
iloc：根据顺序数字来索引数据

import pandas as pd

names = [“Bob”, “Jessica”, “Mary”, “John”, “Kate”]

scores = [56, 11, 99, 83, 45]

members = {“Name”: names, “Score”: scores}

df = pd.DataFrame(data = members, index = range(1, 6))

print(df, “\n”)

## 与 df[“Name”] 相同

print(df.loc[2], “\n”)

print(df.iloc[2], “\n”)

print(df.Name)

获取对数据进行排序的新对象

使用 DataFrame 对象的 sort_values(by=列名) 函数，按 by 参数指定的值排序（默认为升序）。

参数 ascending 值为 False 时，按降序排序。

根据引用，初始化 DataFrame 对象索引的新对象。

使用 reset_index() 函数获取初始化 DataFrame 对象索引的新对象。将参数 drop 值设置为 True 时为升序。

用法演示：sort_values() 与 reset_index()

#P13

import pandas as pd

names = [“Bob”, “Jessica”, “Mary”, “John”, “Kate”]

scores = [56, 11, 99, 83, 45]

members = {“Name”: names, “Score”: scores}

df = pd.DataFrame(members)

df[“Grade”] = [“C”, “F”, “A”, “B”, “D”]

df.loc[5] = [“Hanna”, 90, “A”]

print(df, “\n”)

## 创建按 “Score” 列降序排序的对象

df1 = df.sort_values(by = “Score”, ascending = False)

print(df1, “\n”)

## 创建初始化 df1 对象索引的新对象

df2 = df1.reset_index(drop = True)

print(df2)

DataFrame 为对象增加新列

缺失值处理：大多数实际数据都是未精炼的，存在缺失值，不同的数据具有不同形式的缺失值（缺失值）。结构性数据标记为 null、NaN、NA 等。

# p14

import pandas as pd

import numpy as np

names = [“Bob”, “Jessica”, “Mary”, “John”, “Kate”]

scores = [56, 11, 99, 83, 45]

members = {“Name”: names, “Score”: scores}

df = pd.DataFrame(members)

df[“Grade”] = np.nan # 不指定数据时只增加列

df.loc[2, “Grade”] = “A” # 在现有行的追加的列中储存数据

df.loc[5, “Grade”] = “F” # 追加新的行，在指定列中储存数据，剩下的数据以 Nan 形式初始化

print(df, “\n”)

缺失值处理演示：

import pandas as pd

import numpy as np

a = np.array([1, 2, np.nan, 4, 5])

print(a, “\n”)

print(a.sum(), a.min(), a.max())

print(np.nansum(a), np.nanmin(a), np.nanmax(a)) # 对非 nan 值计算

读取外部文件数据（CSV文件）

pandas 可以读取和写入各种外部数据，包括 CSV 文件、Excel 文件和文本文件。

读取CSV文件（扩展名 .csv）以创建并返回 DataFrame 对象的函数：

read_csv("文件名")

CSV 文件以逗号（，）分隔数据，并由表示记录的行和表示字段的列组成。

用法演示：读取 csv 文件

import pandas as pd

pf = pd.read_scv(“/content/test.csv”)

print(pf, “\n”)

pf1 = pd.read_scv(“/content/test.csv”, header = None)

print(pf1, “\n”)

将下面的 vehicle_prod.csv 文件保存到 colab 的工作文件夹 “/content” 文件夹中：

（若要将第一行用作索引，省略第1行第1列的名称）

然后在 colab 中选择该文件，然后右键单击，将出现 “复制路径” 选项。

代码演示：读取 vehicle_prod.csv

import pandas as pd

import matplotlib.pyplot as plt

pf_f1 = pd.read_csv(“/content/vehicle_prod.csv”)

print(pf_f1, “\n”)

## 将第0列设置为index

pf_f2 = pd.read_csv(“/content/vehicle_prod.csv”, index_col = 0)

print(pf_f2)

pf_f2[“2007”].plot(kind=’bar’) # 将列”2007″的数据可视化

plt.show()

代码演示：读取 vehicle_prod.csv 文件，按国家/地区绘制年度产量图：

import pandas as pd

import matplotlib.pyplot as plt

pf_f = pd.read_csv(“/content/vehicle_prod.csv”, index_col = 0)

plt.plot(pf_f.loc[“China”])

plt.plot(pf_f.loc[“EU”])

plt.plot(pf_f.loc[“US”])

plt.plot(pf_f.loc[“Japan”])

plt.plot(pf_f.loc[“Korea”])

plt.plot(pf_f.loc[“Mexico”])

plt.legend([“China”, “EU”, “US”, “Japan”, “Korea”, “Mexico”])

plt.show()

代码演示：读取 vehicle_prod.csv 文件进行统计（总计，平均值）

import pandas as pd

import matplotlib.pyplot as plt

pf_f = pd.read_csv(“/content/vehicle_prod.csv”, index_col=0)

## 函数的参数axis=1表示列方向，axis=0表示行方向

pf_f[“Total”] = pf_f.sum(axis=1)

pf_f[“Average”] = pf_f[[“2007”, “2008”, “2009”, “2010”, “2011”]].mean(axis=1)

print(pf_f, “\n”)

## 追加列

pf_f[“Average”].plot(kind=’bar’)

plt.show()

plt.bar(pf_f.index, pf_f[“Average”])

plt.show()

声明：本站所有资源，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。

pandas 介绍

Series 数据结构

DataFrame 数据结构

索引与数据选择

获取对数据进行排序的新对象

DataFrame 为对象增加新列

读取外部文件数据（CSV文件）

合作伙伴

我要赚钱

有站网，站长需要的精彩内容从这里开始

pandas 介绍

Series 数据结构

DataFrame 数据结构

索引与数据选择

获取对数据进行排序的新对象

DataFrame 为对象增加新列

读取外部文件数据（CSV文件）

相关文章