一 pandas简介
pandas是一个强大的Python数据分析的工具包, 是基于NumPy构建的
pandas的主要功能- 具备对其功能的数据结构DateFrame Series
- 集成时间序列功能
- 提供丰富的数学运算和操作
- 灵活处理缺失数据
安装方法: pip install pandas
引用方法：import pandas as pd二 pands的Series对象
1 Series 一维数据对象
Seriaes是一种类似于一位数组的对象, 由一组数据和一组与之相关的数据标签(索引)组成新的二维数组
创建方式:pd.Series([4,7,-5,3])pd.Series([4,7,-5,3], index=['a', 'b', 'c', 'd'])pd.Series({ 'a':1, 'b':2})pd.Series(0, index=['a','b','c','d']) 获取值数组和索引数据: values属性和index属性
Series比较像列表(数组)和字典的结合体2 Series使用特性
Series支持array的特性(下标)：
- 从ndarray创建Series:Series(arr)
- 与标量运算: sr*2
- 两个Series运算： sr1+sr2
- 索引：sr[0], sr[[1,2,4]]
- 切片：sr[0:2]
- 通用函数:np.abs(sr)
- 布尔值过滤: sr[sr>0]
Series支持字典的特性(标签):
- 从字典创建Series: Series(dic)
- in运算: 'a' in sr
- 键索引：sr['a'], sr[['a','b', 'd']]
3 Series整数索引问题
整数索引的pandas对象往往会使新手抓狂的地方
例如：- sr = pd.Series(np.arange(4.))
- sr[-1]
如果索引是整数类型,则根据整数进行下标获取值时总是面向标签的。
解决方法: loc属性(将索引解释为标签)和iloc属性(将索引解释为下标) 如：sr2.loc[10] sr2.iloc[-1]4 Series数据对齐
例：
- sr1 = pd.Series([12,23,34], index=['c','a','d'])
- sr2 = pd.Series([11,20,10], index=['d', 'c', 'a'])
- sr1+sr2
pandas在进行两个Series对象的运算时,会按索引进行对齐然后计算
- a:33
- c:32
- d:45
如何使用结果再索引'b'处的值为11， 在索引‘d’处的值为34?
- 灵活的算术方法: add, sub, div, mul
- sr1.add(sr2, fill_value=0)
5 Series缺失值处理
缺失数据：使用NaN(Not a Number) 来表示缺失数据。其值等于np.nan。内置的None值也会被当做NaN处理
sr.isnull() Nan返回Truesr.notnull() Nan但会Falsesr.dropna() 删除索引Nansr.fillna(0) 填充所有的nan
过滤缺失数据：sr.dropna() 活 sr[data.notnull()]
填充缺失数据：fillna(0)
三 Pandas之DataFrame-二维数据对象
DataFrame是一个表格型的数据结构, 含有一组有序的列。DataFrame可以被看做是由Series组成的字典,并且共用一个索引
创建方式:
pd.DataFrame({ 'one':[1,2,3,4], 'two':[4,3,2,1]})pd.DataFrame({ 'one':pd.Series([1,2,3], index=['a','b','c']), 'two':pd.Series([1,2,3,4],index=['b','a','c','d'])}) csv文件读取与写入：
df.read_csv('filename.csv')df.to_csv() DataFrame常用的属性：
index 获取索引 行索引T 转置 行变成列 列变成行columns 获取列索引values 获取值数组describe() 获取快速统计
DataFrame索引和切片：
DataFrame是一个二维数据类型,所以有行索引和列索引。
DataFrame同样可以通过标签和位置两种方法进行索引和切片。 loc属性和iloc属性：- 使用方法: 逗号隔开,前面是行索引, 后面是列索引
- 行/列索引部分可以是常规索引,切片,布尔索引,花式索引任意搭配
示例：
# 先取列再取行df['one']['a']# 推荐使用locdf.loc['a', 'one']# 查看一行数据dc.loc['a', :]
DataFrame数据对齐与缺失数据：
DataFrame对象在运算时, 同样会进行数据对齐, 其行索引和列索引分别对齐
DataFrame处理缺失数据的相关方法：dropna(axis=0, where='any', ...) # 当行所有都是Nan才删除dropna(how='any') fillna()isnull()notnull()
四 pandas其他常用方法
常用函数
mean(axis=0, skipna=False) 对列(行)求平均数sum(axis=1) 对列(行)求和sort_index(axis, ..., ascending) 对列(行)索引排序sort_values(by,axis, ascending) 安某一列(行)的值排序 reset_index(drop=true) 重新处理indexNumPy的通用函数同样适用于pandas
五 pandas-时间对象处理
时间序列类型：
- 时间戳：特定时刻
- 固定时刻: 如2017年7月
- 时间间隔：起始时间-结束时间
Python标准库处理时间对象:datetime
灵活处理时间对象: dateutil
dateutil.parser.parse()
成组处理时间对象:pandas
pd.to_datetime()
生成时间范围：date_range
- start 开始时间
- end 结束时间
- periods 时间长度
- freq 时间频率, 默认为'D', 可选H(our)， W(eek)， B(usiness), S(emi0)M(onth), (min)T(es), S(econd), A(year)
pd.date_range('2010-01-01', '2010-5-1') pandas-时间序列：
时间序列就是以时间对象为索引的Series或DataFrame
datetime对象作为索引时是存储在DatetimeIndex对象中的。 时间序列特殊功能：- 传入“年”或“年月”作为切边方式
- 传入日期范围作为切片方式
- 丰富的函数支持: resample(), truncate()
六 pandas-文件处理
数据文件常用格式: csv(以某间隔符分割数据)
pandas读取文件: 从文件名,URL,文件对象中加载数据
read_csv 默认分隔符为逗号read_table 默认分隔符为制表符
read_csv, read_table函数主要参数:
sep 指定分隔符,可用正则表达式如"\s+"header=None 指定文件无列名name 指定列名index_col 指定某列为索引skip_row 指定跳过某些行na_values 指定某些字符串表示缺失值parse_dates 指定某些列是否被解析为日期，类型布尔值或列表
pandas写入csv文件: to_csv函数：
sep 指定文件分隔符na_rep 指定缺失值转换的字符串,默认为空字符串header=False 不输出列名一行index=False 不输出索引一列cols 指定输出的列,传入列表