数据处理的瑞士军刀pandas | 技术帖

在Python中,pandas包含了高级的数据结构Series和DataFrame,使得在Python中处理数据变得非常方便、快速和简单。

原标题:《量化分析师的Python日记【第5天:数据处理的瑞士军刀pandas】》

基本数据结构介绍

终于写到了作者最想介绍,同时也是Python在数据处理方面功能最为强大的扩展模块了。

在处理实际的金融数据时,一个条数据通常包含了多种类型的数据,例如,股票的代码是字符串,收盘价是浮点型,而成交量是整型等。

在C++中可以实现为一个给定结构体作为单元的容器,如向量(vector,C++中的特定数据结构)。

在Python中,pandas包含了高级的数据结构Series和DataFrame,使得在Python中处理数据变得非常方便、快速和简单。

pandas不同的版本之间存在一些不兼容性,为此,我们需要清楚使用的是哪一个版本的pandas。现在我们就查看一下Vitu的pandas版本:

pandas主要的两个数据结构是Series和DataFrame,随后两节将介绍如何由其他类型的数据结构得到这两种数据结构,或者自行创建这两种数据结构,我们先导入它们以及相关模块:

Pandas数据结构:Series

从一般意义上来讲,Series可以简单地被认为是一维的数组。

Series和一维数组最主要的区别在于Series类型具有索引(index),可以和另一个编程中常见的数据结构哈希(Hash)联系起来。

2.1 创建Series

创建一个Series的基本格式是s = Series(data, index=index, name=name),以下给出几个创建Series的例子。

首先我们从数组创建Series:

可以在创建Series时添加index,并可使用Series.index查看具体的index。

需要注意的一点是,当从数组创建Series时,若指定index,那么index长度要和data的长度一致:

创建Series的另一个可选项是name,可指定Series的名称,可用Series.name访问。在随后的DataFrame中,每一列的列名在该列被单独取出来时就成了Series的名称:

Series还可以从字典(dict)创建:

让我们来看看使用字典创建Series时指定index的情形(index长度不必和字典相同):

我们可以观察到两点:

  • 一是字典创建的Series,数据将按index的顺序重新排列;

  • 二是index长度可以和字典长度不一致,如果多了的话,pandas将自动为多余的index分配NaN(not a number,pandas中数据缺失的标准记号),当然index少的话就截取部分的字典内容。

如果数据就是一个单一的变量,如数字4,那么Series将重复这个变量:

2.2 Series数据的访问

访问Series数据可以和数组一样使用下标,也可以像字典一样使用索引,还可以使用一些条件过滤:

Pandas数据结构:DataFrame

在使用DataFrame之前,我们说明一下DataFrame的特性。

DataFrame是将数个Series按列合并而成的二维数据结构,每一列单独取出来是一个Series,这和SQL数据库中取出的数据是很类似的。

所以,按列对一个DataFrame进行处理更为方便,用户在编程时注意培养按列构建数据的思维。

DataFrame的优势在于可以方便地处理不同类型的列,因此,就不要考虑如何对一个全是浮点数的DataFrame求逆之类的问题了,处理这种问题还是把数据存成NumPy的matrix类型比较便利一些。

3.1 创建DataFrame

首先来看如何从字典创建DataFrame。DataFrame是一个二维的数据结构,是多个Series的集合体。我们先创建一个值是Series的字典,并转换为DataFrame:

可以指定所需的行和列,若字典中不含有对应的元素,则置为NaN:

可以使用dataframe.index和dataframe.columns来查看DataFrame的行和列,dataframe.values则以数组的形式返回DataFrame的元素:

DataFrame也可以从值是数组的字典创建,但是各个数组的长度需要相同:

值非数组时,没有这一限制,并且缺失值补成NaN:

在实际处理数据时,有时需要创建一个空的DataFrame,可以这么做:

另一种创建DataFrame的方法十分有用,那就是使用concat函数基于Serie或者DataFrame创建一个DataFrame.

其中的axis=1表示按列进行合并,axis=0表示按行合并,并且,Series都处理成一列,所以这里如果选axis=0的话,将得到一个10×1的DataFrame。下面这个例子展示了如何按行合并DataFrame成一个大的DataFrame:

3.2 DataFrame数据的访问

首先,再次强调一下DataFrame是以列作为操作的基础的,全部操作都想象成先从DataFrame里取一列,再从这个Series取元素即可。

可以用datafrae.column_name选取列,也可以使用dataframe[]操作选取列,我们可以马上发现前一种方法只能选取一列,而后一种方法可以选择多列。

  • 若DataFrame没有列名,[]可以使用非负整数,也就是“下标”选取列;

  • 若有列名,则必须使用列名选取,另外datafrae.column_name在没有列名的时候是无效的:

以上代码使用了dataframe.columns为DataFrame赋列名,并且我们看到单独取一列出来,其数据结构显示的是Series,取两列及两列以上的结果仍然是DataFrame。访问特定的元素可以如Series一样使用下标或者是索引:

若需要选取行,可以使用dataframe.iloc按下标选取,或者使用dataframe.loc按索引选取:

选取行还可以使用切片的方式或者是布尔类型的向量:

行列组合起来选取数据:

如果不是需要访问特定行列,而只是某个特殊位置的元素的话,dataframe.at和dataframe.iat是最快的方式,它们分别用于使用索引和下标进行访问:

dataframe.ix可以混合使用索引和下标进行访问,唯一需要注意的地方是行列内部需要一致,不可以同时使用索引和标签访问行或者列。

不然的话,将会得到意外的结果:

参考文献

  1. https://pandas.pydata.org/pandas-docs/version/0.24/

转载声明:本文 由CoinON抓取收录,观点仅代表作者本人,不代表CoinON资讯立场,CoinON不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。若以此作为投资依据,请自行承担全部责任。

声明:图文来源于网络,如有侵权请联系删除

风险提示:投资有风险,入市需谨慎。本资讯不作为投资理财建议。

数据处理的瑞士军刀pandas | 技术帖

星期二 2019-11-26 12:38:45

原标题:《量化分析师的Python日记【第5天:数据处理的瑞士军刀pandas】》

基本数据结构介绍

终于写到了作者最想介绍,同时也是Python在数据处理方面功能最为强大的扩展模块了。

在处理实际的金融数据时,一个条数据通常包含了多种类型的数据,例如,股票的代码是字符串,收盘价是浮点型,而成交量是整型等。

在C++中可以实现为一个给定结构体作为单元的容器,如向量(vector,C++中的特定数据结构)。

在Python中,pandas包含了高级的数据结构Series和DataFrame,使得在Python中处理数据变得非常方便、快速和简单。

pandas不同的版本之间存在一些不兼容性,为此,我们需要清楚使用的是哪一个版本的pandas。现在我们就查看一下Vitu的pandas版本:

pandas主要的两个数据结构是Series和DataFrame,随后两节将介绍如何由其他类型的数据结构得到这两种数据结构,或者自行创建这两种数据结构,我们先导入它们以及相关模块:

Pandas数据结构:Series

从一般意义上来讲,Series可以简单地被认为是一维的数组。

Series和一维数组最主要的区别在于Series类型具有索引(index),可以和另一个编程中常见的数据结构哈希(Hash)联系起来。

2.1 创建Series

创建一个Series的基本格式是s = Series(data, index=index, name=name),以下给出几个创建Series的例子。

首先我们从数组创建Series:

可以在创建Series时添加index,并可使用Series.index查看具体的index。

需要注意的一点是,当从数组创建Series时,若指定index,那么index长度要和data的长度一致:

创建Series的另一个可选项是name,可指定Series的名称,可用Series.name访问。在随后的DataFrame中,每一列的列名在该列被单独取出来时就成了Series的名称:

Series还可以从字典(dict)创建:

让我们来看看使用字典创建Series时指定index的情形(index长度不必和字典相同):

我们可以观察到两点:

  • 一是字典创建的Series,数据将按index的顺序重新排列;

  • 二是index长度可以和字典长度不一致,如果多了的话,pandas将自动为多余的index分配NaN(not a number,pandas中数据缺失的标准记号),当然index少的话就截取部分的字典内容。

如果数据就是一个单一的变量,如数字4,那么Series将重复这个变量:

2.2 Series数据的访问

访问Series数据可以和数组一样使用下标,也可以像字典一样使用索引,还可以使用一些条件过滤:

Pandas数据结构:DataFrame

在使用DataFrame之前,我们说明一下DataFrame的特性。

DataFrame是将数个Series按列合并而成的二维数据结构,每一列单独取出来是一个Series,这和SQL数据库中取出的数据是很类似的。

所以,按列对一个DataFrame进行处理更为方便,用户在编程时注意培养按列构建数据的思维。

DataFrame的优势在于可以方便地处理不同类型的列,因此,就不要考虑如何对一个全是浮点数的DataFrame求逆之类的问题了,处理这种问题还是把数据存成NumPy的matrix类型比较便利一些。

3.1 创建DataFrame

首先来看如何从字典创建DataFrame。DataFrame是一个二维的数据结构,是多个Series的集合体。我们先创建一个值是Series的字典,并转换为DataFrame:

可以指定所需的行和列,若字典中不含有对应的元素,则置为NaN:

可以使用dataframe.index和dataframe.columns来查看DataFrame的行和列,dataframe.values则以数组的形式返回DataFrame的元素:

DataFrame也可以从值是数组的字典创建,但是各个数组的长度需要相同:

值非数组时,没有这一限制,并且缺失值补成NaN:

在实际处理数据时,有时需要创建一个空的DataFrame,可以这么做:

另一种创建DataFrame的方法十分有用,那就是使用concat函数基于Serie或者DataFrame创建一个DataFrame.

其中的axis=1表示按列进行合并,axis=0表示按行合并,并且,Series都处理成一列,所以这里如果选axis=0的话,将得到一个10×1的DataFrame。下面这个例子展示了如何按行合并DataFrame成一个大的DataFrame:

3.2 DataFrame数据的访问

首先,再次强调一下DataFrame是以列作为操作的基础的,全部操作都想象成先从DataFrame里取一列,再从这个Series取元素即可。

可以用datafrae.column_name选取列,也可以使用dataframe[]操作选取列,我们可以马上发现前一种方法只能选取一列,而后一种方法可以选择多列。

  • 若DataFrame没有列名,[]可以使用非负整数,也就是“下标”选取列;

  • 若有列名,则必须使用列名选取,另外datafrae.column_name在没有列名的时候是无效的:

以上代码使用了dataframe.columns为DataFrame赋列名,并且我们看到单独取一列出来,其数据结构显示的是Series,取两列及两列以上的结果仍然是DataFrame。访问特定的元素可以如Series一样使用下标或者是索引:

若需要选取行,可以使用dataframe.iloc按下标选取,或者使用dataframe.loc按索引选取:

选取行还可以使用切片的方式或者是布尔类型的向量:

行列组合起来选取数据:

如果不是需要访问特定行列,而只是某个特殊位置的元素的话,dataframe.at和dataframe.iat是最快的方式,它们分别用于使用索引和下标进行访问:

dataframe.ix可以混合使用索引和下标进行访问,唯一需要注意的地方是行列内部需要一致,不可以同时使用索引和标签访问行或者列。

不然的话,将会得到意外的结果:

参考文献

  1. https://pandas.pydata.org/pandas-docs/version/0.24/