pythonagg函数 python里gcd函数

利用 Python 分析 MovieLens 1M 数据集

MovieLens数据集是一个关于电影评分的数据集，里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息，详细请看下面的介绍。

文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。

movieId, imdbId, tmdbId

表示这部电影在movielens上的id，可以通过链接 来得到。

表示这部电影在imdb上的id，可以通过链接

来得到。

movieId, title, genres

文件里包含了一部电影的id和标题，以及该电影的类别

movieId, title, genres

每部电影的id

电影的标题

电影的类别（详细分类见readme.txt）

文件里面的内容包含了每一个用户对于每一部电影的评分。

数据排序的顺序按照userId，movieId排列的。

文件里面的内容包含了每一个用户对于每一个电影的分类

数据排序的顺序按照userId，movieId排列的。

=======

该数据集（ml-latest-small）描述了电影推荐服务[MovieLens]（ ）的5星评级和自由文本标记活动。它包含9742部电影的100836个评级和3683个标签应用程序。这些数据由610位用户在1996年3月29日到2018年9月24日之间创建。该数据集于2018年9月26日生成。

随机选择用户以包含在内。所有选定的用户评分至少20部电影。不包括人口统计信息。每个用户都由一个id表示，并且不提供其他信息。

数据包含在 links.csv ， movies.csv ， ratings.csv 和 tags.csv 文件中。有关所有这些文件的内容和用法的更多详细信息如下。

这是一个发展的数据集。因此，它可能会随着时间的推移而发生变化，并不是共享研究结果的适当数据集。

========

要确认在出版物中使用数据集，请引用以下文件：

========================

数据集文件以[逗号分隔值]文件写入，并带有单个标题行。包含逗号（ ， ）的列使用双引号（```）进行转义。这些文件编码为UTF-8。如果电影标题或标签值中的重音字符（例如Misérables，Les（1995））显示不正确，确保读取数据的任何程序（如文本编辑器，终端或脚本）都配置为UTF-8。

MovieLens用户随机选择包含。他们的ID已经匿名化了。用户ID在 ratings.csv 和 tags.csv 之间是一致的（即，相同的id指的是两个文件中的同一用户）。

数据集中仅包含至少具有一个评级或标记的电影。这些电影ID与MovieLens网站上使用的电影ID一致（例如，id 1 对应于URL ）。电影ID在 ratings.csv ， tags.csv ， movies.csv 和 links.csv 之间是一致的.

通过[pandas.read_csv]将各表转化为pandas 的DataFrame对象

其中用到的参数为分隔符sep、头文件header、列名定义names、解析器引擎engine

这里和书上相比多用了engine参数，engine参数有C和Python，C引擎速度更快，而Python引擎目前功能更完整。

可用pandas.merge 将所有数据都合并到一个表中。merge有四种连接方式（默认为inner），分别为

通过索引器查看第一行数据，使用基于标签的索引.loc或基于位置的索引.iloc

可通过数据透视表( pivot_table )实现

该操作产生了另一个DataFrame，输出内容为rating列的数据，行标index为电影名称，列标为性别，aggfunc参数为函数或函数列表（默认为numpy.mean），其中“columns”提供了一种额外的方法来分割数据。

by参数的作用是针对特定的列进行排序（不能对行使用），ascending的作用是确定排序方式，默认为升序

增加一列存放平均得分之差，并对其排序，得到分歧最大且女性观众更喜欢的电影

按照电影标题将数据集分为不同的groups，并且用size( )函数得到每部电影的个数（即每部电影被评论的次数），按照从大到小排序，取最大的前20部电影列出如下

按照电影名称分组，用agg函数通过一个字典{‘rating’: [np.size, np.mean]}来按照key即rating这一列聚合，查看每一部电影被评论过的次数和被打的平均分。取出至少被评论过100次的电影按照平均评分从大到小排序，取最大的10部电影。

pandas常用函数汇总

pandas官方文档:

对常用函数做了汇总，每个函数的参数可能不是全的，但是常用的，不常用的没总结，如有问题，请不吝赐教，谢谢pythonagg函数！

1、创建Series

      通用函数pythonagg函数：pd.Series(values,index)

     1)pd.Series([1,2,3],index=[‘a’,‘b’,‘c‘])

     2)pd.Series(np.array([1,2,3]),index=[‘a’,‘b’,‘c‘])

     3)pd.Series({ 'a'：1,  'b'：2,  'c'：3})

        Series转字典：Series.to_dict()

     说明：Series的values参数是python中常见的一维数据类型。

2、属性

     1）Series.values ---array([1,2,3])

           Series的values是array类型

     2）Series.index---index([‘a’,‘b’,‘c‘])

           未指定index时，自动生成 0-（N-1）的整数索引，

           指定 index时，使用指定索引。

 3、Series的索引与切片

       Series[0] / Series['a']  : Sereis可以位置索引或标签索引，也可以进行切片操作

1、创建DataFrame

    1) 创建DataFrame的通用函数：

     df = pd.DataFrame(values,index,columns)

     pd.dataFrame([[1,2,3],[4,5,6],[7,8,9]],index=['a','b','c'],columns=['bj','sh','sz'])

     pd.dataFrame(np.arange(1,10).reshape(3,3),index=['a','b','c'],columns=['bj','sh','sz'])

     pd.dataFrame('bj':[1,4,7],'sh':[2,5,8],'sz':[3,6,9],index=['a','b','c'])

说明：创建方法与Sries类似，Series的values参数是python中常见的一维数据类型，DataFrame的values参数是python中常见的二维数据类型。

    2) 通过网页中复制数据快捷创建

        import webbrowser

        link = ''

        webbrowser.open(link)

        打开界面进行复制，将数据复制到粘贴板中

        df = pd.read_clipboard()   #从粘贴板中读取数据

    3）通过Series创建DataFrame

        df = pd.DataFrame([s1,s2,s3],columns=['bj','sh','sz'])

        注意：单独的s1,s2,s3是纵向排列的的Series，但是在DataFrame中是横向排列的。

        自己总结：Series除了打印出来是Series格式外，其pythonagg函数他时候可以直接当作list来操作。

2、属性

     1)df.columns

        通过columns生成新的DataFrame

        df_new = pd.DataFrame(df,columns=['x1','x2'])

        或者df_new = df[['x1','x2']]

    2)df.shape  显示行列数

    3)df.head()   默认显示前5行

    4)df.tail()     默认显示后5行

3、获取DataFrame的列

     1）获取DataFrame某一列

          df.x1或df['x1']:返回值是Series,可以理解为一个DataFrame是由多个Series组成的。

      2) 获取DataFrame某几列

          df_new = df[['x1','x2','x3']]

4、为某列赋值

      1) df['x1'] = range(10)

      2) df['x1'] = numpy.arange(10)

      3) df['x1'] = pd.Series(np.arange(10))

      说明：类似于创建Series

 5、为某列对应的特定行重新赋值

        df['x1'] = pd.Series([2,3],index=[0,1])

        将列为x1,行索引为0和1的值改为2,3

 6、获取DadaFrame的行

      for row in DataFrame.iterrows():

              print(row[0],row[1])

      #每个row是一个元祖，包含2个元素，row[0]是整型索引，row[1]是Series,所以从行的角度也可以看出，一个DataFrame是由多个Series组成的。

 7、DataFrame的转置

      df_new = df.T

1、粘贴板的io

      df = pd.read_clipboard()

      df.to_clipboard()

 2、csv的io

       df.to_csv('xxx.csv')

       df = pd.read_csv('xxx.csv')

  3、json的io

       df.to_json()

       pd.read_json(df.to_json())

   4、excel的io

        df.to_excel('xx.xlsx')

        df = pd.read_excel('xx.xlsx')

   5、df = pd.read_sql('')

        df.to_sql('')

 1、iloc

      sub_df = df.iloc[10:20,:]  选取DataFrame的10-20行，所有列数据

      sub_df = df.iloc[10:20,0:2]

      说明：iloc函数是位置索引，与索引的名字无关。

   2、loc

      sub_df = df.loc[10:20,:'movie_name']

      说明：loc是标签索引，10,20，'movie_name'  都是索引名字，与位置无关。

1、Series.reindex(index=['x1','x2','x3'],fill_value=10)

      将df重新索引，并且将NaN空值用10进行填充

2、Series.reindex(index=range(15),method='ffill')

     前项填充，后面的值用前面的值进行填充

     通过reindex想到，如果想新增一个空列或者空行，可以用reindex方法,同样地，想减少某些行或者某些列，也可以用reindex方法。

      继reindex之后删除行列的函数操作

      Series.drop('A')   #删除'A'所对应的值

      DataFrame.drop(label,axis) 

      label可以是行名也可以是列名，label是行的话axis是0，label是列的话axis是1。

     ** 删除行还可以用 del df['A']

nan是numpy的一种数据类型，np.nan,float类型

任何数据与nan的运算结果都是nan

1、nan in Series

      Series.isnull()  --返回value为True或者False的Series

      Series.notnull()  --返回value为True或者False的Series

      Series.dropna()  --返回删除nan值后的Series

      Series.fillna(method='ffill')  --前项插值，按照前面的值填充后面的空值

2、nan in DataFrame

      df.isnull()  --返回value为True或者False的DataFrame

      df.notnull()  --返回value为True或者False的DataFrame

      df.dropna(axis=0/1,how='any/all'，thresh=None)

      说明：axis表示删除行为nan或者列为nanpythonagg函数；

                any表示只要有一个为空，all表示行中的每个元素或者列中的每个元素为空；

                thresh是阈值的意思，表示某行或者某列nan的个数达到阈值的个数时才删除该行或该列。

      df.fillna(value=1)  ---所有的空值都填充为1

      df.fillna(value={0:0,1:1,2:2}) ---将0列的空值填为0,1列的空值填为1,2列的空值填为2，默认为填充列

      注意：fillna和dropna的特点，生成新的DataFrame,原来的DataFrame不变。

1、多重索引介绍

     Series = pd.Series(np.random.randn(6),index=[['1','1','1','2','2','2'],['a','b','c','a','b','c']])

    '1','2'为一级索引，'a','b','c'为二级索引

    df 可以看做是索引的'1','2'的Series

    Series['1']  --Series

    Series['1']['a']  --value

    Series[:,'a'] --选择'1'和'2'中的'a'对应的值

2、多重索引格式转为二维DataFrame

    df = Series.unstack() --转为二维DataFrame

3、多重索引在DataFrame中的操作

1、 map函数与apply函数、applymap函数的区别：

      1）map函数对Series中的每个元素作用；

      2）applymap函数对DataFrame中的每个元素作用；

      3）apply函数对对DataFrame和Series的一列做整体运算。

2、Series.replace(to_replace=[2,3,4],values=[20,30,40])  替换Series中多个值

    Series.replace({1:10,2:20})  将索引为1的值替换为10，将索引为2的值替换为20

    df.sum()  --默认按照列进行求和,nan的值被忽略

    df.min()  --默认按照列求最小值

    df.max()  --默认按照列求最大值

    df.mean()  --默认按照列求平均值

    df.describe()  --默认按照列进行描述

    df.sum(axis=1)  --按行求和，nan的值被忽略

    #axis=0表示对横轴进行操作，但是运算中表现为纵轴操作

    #axis=1表示对纵轴进行操作，但是运算中表现为横轴操作

 bins = [0,59,70,80,100],bins是分割范围

 score_cat = pd.cut(Series,bins)  ---得到catgory类型的数据

 DataFrame的分箱技术很棒啊！

 pd['catgory'] = pd.cut(df['a'],bins=[0,59,70,80,100],labels=['low','ok','good','great'])

 --新增一列，将a列的值按照labels进行分类标记，good!!!

 #生成长度为3的随机字符串  pd.util.testing.rands(3)

1、按照一列分组

      g = df.groupby('city')

      g是分组类型数据，打印不出来，所以看不到，但是有属性和方法可以间接的了解

     1） g.groups  --得到分的几个组，和每个组包含的索引

     2）g.get_group('BJ')  --得到'BJ'所对应的组

     3）groupby = split +apply +combine

           g.mean()  --求每组的平均值

           g.max()   --求每组的最大值

           g.min()   --求每组的最小值

           g.count()

           g.describe()

      4）g是一个可迭代对象，可以用list函数将其转化为list

          list(g) -- [('组名1',DataFrame1),('组名2',DataFrame2),(),()]

          dict(list(g))  --将其转化为字典

      同时可以通过for循环进行遍历操作：for item,desc in g:print(item,desc)

      #怪不得分组后不是DataFrame，因为元组的第一个元素是'分组名'。

2、按照多列分组

      g_new = df.groupby(['city','wind'])

      得到生成器((('分组1','分组2'),DataFrame),(),()...)

      g_new.get_group(('分组1','分组2'))

      for (name_1,name_2),group in g_new:

              print((name_1,name_2),group)

 g.mean()  --求每组的平均值

 与g.agg('mean')方法一样

pd.pivot_table(df,index=['',''],aggfuc='sum',values=['',''])

index是分组的组名，values是透视表呈现结果的列，columns是values下的分解

#感觉透视表呈现的结果就是groupby+agg后的结果

#分析者需要对数据结构有一定的了解

df.sort_values(by='',ascending=True/False)[:10]  df可以索引

df.value_counts()  --按值计数

df.['a'] = df['b'].apply(lambda x:x0)  --DataFrame中的True/False

通过g.size()可以看到被groupby之后的数据，得到的是一个Series

1、Series的排序：

    1）对值进行排序

    Series.sort_values()  ---直接对Series的值进行排序

    2）通过索引进行排序

    Series.sort_index() 

    #默认都是升序排列

2、DataFrame的排序

     df.sort_values(by='')  --按照某列的顺序进行排序

    df['a'].sort_values()  --返回对a列数据的排序结果，只返回a列

1、df.index = Series(['a','b','c'])  直接对index赋予新值

2、df.index = df.index.map(str.upper)

     map函数中只传入新的函数名即可

3、df.rename(index=str.upper,columns=str.lower)

      或者传递字典，进行一一转换

    pd.merge(df1,df2,on=None,how='left/right/inner/outer')

    pd.merge(df1,df2)  --没有on参数默认先找相同的columns,然后在columns下找相同的values

    pd.merge(df1,df2,on='columns')  --on参数是指按照指定列进行merge

    left:表示以左边的数据表为基准，进行填充右面的数据

    right:表示以右边的数据表为基准，填充左边的数据

    outer:以on的指定列的所有值为基准，填充两边的数据

    inner:默认inner,相同on指定的columns下的相同values对应的左右两边的数据

1、concat拼接

    pd.concat([Series1,Series2])

    pd.concat([df1,df2])  -- 上下叠加，将没有的列进行填充

2、combine组合

    Series1.combine_first(Series2)  --用Series2的值去填充Series1中为空的值

    df1.combine_first(df2)  ---用df2将df1中的空值填充

    df['A'] = df['A'].apply(str.upper)  ---apply函数中也只输入函数名

    len(df)  --求df的长度

    len(df['a'].unique())  --查看a列中不重复数据的多少

    Series.duplicated()  --返回一列True/False的Series

    Series.drop_duplicates()  --删除重复值

    df.drop_duplicates('a',keep='first/last')

    df.drop_duplicates()  --删除完全重复的行

    参数：'a'表示以a列为基准，删除重复值

              first表示保留第一个，last表示保留最后一个

    data_list = pd.date_range(start,end,period='D',freq)

    period='D',以天为单位

    freq = 'W' 以周为单位

    freq = 'W-Mon'以每周一位单位

    freq = '5H'  以5h为单位

    以data_range作为索引提取数据比较简单

    df[datetime(2017,9,1)]

    df['2017-09-01']

    df['20170901']

    df['201709']

    对时间序列数据进行分组聚合操作：

    s1.resample('M').mean()  --以月为单位进行采样，然后求每组的平均值

    s1.resample('H').ffill()  --前项填充

    s1.resample('H').bfill()  --后项填充

补充：1）jupyter中可以执行linux命令，太棒了！

                !ls

                !more xxx.csv

                !pwd  等等

           2）jupyter 查看函数帮助的快捷键：摁住shift + tab  棒！！！

Python分组

前言分组原理

核心：

1.不论分组键是数组、列表、字典、Series、函数，只要其与待分组变量的轴长度一致都可以传入groupby进行分组。

2.默认axis=0按行分组，可指定axis=1对列分组。

对数据进行分组操作的过程可以概括为：split-apply-combine三步：

1.按照键值（key）或者分组变量将数据分组。

2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数。

3.将函数计算后的结果聚合。

1 分组模式及其对象

1.1 分组的一般模式

三个要素:分组依据、数据来源、操作及其返回结果

df.groupby(分组依据)[数据来源].使用操作

1.2 分组依据的本质

1.3Groupby 对象

通过 ngroups 属性，可以访问分为了多少组:

通过 groups 属性，可以返回从 组名映射到 组索引列表的字典:

当 size 作为 DataFrame 的属性时，返回的是表长乘以表宽的大小，但在 groupby 对象上表示统计每个组的 元素个数:

通过 get_group 方法可以直接获取所在组对应的行，此时必须知道组的具体名字:

1.4 分组的三大操作

分组的三大操作:聚合、变换和过滤

2.聚合函数

2.1内置聚合函数

包括如下函数: max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod

2.2agg 方法

【a】使用多个函数

当使用多个聚合函数时，需要用列表的形式把内置聚合函数的对应的字符串传入，先前提到的所有字符串都是合法的。

【b】对特定的列使用特定的聚合函数

对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值。

【c】使用自定义函数

在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算

【d】聚合结果重命名 如果想要对结果进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数

3 变换和过滤

3.1 变换函数与 transform 方法

变 换 函 数 的 返 回 值 为 同 长 度 的 序 列， 最 常 用 的 内 置 变 换 函 数 是 累 计 函 数:cum- count/cumsum/cumprod/cummax/cummin ，它们的使用方式和聚合函数类似，只不过完成的是组内 累计操作。

3.2 组索引与过滤

过滤在分组中是对于组的过滤，而索引是对于行的过滤

组过滤作为行过滤的推广，指的是如果对一个组的全体所在行进行统计的结果返回 True 则会被保留，False 则该组会被过滤，最后把所有未被过滤的组其对应的所在行拼接起来作为 DataFrame 返回。

在 groupby 对象中，定义了 filter 方法进行组的筛选，其中自定义函数的输入参数为数据源构成的 DataFrame 本身，在之前例子中定义的 groupby 对象中，传入的就是 df[['Height', 'Weight']] ，因此所有表方法和属性 都可以在自定义函数中相应地使用，同时只需保证自定义函数的返回为布尔值即可。

4 跨列分组

4.1 apply 的引入

4.2 apply 的使用

在设计上，apply 的自定义函数传入参数与 filter 完全一致，只不过后者只允许返回布尔值

【a】标量情况:结果得到的是 Series ，索引与 agg 的结果一致

【b】Series 情况:得到的是 DataFrame ，行索引与标量情况一致，列索引为 Series 的索引

【c】DataFrame 情况:得到的是 DataFrame ，行索引最内层在每个组原先 agg 的结果索引上，再加一层返 回的 DataFrame 行索引，同时分组结果 DataFrame 的列索引和返回的 DataFrame 列索引一致

average在python中的用法

函数函数是代码的一种组织形式

函数应该能完成一项特定的工作，而且一般一个函数只完成一项工作

有些语言，分函数和过程两个概念，通俗解释是，有返回结果的是函数，无返回结果的叫过程，python不加以区分

函数的使用函数使用需要先定义

使用函数，俗称调用# 定义一个函数

# 只是定义的话不会执行

# 1. def关键字，后跟一个空格

# 2. 函数名，自己定义，起名需要遵循便令命名规则，约定俗成，大驼峰命名只给类用

# 3. 后面括号和冒号不能省，括号内可以有参数

# 4. 函数内所有代码缩进

def func():

print("我是一个函数")

print("爱生活")

print("函数结束了")函数结束了# 函数的调用

# 直接写出函数名字，后面小括号不能省略，括号内内容根据情况

func()我是一个函数

爱生活# 函数定义

def func():

print('A')

print('B')func()A

B

函数的参数和返回值参数：负责给函数传递一些必要的数据或者信息形参(形式参数)：在函数定义的时候用到的参数，没有具体值，只是一个占位符号

实参(实际参数)：在调用函数的时候输入的值

返回值：调用函数的时候的一个执行结果使用return返回结果

如果没有值需要返回，我们推荐使用return None表示函数结束

函数一旦执行return，则函数立即结束

如果函数没有return关键字，则函数默认返回None# 形参和实参的案例

# 参数person只是一个符号

# 调用的时候用另一个

def hello(person):

print("{}，你好吗？".format(person))

return None

p = "小明"

# 调用函数，需要把p作为实参传入

hello(p)小明，你好吗？p = "小五"

hello(p)小五，你好吗？pp = hello("小柒")

print(pp)小柒，你好吗？

None# return案例

def hello(person):

print("{0}，你好吗？".format(person))

return "提前结束！"

print(1)

p = "小明"

rst = hello(p)

print(rst)小明，你好吗？

提前结束！# help负责随时为你提供帮助

help(None) # 等价于help(peint())Help on built-in function print in module builtins:

print(...)

print(value, ..., sep=' ', end='\n', file=sys.stdout, flush=False)

Prints the values to a stream, or to sys.stdout by default.

Optional keyword arguments:

file: a file-like object (stream); defaults to the current sys.stdout.

sep: string inserted between values, default a space.

end: string appended after the last value, default a newline.

flush: whether to forcibly flush the stream.# 九九乘法表

# version 1.0

for o in range(1, 10): # 控制外循环 从 1 到 9

for i in range(1, o + 1): # 内循环，每次从第一个数字开始，打印到跟行数相同的数量

print(o * i, end=" ")

print()1

2 4

3 6 9

4 8 12 16

5 10 15 20 25

6 12 18 24 30 36

7 14 21 28 35 42 49

8 16 24 32 40 48 56 64

9 18 27 36 45 54 63 72 81help(print)Help on built-in function print in module builtins:

print(...)

print(value, ..., sep=' ', end='\n', file=sys.stdout, flush=False)

Prints the values to a stream, or to sys.stdout by default.

Optional keyword arguments:

file: a file-like object (stream); defaults to the current sys.stdout.

sep: string inserted between values, default a space.

end: string appended after the last value, default a newline.

flush: whether to forcibly flush the stream.# 尝试用函数来打印九九乘法表

def jiujiu():

for o in range(1, 10): # 控制外循环 从 1 到 9

for i in range(1, o + 1): # 内循环，每次从第一个数字开始，打印到跟行数相同的数量

print(o * i, end=" ")

print()

return None

jiujiu()

jiujiu()1

2 4

3 6 9

4 8 12 16

5 10 15 20 25

6 12 18 24 30 36

7 14 21 28 35 42 49

8 16 24 32 40 48 56 64

9 18 27 36 45 54 63 72 81

1

2 4

3 6 9

4 8 12 16

5 10 15 20 25

6 12 18 24 30 36

7 14 21 28 35 42 49

8 16 24 32 40 48 56 64

9 18 27 36 45 54 63 72 81# 改造上面函数

def printLine(line_num):

'''

line_num；代表行号

打印一行九九乘法表

'''

for i in range(1, line_num + 1):

print(line_num * i, end=" ")

print()

def jiujiu():

for o in range(1, 10): # 控制外循环 从 1 到 9

printLine(o)

return None

jiujiu()1

2 4

3 6 9

4 8 12 16

5 10 15 20 25

6 12 18 24 30 36

7 14 21 28 35 42 49

8 16 24 32 40 48 56 64

9 18 27 36 45 54 63 72 81

参数详解python参考资料：headfirst python - 零基础入门学习python(小甲鱼)、流畅的python - 习题

参数分类普通参数/位置参数

默认参数

关键字参数

收集参数

普通参数c参见上例

定义的时候直接定义变量名

调用的时候直接把变量或者值放入指定位置def 函数名(参数1，参数2，.....):

函数体

# 调用

函数名(value1，value2，......)

# 调用的时候，具体值参考的是位置，按位置赋值

默认参数形参带有默认值

调用的时候，如果没有对相应形参赋值，则使用默认值

python--pandas分组聚合

groupby 方法是pandas中的分组方法，对数据框采用 groupby 方法后，返回的是 DataFrameGroupBy 对象，一般分组操作后会进行聚合操作。

对数据框按 A 列进行分组，产生分组数据框。分组数据框是可迭代对象，可以进行循环遍历，可以看出在循环中，每个元素的类型是元组，

元组的第一个元素是分组值，第二个元素是对应的分组数据框。

可以对分组后的数据框直接使用聚合方法 agg ，对分组数据框的每一列计算统计函数值。

可以根据数据框外的序列数据对数据框进行分组，需要注意 序列长度需要与数据框行数相同 。

可以根据数据框的多列对数据框进行分组。

根据 A , B 列进行分组，然后求和。

可以根据索引对数据框进行分组，需要设置 level 参数。

数据框只有一层索引，设置参数 level=0 。

当数据框索引有多层时，也可以根据需求设置 level 参数，完成分组聚合。

设置 level 参数，如需要根据第一层索引，即 id1 进行分组，可以设置 level=0 或 level='id1' 完成分组聚合。

分组后一般会进行聚合操作，用 agg 方法进行聚合。

对分组后数据框使用单个函数进行聚合，单个聚合函数会对每列进行计算，然后合并返回。聚合函数以字符串的形式传入。

可以对分组后的数据指定列进行分组聚合。需要注意 子列需要用[]包裹 。

聚合函数也可以传入自定义的匿名函数。

聚合函数可以是多个函数。聚合时，多个聚合函数会对每列进行计算，然后合并返回。聚合函数以列表的形式传入。

聚合返回后的数据列名有两层索引，第一层是聚合的列名，第二层是使用的聚合函数名。如果需要对返回的聚合函数名重命名，

需要在传参时，传入元组，第一个元素为聚合函数名，第二个元素为聚合函数。

同样，也可以传入匿名函数。

如果需要对不同的列进行不同的聚合计算，则需要传入字典的形式。

可以重命名聚合后的列名，注意 只能对一列传入一个聚合函数时有效 。

数据蛙-Python进阶

这是漫长的一周，本周完成了Python的进阶模块，主要是pandas、numpy、matplotlib、seaborn、pyecharts这些模块的学习以及一个实际的案例：商品销售情况分析，之前一直觉得课程难度不够，但到这一周难度就大大提高了。尤其是案例练习中的RFM模型和用户生命周期建立，看懂不难但是自己写一直出错，在不断出错不断尝试中知识得到了积累，另外可视化部分没有什么练习题，希望后面可以加上一些这方面的练习，接下来分模块来总结一下学习的内容。

重新设置索引：df.set_index()

Series格式转换为DataFrame：df.to_frame()

文件读取：pd.read_csv(filepath, header = 0,skiprows=[1,2]) 

使用位置做索引：df.loc[0]        使用列表做索引：df.loc[[0,1,2]]

使用切片做索引：df.loc[0:4]        使用bool类型索引：df[df['年龄']30]

loc 是基于索引值的，切片是左闭右闭的

iloc 是基于位置的，切片是左闭右开的

修改列索引：df.rename(columns={'姓名':'name', '年龄':'age'},inplace=True)

替换一个值：df.replace({'name':{'小明':'xiaoming'}},inplace=True)

对数据进行排序：df.sort_values('age')

累加求和：df.cumsum(0)

删除列：del df['player']         删除行：df.drop(labels=0) labels 是行列的名字

数据拼接：pd.concat([left,right],axis=1)

# 指定列进行关联，默认是 inner join     result = pd.merge(left,right,on='key')

#多个关联条件：result = pd.merge(left, right, on=['key1', 'key2'])

#左连接：result = pd.merge(left, right, how='left', on=['key1', 'key2'])

# 列名不一样的关联：pd.merge(left,right,left_on = ['key1','key2'],right_on = ['key3','key4'])

#单个分组：groups = df.groupby('district')

# 作用多个聚合函数：groups.agg([np.mean,np.sum,np.std])

# 针对具体列聚合 groups.age.agg([np.mean,np.sum,np.std])

# 不同列不同聚合函数 groups.agg({"age":np.mean,"novip_buy_times":np.sum})

分组后该列值求和显示：groups['vip_buy_times'].transform('sum')

通常用于求占比：transform(lambda x: x /sum(x))

# 填充指定值：np.full([3,4],1)

# 起始为10，5为步长，30为结尾取不到：np.arange(10, 30, 5)

#随机矩阵：np.random.random((2,3))

# 平均划分：np.linspace( 0, 2*pi, 100 )

# 类型及转换：vector.astype('float')

# 多维变一维：matrix.ravel()

# 矩阵的扩展：a = np.arange(0, 40, 10)    b = np.tile(a, (3, 5))    # 行变成3倍，列变成5倍

# 水平拼接：np.hstack((a,b))  竖直拼接：np.vstack((a,b))

# 竖直分割：np.hsplit(a,3)    #水平分割：np.vsplit(a,3)

8. Select the data in rows [3, 4, 8] and in columns ['animal', 'age'].

A：df.loc[df.index[[3,4,8]],['animal','age']]

行采用位置，列采用普通索引，这里利用index函数将位置变化为具体的普通索引，再利用loc函数

19. The 'priority' column contains the values 'yes' and 'no'. Replace this column with a column of boolean values: 'yes' should be True and 'no' should be False

A1：df['priority'].replace(['yes','no'],[True,False],inplace=True) 用replace函数替换

A2：df['priority'] = df['priority'].map({'yes': True, 'no': False}) 用map函数替换

最大最小值的索引：df.idxmax、df.idxmin

找出最大最小的前N个数：nlargest()和nsmallest() 

将原表分组 并设置分段区间 pd.cut(df['A'], np.arange(0, 101, 10))

resample函数 日期重采样：s.resample('M').mean()

TimeGrouper 重组：s.groupby(pd.TimeGrouper('4M')).idxmax()

split 分割函数：temp = df['From_To'].str.split('_', expand=True) True为DataFrame

两个DataFrame拼接用join：df = df.join(temp)

import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签

plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

%matplotlib inline 直接显示

折线图：plt.plot(x,y,color = 'r')

柱状图：plt.bar(x,y)  plt.barh(x,y) 多个bar x设置不同 堆积图 bottom设置不同

散点图：plt.scatter(x, y, c=colors, alpha=0.5, s = area)

直方图：plt.hist(a,bins= 20) bin代表分隔的最小单位

plt.legend() 显示图例

for a,b in zip(X+W[i],data[i]):

    plt.text(a,b,"%.0f"% b,ha="center",va= "bottom") 添加数据标签

plt.annotate('注释文本',xy=(1, np.sin(1)),xytext=(2, 0.5), fontsize=16,arrowprops=dict(arrowstyle="-")) 添加注释文本

plt.xlabel("Group") x轴标题

plt.ylabel("Num") y轴标题

fig, axes = plt.subplots(nrows=2, ncols=2,facecolor='darkslategray')  绘制多个图形

axes[0,0] axes[0,1] axes[1,0] axes[1,1]

pylab.rcParams['figure.figsize'] = (10, 6) # 调整图片大小

动态展示图表

from pyecharts.charts import Bar

from pyecharts import options as opts

** pyecharts 绘图的五个步骤：**

创建图形对象：bar = Bar()

添加绘图数据：bar.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])

                         bar.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])

                         bar.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])

配置系列参数：对标签、线型等的一些设置

配置全局参数：bar.set_global_opts(title_opts=opts.TitleOpts(title="销售情况"))

渲染图片：生成本地 HTML 文件 bar.render("mycharts.html")  bar.render()

notebook 渲染：bar.render_notebook()

bar = (Bar()

    .add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])

    .add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])

    .add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])

    .set_global_opts(title_opts=opts.TitleOpts(title="某商场销售情况"))

)

bar.render_notebook()

柱状图：Bar()

条形图：bar.reversal_axis() #翻转XY轴，将柱状图转换为条形图

折线图：from pyecharts.charts import Line  line=Line()

饼图：from pyecharts.charts import Page, Pie    Pie() 

转换日期类型：df['order_dt']=pd. to_datetime (df.order_dt,format="%Y%m%d")

将日期转换为月为单位：df['month']=df.order_dt.values. astype('datetime64[M]') 所有日期显示为当月第一天

去除日期单元值：order_diff/ np.timedelta64(1,'D')

过滤部分极值：grouped_user.sum() .query('order_products100') .order_amount

数据透视表：rfm=df.pivot_table( index ='user_id', values =['order_products','order_amount'], aggfunc ={'order_amount':'sum','order_products':'sum'})

map() 方法是pandas.series.map()方法, 对DF中的元素级别的操作, 可以对df的某列或某多列

applymap(func) 也是DF的属性, 对整个DF所有元素应用func操作

purchase_r=pivoted_counts.applymap(lambda x: 1 if x1 else np.NaN if x==0 else 0)

apply(func) 是DF的属性, 对DF中的行数据或列数据应用func操作,也可用于Series

apply(lambda x:x.cumsum()/x.sum())    累计占比

apply(lambda x:x/x.sum(),axis=0)     每一列中每行数据占比

下周开始进入数据分析思维的课程，很期待后面的课程以及项目，加油！

pythonagg函数的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于python里gcd函数、pythonagg函数的信息别忘了在本站进行查找喔。