一、如何在列表，字典，集合中根据条件筛选数据?
创新互联成立于2013年，是专业互联网技术服务公司，拥有项目做网站、成都网站建设网站策划，项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命，1280元无极做网站,已为上家服务,为无极各地企业和个人服务,联系电话:18980820575
问题1：
如何过滤掉列表[3,9,-1,10,20,-2]中的负数?
解决方法：
在Python中可以使用函数式编程，列表解析，字典解析集合解析等方式进行筛选。
1)最通常的方法：迭代
data = [3,9,-1,10,20,-2]res = []for x in data: if(x = 0): res.append(x)print(res)
2)使用filter函数
from random import randintdata = [randint(-10,10) for x in range(10)] #在-10到10之间随机生成10个随机数newdata = list(filter(lambda x: x = 0, data))print(newdata)
注意Python3中的filter函数返回的对象从列表改为了Iterator(迭代器),因此如果想返回一个列表，就要加上list()
3)列表解析
newdata2 = [x for x in data if x = 0]print(newdata2)
结果和使用filter函数相同，但是使用列表解析所需的时间要比使用filter快很多，所以首选的方式就是列表解析，另外这两种方式都远快于迭代的方式。（推荐阅读：Python零基础入门在线网课）
问题2：
如何筛选出字典中值高于90的项?
解决方法：
from random import randintdic = {x: randint(60,100) for x in range(1,11)} #随机生成学号1到10的学生成绩newdic = {k:v for k,v in dic.items() if v = 90} #同时迭代键和值，Python3中的iteritems变为itemsprint(newdic)
问题3：
如何筛选出集合{77,89,32,29,33}中能被3整除的元素?
解决方法：
s = {77,89,32,29,33}news = {x for x in s if x % 3 == 0}print(news)
二、如何为元组中的每个元素命名，提高程序的可读性?
实际案例：
如学生信息管理系统中数据为固定格式：
(名字，年龄，性别...)
学生数量很大，为了减少存储开销，对每个学生信息采用元组表示：
(‘jam’,16,’male’)
(‘tom’,18,’male’)
(‘july’,19,’female’)
...
访问元组时，需要使用索引(index)来访问，
如一个学生元组为student = ('jam',19,'male')，那么想要访问其名字时要使用student[0]，访问其性别时要使用student[2]
由此带来的问题是大量的索引会降低程序的可读性，
那么如何来解决这个问题呢?
有两种解决方案：
方案1：定义枚举类型，也就是定义一系列数值常量
NAME = 0AGE = 1SEX = 2# NAME,AGE,SEX = range(1,4)student = ('jam',19,'male')print(student[NAME])print(student[AGE])
方案2：使用标准库中collections.namedtuple替代内置的tuple
from collections import namedtupleStudent = namedtuple('student',['name','age','sex']) #相当于创建了一个命名元组类，第一个参数是元组的名字，第二个参数是其属性s1 = Student('jam',18,'male') #可以直接传参s2 = Student(name='tom',age=20,sex='male') #也可以通过关键字传参print(s1.name) #通过属性来访问print(s2.age)
注意：这种发方法并不是装饰器最常用的功能，但是在降低代码重复上可谓是首屈一指。比如：如果不使用装饰器，上述代码可能会很多：
当然，这里也有一个潜在的风险，就是当装饰器包裹的函数已经用了debug作为参数名，那么装饰器这里将会报错，所以要添加额外的一些判断来完善代码：
最后还剩下一部分比较难理解的地方，我将理解的注释在每行代码上方，这个问题就是，在打印被修饰函数的参数签名时，其实并不能正确显示参数签名，原因是因为被wrapper修饰过后的函数实际上应该使用的是wrapper的参数签名表，例如：
所以，接下来，完成最后最难的一步：
下面是笔者的个人理解： 把计算出的值存在函数内部（当然不止尾递归）是其计算方法，从而不用在栈中去创建一个新的，这样就大大节省了空间。函数调用中最后返回的结果是单纯的递归函数调用（或返回结果）就是尾递归。
实例还是和笔者的上一篇文章相同，建议读者阅读 Python —— 递归
常规递归阶乘：
我们来看一下执行过程：
但是如果把上面的函数写成如下形式：
我们再看下执行过程：
很直观的就可以看出，这次的 factorial 函数在递归调用的时候不会产生一系列逐渐增多的中间变量了，而是将状态保存在 acc 这个变量中。而这种形式的递归，就叫做尾递归。
常规递斐波那契数列：
而尾递归：
一下子就充满了逼格，还高效了许多，何乐而不为呢！
变量可以指向函数，函数的参数可以接收变量，那么函数可以接收另一个函数作为参数，这种函数称为高阶函数。
1、把函数作为实参;2、把函数作为返回值。
python高阶函数有哪些?
map函数
map()是python内置的高阶函数，它接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并且把结果作为新的列表返回。
filter函数
filter()同样也是接收一个函数和一个序列，和map()不同的是，filter函数把传入的函数依次作用于每个元素，然后返回返回值是True的元素。
reduce函数
reduce()把一个函数作用到一个序列上，这个函数必须接收两个参数，reduce把结果和序列的下一个元素做累积计算。
lambda函数
lambda()有时候传参数时不需要显示自定义的函数，直接传入匿名函数更方便;冒号前面的X,y表示函数参数，匿名函数不需要担心函数名的冲突，匿名函数也是一个函数对象，可以吧匿名函数赋值给一个变量，再利用变量来调用函数，匿名函数也可以作为返回值返回。
sorted函数
sorted()作为python内置高阶函数之一，其功能是对序列(列表、元组、字典、集合、字符串)进行排序。
这是漫长的一周，本周完成了Python的进阶模块，主要是pandas、numpy、matplotlib、seaborn、pyecharts这些模块的学习以及一个实际的案例：商品销售情况分析，之前一直觉得课程难度不够，但到这一周难度就大大提高了。尤其是案例练习中的RFM模型和用户生命周期建立，看懂不难但是自己写一直出错，在不断出错不断尝试中知识得到了积累，另外可视化部分没有什么练习题，希望后面可以加上一些这方面的练习，接下来分模块来总结一下学习的内容。
重新设置索引：df.set_index()
Series格式转换为DataFrame：df.to_frame()
文件读取：pd.read_csv(filepath, header = 0,skiprows=[1,2])
使用位置做索引：df.loc[0] 使用列表做索引：df.loc[[0,1,2]]
使用切片做索引：df.loc[0:4] 使用bool类型索引：df[df['年龄']30]
loc 是基于索引值的，切片是左闭右闭的
iloc 是基于位置的，切片是左闭右开的
修改列索引：df.rename(columns={'姓名':'name', '年龄':'age'},inplace=True)
替换一个值：df.replace({'name':{'小明':'xiaoming'}},inplace=True)
对数据进行排序：df.sort_values('age')
累加求和：df.cumsum(0)
删除列：del df['player'] 删除行：df.drop(labels=0) labels 是行列的名字
数据拼接：pd.concat([left,right],axis=1)
# 指定列进行关联，默认是 inner join result = pd.merge(left,right,on='key')
#多个关联条件：result = pd.merge(left, right, on=['key1', 'key2'])
#左连接：result = pd.merge(left, right, how='left', on=['key1', 'key2'])
# 列名不一样的关联：pd.merge(left,right,left_on = ['key1','key2'],right_on = ['key3','key4'])
#单个分组：groups = df.groupby('district')
# 作用多个聚合函数：groups.agg([np.mean,np.sum,np.std])
# 针对具体列聚合 groups.age.agg([np.mean,np.sum,np.std])
# 不同列不同聚合函数 groups.agg({"age":np.mean,"novip_buy_times":np.sum})
分组后该列值求和显示：groups['vip_buy_times'].transform('sum')
通常用于求占比：transform(lambda x: x /sum(x))
# 填充指定值：np.full([3,4],1)
# 起始为10，5为步长，30为结尾取不到：np.arange(10, 30, 5)
#随机矩阵：np.random.random((2,3))
# 平均划分：np.linspace( 0, 2*pi, 100 )
# 类型及转换：vector.astype('float')
# 多维变一维：matrix.ravel()
# 矩阵的扩展：a = np.arange(0, 40, 10) b = np.tile(a, (3, 5)) # 行变成3倍，列变成5倍
# 水平拼接：np.hstack((a,b)) 竖直拼接：np.vstack((a,b))
# 竖直分割：np.hsplit(a,3) #水平分割：np.vsplit(a,3)
8. Select the data in rows [3, 4, 8] and in columns ['animal', 'age'].
A：df.loc[df.index[[3,4,8]],['animal','age']]
行采用位置，列采用普通索引，这里利用index函数将位置变化为具体的普通索引，再利用loc函数
19. The 'priority' column contains the values 'yes' and 'no'. Replace this column with a column of boolean values: 'yes' should be True and 'no' should be False
A1：df['priority'].replace(['yes','no'],[True,False],inplace=True) 用replace函数替换
A2：df['priority'] = df['priority'].map({'yes': True, 'no': False}) 用map函数替换
最大最小值的索引：df.idxmax、df.idxmin
找出最大最小的前N个数：nlargest()和nsmallest()
将原表分组 并设置分段区间 pd.cut(df['A'], np.arange(0, 101, 10))
resample函数 日期重采样：s.resample('M').mean()
TimeGrouper 重组：s.groupby(pd.TimeGrouper('4M')).idxmax()
split 分割函数：temp = df['From_To'].str.split('_', expand=True) True为DataFrame
两个DataFrame拼接用join：df = df.join(temp)
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
%matplotlib inline 直接显示
折线图：plt.plot(x,y,color = 'r')
柱状图：plt.bar(x,y) plt.barh(x,y) 多个bar x设置不同 堆积图 bottom设置不同
散点图：plt.scatter(x, y, c=colors, alpha=0.5, s = area)
直方图：plt.hist(a,bins= 20) bin代表分隔的最小单位
plt.legend() 显示图例
for a,b in zip(X+W[i],data[i]):
plt.text(a,b,"%.0f"% b,ha="center",va= "bottom") 添加数据标签
plt.annotate('注释文本',xy=(1, np.sin(1)),xytext=(2, 0.5), fontsize=16,arrowprops=dict(arrowstyle="-")) 添加注释文本
plt.xlabel("Group") x轴标题
plt.ylabel("Num") y轴标题
fig, axes = plt.subplots(nrows=2, ncols=2,facecolor='darkslategray') 绘制多个图形
axes[0,0] axes[0,1] axes[1,0] axes[1,1]
pylab.rcParams['figure.figsize'] = (10, 6) # 调整图片大小
动态展示图表
from pyecharts.charts import Bar
from pyecharts import options as opts
** pyecharts 绘图的五个步骤：**
创建图形对象：bar = Bar()
添加绘图数据：bar.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
bar.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
bar.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
配置系列参数：对标签、线型等的一些设置
配置全局参数：bar.set_global_opts(title_opts=opts.TitleOpts(title="销售情况"))
渲染图片：生成本地 HTML 文件 bar.render("mycharts.html") bar.render()
notebook 渲染：bar.render_notebook()
bar = (Bar()
.add_xaxis(["衬衫", "毛衣", "领带", "裤子", "风衣", "高跟鞋", "袜子"])
.add_yaxis("商家A", [114, 55, 27, 101, 125, 27, 105])
.add_yaxis("商家B", [57, 134, 137, 129, 145, 60, 49])
.set_global_opts(title_opts=opts.TitleOpts(title="某商场销售情况"))
)
bar.render_notebook()
柱状图：Bar()
条形图：bar.reversal_axis() #翻转XY轴，将柱状图转换为条形图
折线图：from pyecharts.charts import Line line=Line()
饼图：from pyecharts.charts import Page, Pie Pie()
转换日期类型：df['order_dt']=pd. to_datetime (df.order_dt,format="%Y%m%d")
将日期转换为月为单位：df['month']=df.order_dt.values. astype('datetime64[M]') 所有日期显示为当月第一天
去除日期单元值：order_diff/ np.timedelta64(1,'D')
过滤部分极值：grouped_user.sum() .query('order_products100') .order_amount
数据透视表：rfm=df.pivot_table( index ='user_id', values =['order_products','order_amount'], aggfunc ={'order_amount':'sum','order_products':'sum'})
map() 方法是pandas.series.map()方法, 对DF中的元素级别的操作, 可以对df的某列或某多列
applymap(func) 也是DF的属性, 对整个DF所有元素应用func操作
purchase_r=pivoted_counts.applymap(lambda x: 1 if x1 else np.NaN if x==0 else 0)
apply(func) 是DF的属性, 对DF中的行数据或列数据应用func操作,也可用于Series
apply(lambda x:x.cumsum()/x.sum()) 累计占比
apply(lambda x:x/x.sum(),axis=0) 每一列中每行数据占比
下周开始进入数据分析思维的课程，很期待后面的课程以及项目，加油！
重庆分公司
重庆分公司
