廖雪峰python教程整理

• 数据类型与变量
  • 用r’ ‘表示内部字符不转义，eg：print r’\\t\’
  • 用”’ ”’的格式表示多行内容，eg：print ”’line1换行line2换行line3”’
  • 用大写的变量名表示常量
• 字符编码
  • 源码包含中文时，前面加两句：#!/usr/bin/env python # -*- coding: utf-8 -*-
  • 格式化输出： ‘Hi, %s, you have $%d.’ % (‘Michael’, )
  • 如果你不太确定应该用什么，%s永远起作用，它会把任何数据类型转换为字符串
• list和tuple
  • list，可变，用 []
    • append追加元素到末尾：classmates.append(‘Adam’)
    • insert插入元素到指定位置：classmates.insert(1, ‘Jack’)
    • 要删除list末尾的元素，用pop()，要删除指定位置的元素，用pop(i)
  • tuple，不可变，用()
    • 只有1个元素的tuple定义时必须加一个逗号,，来消除歧义，eg t = (1,)
    • tuple的每个元素，指向永远不变，但是你要把元素设为可变的list也没办法
• 循环的范围
  • Python提供一个range()函数，可以生成一个整数序列，比如range(5)生成的序列是从0开始小于5的整数，即0,1,2,3,4
• dict和set
  • dict
    • dict使用键-值（key-value）存储，用大括号，d = {‘Michael’: 95, ‘Bob’: 75, ‘Tracy’: 85}
    • 把数据放入dict，还可以通过key放入，eg：d[‘Adam’] = 67
    • 避免key不存在的错误
      • 通过in判断key是否存在：’Thomas’ in d
      • 通过dict提供的get方法，如果key不存在，可以返回None，或者自己指定的value：d.get(‘Thomas’, -1)
    • 要删除一个key，用pop(key)
    • dict的key必须是不可变对象
  • set ([])
    • set是一组不重复key的集合，不存储value，重复元素会被自动过滤
    • 通过add(key)方法可以添加元素到set中，可以重复添加，但不会有效果
    • 通过remove(key)方法可以删除元素
    • set可以看成数学意义上的无序和无重复元素的集合，因此，两个set可以做数学意义上的交集、并集等操作
    • set和dict一样，key必须是不可变对象，可以是tuple

函数

• 如果想定义一个什么事也不做的空函数，可以用pass语句，可以占个位
• 数据类型检查可以用内置函数isinstance
• 函数可以同时返回多个值，但其实就是一个tuple
• 函数的参数
  • 默认参数
    • 必选参数在前，默认参数在后
    • 当函数有多个参数时，把变化大的参数放前面，变化小的参数放后面。变化小的参数就可以作为默认参数
    • 默认参数必须指向不变对象
  • 可变参数，一个星号
    • 传入的参数个数是可变的，在参数前面加了一个*号，eg：def calc(*numbers):
    • 如果已经有一个list或者tuple，要调用一个可变参数，在list或tuple前面加一个*号，把list或tuple的元素变成可变参数传进去，eg：calc(*nums)
  • 关键字参数，两个星号
    • 允许你传入0个或任意个含参数名的参数，这些关键字参数在函数内部自动组装为一个dict，eg：def person(name, age, kw)，该函数除了必选参数name和age外，还接受关键字参数kw。在调用该函数时，可以只传入必选参数
    • 也可以传入任意个数的关键字参数
  • 参数组合
    • 参数定义的顺序必须是：必选参数、默认参数、可变参数和关键字参数
    • 使用*args和kw是Python的习惯写法
• 递归函数
  • 递归调用栈溢出的解决办法：尾递归优化，和循环效果一样

高级特性

• 切片(Slice)操作符取指定索引范围，对list和tuple和字符串都可以进行切片
• 迭代(Iteration)：通过循环遍历list或tuple或其他可迭代对象(字符串等)上
  • 默认情况下，dict迭代的是key，而且迭代出的结果顺序很可能不一样
    • 如果要迭代value，可以用for value in d.itervalues()
    • 如果要同时迭代key和value，可以用for k, v in d.iteritems()
  • 判断是否可迭代：通过collections模块的Iterable类型判断
  • 实现list的下标循环：enumerate函数可以把一个list变成索引-元素对，这样就可以在for循环中同时迭代索引和元素本身
• 列表生成式(List Comprehensions)：python内置的可以用来创建list的生成式
  • 写列表生成式时，把要生成的元素放到前面，后面跟for循环，就可以把list创建出来
  • for循环后面还可以加上if判断
  • 还可以使用两层循环，可以生成全排列
• 生成器(Generator)：一边循环一边计算的机制，它保存的是算法
  • 创建方法：
    • 法一：只要把一个列表生成式的[]改成()
    • 法二：创建generator函数
  • 打印其中元素的方法：
    • 法一：用next()，基本不用。每次调用next()，就计算出下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误
    • 法二：for循环迭代
    • 法三：for没法解决的，用函数实现
      • 如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator
      • generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行

函数式编程(Functional Programming)

• 一种抽象程度很高的编程范式，特点：允许把函数本身作为参数传入另一个函数，还允许返回一个函数
• 高阶函数(Higher-order function)
  • 变量可以指向函数
  • 函数名其实就是指向函数的变量
  • 高阶函数：接收另一个函数作为参数的函数
  • map/reduce
    • map()：接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回
    • reduce()：reduce把一个函数作用在一个序列[x1, x2, x3…]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算，其效果就是：reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)
  • filter()函数用于过滤序列，filter()把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素
  • sorted()函数可以对list进行排序，它还可以接收一个比较函数来实现自定义的排序
• 返回函数：把函数作为结果值返回
  • 返回的函数并没有立刻执行，而是直到调用了f()才执行
  • 闭包(Closure)：返回的函数在其定义内部引用了局部变量args，所以，当一个函数返回了一个函数后，其内部的局部变量还被新函数引用
  • 返回函数不要引用任何循环变量，或者后续会发生变化的变量
  • 要是非要引用循环变量，应该再创建一个函数，用该函数的参数绑定循环变量当前的值，无论该循环变量后续如何更改，已绑定到函数参数的值不变
• 匿名函数：没名字的函数
  • 用关键字lambda表示，冒号前面的x表示函数参数
  • 限制：只能有一个表达式，不用写return，返回值就是该表达式的结果
  • 好处：不用担心函数名冲突
  • 可以把匿名函数赋值给一个变量，再利用变量来调用该函数
  • 也可以把匿名函数作为返回值返回
• 装饰器(Decorator)：在代码运行期间动态增加功能的方式，借助@语法，把decorator置于要扩充函数的定义处
  • 函数对象有一个__name__属性，可以拿到函数的名字
  • 在定义wrapper()的前面加上@functools.wraps(func)
• 偏函数(Partial function)：
  • functools.partial() 把一个函数的某些参数给固定住（也就是设置默认值），返回一个新的函数，调用这个新函数会更简单
  • 创建偏函数时，实际上可以接收函数对象、*args和kw这3个参数
  • 当函数的参数个数太多，需要简化时，使用functools.partial可以创建一个新的函数，这个新函数可以固定住原函数的部分参数，从而在调用时更简单

模块：

一个.py文件就称之为一个模块(Module)

• 好处：
  • 大大提高了代码的可维护性
  • 编写代码不必从零开始
  • 还可以避免函数名和变量名冲突
• 注意：尽量不要与内置函数名字冲突
• 避免模块名字冲突的方法：包(Package)
  • 每一个包目录下面都必须有一个__init__.py的文件，否则，Python就把这个目录当成普通目录，而不是一个包
  • 可以有多级目录，组成多级层次的包结构
• 使用模块：
  • import
  • 使用别名import … as …
  • 作用域
    • 正常的函数和变量名是公开的（不带_）可以被直接引用
    • 类似__xxx__这样的变量是特殊变量，可以被直接引用，但是有特殊用途
    • 类似_xxx和__xxx这样的函数或变量就是非公开的（private），不应该被直接引用
    • 外部不需要引用的函数全部定义成private，只有外部需要引用的函数才定义为public
• 安装第三方模块：第三方库都会在Python官方的pypi.python.org网站注册，要安装一个第三方库，必须先知道该库的名称，可以在官网或者pypi上搜索
  • 模块搜索路径：默认情况下，Python解释器会搜索当前目录、所有已安装的内置模块和第三方模块，搜索路径存放在sys模块的path变量中
    • 法一：直接修改sys.path，添加要搜索的目录，sys.path.append(‘ ‘)，这种方法是在运行时修改，运行结束后失效
    • 法二：设置环境变量PYTHONPATH，该环境变量的内容会被自动添加到模块搜索路径中
• 使用__future__模块，把下一个新版本的特性导入到当前版本，于是我们就可以在当前版本中测试一些新版本的特性

面对对象编程(Object Oriented Programming)，OOP

• OP把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数
  • 对象包含属性(Property)
  • 对象的方法(Method)：方法就是与实例绑定的函数，和普通函数不同，方法可以直接访问实例的数据
  • 三大特点：数据封装、继承和多态
  • 思想：面向对象的设计思想是抽象出Class，根据Class创建Instance
  • 类和实例：
    • 类(Class)：自定义的对象数据类型，类名通常是大写开头的单词
    • (object)，表示该类是从哪个类继承下来的，通常，如果没有合适的继承类，就使用object类，这是所有类最终都会继承的类
    • 通过定义一个特殊的__init__方法，在创建实例的时候，把一些我们认为必须绑定的属性强制填写进去
      • 注意到__init__方法的第一个参数永远是self，表示创建的实例本身
      • 有了__init__方法，在创建实例的时候，就不能传入空的参数了，必须传入与__init__方法匹配的参数，但self不需要传
    • 在类中定义的函数，第一个参数永远是实例变量self
    • Python允许对实例变量绑定任何数据，也就是说，对于两个实例变量，虽然它们都是同一个类的不同实例，但拥有的变量名称都可能不同
  • 访问限制：
    • 如果要让内部属性不被外部访问，可以把属性的名称前加上两个下划线__
    • 以双下划线开头，并且以双下划线结尾的，是特殊变量，特殊变量是可以直接访问的，不是private变量
    • 以一个下划线开头的实例变量名，意思是，“虽然我可以被访问，但是，请把我视为私有变量，不要随意访问”
  • 继承和多态：
    • 继承的好处：
      • 子类获得了父类的全部功能，子类只需要新增自己特有的方法，也可以把父类不适合的方法覆盖重
      • 多态：
        • 多态的好处：调用方只管调用，不管细节，即开闭原则：对扩展开放，对修改封闭
  • 获取对象信息：
    • type()
      • 可以获得对象类型，返回的是type类型
      • Python把每种type类型都定义好了常量，放在types模块
      • 所有类型本身的类型就是TypeType
    • isinstance()
      • isinstance()判断的是一个对象是否是该类型本身，或者位于该类型的父继承链上
      • 还可以判断一个变量是否是某些类型中的一种
    • dir()
      • 列出一个对象的所有属性和方法
      • 配合getattr()、setattr()以及hasattr()，可以直接操作一个对象的状态
        • getattr()：获取对象的属性，如果试图获取不存在的属性，会抛出AttributeError的错误，可以传入一个default参数，如果属性不存在，就返回默认值
        • setattr()：给对象设置一个属性
        • hasattr()：判断是否有某个属性

面向对象高级编程

• 使用__slots__限制该class能添加的属性
  • __slots__定义的属性仅对当前类起作用，对继承的子类是不起作用的
  • 除非在子类中也定义__slots__，这样，子类允许定义的属性就是自身的__slots__加上父类的__slots__
• 使用@property，保证对属性的必要检查
  • 该装饰器就是负责把一个方法变成属性来调用
  • 把一个getter方法变成属性，只需要加上@property就可以
  • @property本身又创建了另一个装饰器@score.setter，负责把一个setter方法变成属性赋值
  • 只读属性：只定义getter方法，不定义setter方法就是一个只读属性
• 多重继承
  • 通过多重继承，一个子类就可以同时获得多个父类的所有功能
  • Mixin：用多重继承的一种常见设计
    • 目的：给一个类增加多个功能
    • 好处：不需要复杂而庞大的继承链，只要选择组合不同的类的功能，就可以快速构造出所需的子类
• 定制类：让自己定义的类表现得和Python自带的list、tuple、dict没什么区别
  • __len__()方法用于让class作用于len()函数
  • __str__()返回用户看到的字符串，可以打印出好看的字符串
  • __repr__()返回程序开发者看到的字符串，为调试而服务的
  • __iter__()，一个类要是想被用于for循环中，就要实现这个方法，该方法返回一个迭代对象，然后，Python的for循环就会不断调用该迭代对象的next()方法拿到循环的下一个值，直到遇到StopIteration错误时退出循环
  • __getitem__()，实现这个方法可以让该类像list一样按照下标取出元素，把对象视作list或dict来对集合赋值，它传入的参数可能是一个int，也可能是一个切片对象slice
  • __delitem__()方法，用于删除某个元素
  • __getattr__()，只有在没有找到属性的情况下，才调用该方法，默认返回None，如果要让class只响应特定的几个属性，我们就要按照约定，抛出AttributeError的错误
  • __call__()，用于直接对实例进行调用
    • 函数和对象的界限是很模糊的
    • 通过callable()函数，就可以判断一个对象是否是“可调用”对象，比如函数和带有__call()__的类实例
• 使用元类
  • type()：
    • 既可以返回一个对象的类型，也可以创建新的类型，创建要传入的参数：
      • \1. class的名称；
      • \2. 继承的父类集合，注意Python支持多重继承，如果只有一个父类，别忘了tuple的单元素写法；
      • \3. class的方法名称与函数绑定
      • 大多数情况还是用class定义类，type函数允许动态创建类
  • metaclass(元类)：
    • 先定义metaclass，就可以创建类，最后创建实例
    • metaclass允许你创建类或者修改类
    • 要通过元类的__new__()的指示来创建新类，新类具有元类的方法
    • 需要通过metaclass修改类定义的场合：ORM(Object Relational Mapping，对象-关系映射)，就是把关系数据库的一行映射为一个对象，也就是一个类对应一个表
    • 千万不要把实例属性和类属性使用相同的名字

错误、调试和测试

• 错误处理：
  • try机制：
    • 当我们认为某些代码可能会出错时，就可以用try来运行这段代码，如果执行出错，则后续代码不会继续执行，而是直接跳转至错误处理代码，即except语句块，执行完except后，如果有finally语句块，则执行finally语句块
    • 可以有多个except来捕获不同类型的错误
    • 如果没有错误发生，可以在except语句块后面加一个else，当没有错误发生时，会自动执行else语句
    • Python的错误其实也是class，所有的错误类型都继承自BaseException，一旦在except中先使用这个类型，别的错误都捕捉不到了，比如ValueError是StandardError的子类
    • 好处：跨越多层调用，于是可以只在合适的层捕获错误即可，不用每个都写
  • 调用堆栈：如果错误没有被捕获，它就会一直往上抛，最后被Python解释器捕获，打印一个错误信息，然后程序退出；可以通过打印出的错误信息来追踪错误源头
  • 抛出错误：
    • 自己定义错误class，用raise抛出
    • 只有在必要的时候才定义自己的错误类型，尽量使用python内置的错误类型
  • 错误类型转换：
    • 在except中raise一个error，可以把一个类型的错误转化成另一种类型，只要是合理的转换逻辑即可；
    • 但是，决不应该把一个IOError转换成毫不相干的ValueError
    • raise语句如果不带参数，就会把当前错误原样抛出
• 调试：调试程序的手段
  • \1. 用print打印可能有问题的变量
    • 坏处：将来还要删掉
  • \2. 断言：
    • 用print来辅助查看的地方，都可以用assert代替
    • assert A， ‘B’，表达式A应该是True，否则会抛出AssertionError并打印B
    • 启动Python解释器时可以用-O参数来关闭assert
  • \3. logging：不会抛出错误，而且可以输出到文件
    • 好处：可以指定记录信息的级别，比如debug、info、warning、error等，于是可以统一控制输出哪个级别的信息
  • \4. pdb：启动调试器pdb，单步运行程序
    • 以参数-m pdb启动后，输入命令l来查看代码
    • 输入命令n可以单步执行代码
    • 任何时候都可以输入命令p 变量名来查看变量
    • q结束调试
    • 坏处：代码一长就麻烦了
  • \5. pdb.set_trace()：需要import pdb，然后，在可能出错的地方放一个pdb.set_trace()，就可以设置一个断点
    • 程序会自动在pdb.set_trace()暂停并进入pdb调试环境，可以用命令p查看变量，或者用命令c继续运行
  • \6. 使用支持调试功能的IDE比如Pycharm
• 单元测试：
  • 单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作
  • 需要引入Python自带的unittest模块，对每一类测试都需要编写一个test_xxx()方法
  • 运行方法：两种
• 文档测试：doctest非常有用，不但可以用来测试，还可以直接作为示例代码。通过某些文档生成工具，就可以自动把包含doctest的注释提取出来。用户看文档的时候，同时也看到了doctest

IO编程

• 文件读写
  • 读文件：默认都是读取文本文件，并且是ASCII编码的文本文件
    • 用Python内置的open()函数，传入文件名和标示符，标示符’r’表示读
    • 如果文件不存在，open()函数就会抛出一个IOError的错误
    • 如果文件打开成功，接下来，调用read()方法可以一次读取文件的全部内容，Python把内容读到内存，用一个str对象表示
    • 最后一步是调用close()方法关闭文件
    • 为了保证无论是否出错都能正确地关闭文件，可以使用try … finally来实现，但是很繁琐，所以一般都用with语句
    • 保险起见，可以反复调用read(size)方法，每次最多读取size个字节的内容
    • 调用readline()可以每次读取一行内容
    • 调用readlines()一次读取所有内容并按行返回list
  • file-like Object
  • 二进制文件：比如图片、视频等等，用’rb’模式打开文件即可
  • 字符编码：
    • 要读取非ASCII编码的文本文件，就必须以二进制模式打开，再解码，麻烦
    • Python还提供了一个codecs模块帮我们在读文件时自动转换编码，直接读出unicode
  • 写文件：
    • 调用open()函数时，传入标识符’w’或者’wb’表示写文本文件或写二进制文件
    • 一定要用f.close()来关闭文件
    • 用with语句来得保险
• 操作文件和目录：import os模块
  • 环境变量：
    • 全部保存在os.environ这个dict中
    • 要获取某个环境变量的值，可以调用os.getenv()函数
  • 操作文件和目录：操作文件和目录的函数一部分放在os模块中，一部分放在os.path模块中
    • 查看当前目录的绝对路径：os.path.abspath(‘.’)
    • 在某个目录下创建一个新目录
      • 首先把新目录的完整路径表示出来：os.path.join(‘/Users/michael’, ‘testdir’)
      • 然后创建一个目录：os.mkdir(‘/Users/michael/testdir’)
      • 删除目录：rmdir
    • 合并拆分路径：并不要求目录和文件要真实存在，它们只对字符串进行操作
      • os.path.join()：可以正确处理不同操作系统的路径分隔符
      • os.path.split()：可以把一个路径拆分为两部分，后一部分总是最后级别的目录或文件名
      • os.path.splitext()可以直接让你得到文件扩展名
    • 文件操作：
      • 对文件重命名：os.rename()
      • 删除文件：os.remove()
      • 复制文件：用shutil模块提供的copyfile()的函数
      • 过滤文件：
        • 列出当前目录下的所有目录：[x for x in os.listdir(‘.’) if os.path.isdir(x)]
        • 要列出所有的.py文件：[x for x in os.listdir(‘.’) if os.path.isfile(x) and os.path.splitext(x)[1]==’.py’]