• 好好学习,天天向上~
  • 欢迎欢迎~

 分类:python

python requests库如何使用代理避免爬虫IP限制,proxy无效的解决方法,解决requests.exceptions.MissingSchema: Proxy URLs must have explicit schemes错误

python 制作爬虫获取网络资源是方便的,但是很多网站设置了反爬虫机制,最常见的就是限制 IP 频繁请求了,只要某个 IP 在单位时间内的请求次数超过一定值,网站就不再正常响应了,这时,我们的 python 爬虫就无法正常工作了。对于这种限制 IP 的反爬虫机制,解决方法很简单...

lcc 3个月前 (09-26) 450℃ 0评论 0

python 2.7 如何判断 Unicode 编码字符是否为汉字,如何判断unicode编码句子中是否含有汉字

对于计算机来说,一切都是 0 1 组成的数字,汉字也不例外。因此对于 python 来说,汉字也是可以比较大小的,所以,判断一个 unicode字符是否汉字,只需要判断该字符是否在第一个汉字和最后一个汉字之间即可。 查阅资料,发现对于Unicode编码的汉字,最小为 \u4e00...

lcc 3个月前 (09-20) 184℃ 0评论 1

python多线程编程最简单实例子demo,使用线程锁,同步线程共享资源

即使 CPU 是单核的,大多现代操作系统也有能力让多个任务“同时进行”,这些操作系统有任务(进程)调度功能。操作系统分配资源是以进程为单位的,执行是以线程为单位的。同一个进程可以有多个线程,这些进程共享进程的资源,操作系统可以调度它们协调工作,就像同时进行一样。 多线程...

lcc 3个月前 (09-19) 121℃ 0评论 2

python操作数据库MySql,windows和ubuntu下安装MySQLdb库报错:EnvironmentError: mysql_config not found,Python.h: No such file or directory,Microsoft Visual C++ 9.0 is required

python 的 MySQLdb 库非常方便操作 mysql。不过安装确实非常多问题,这里记录 windows 下和 ubuntu 下安装 MySQLdb 库的过程。 ubuntu 下安装 python 的 MYSQLdb 库 首先想到的是: sudo pip ins...

lcc 3个月前 (09-17) 181℃ 0评论 2

ubuntu16.04下,python库selenium使用firefox浏览器无头模式,获取网页内容,geckodriver executable needs to be in PATH

通常各大网站的后台都会有一定的反爬机制,既为了数据安全,也为了减小服务器压力。反爬的手段的方向,都是识别非浏览器客户端,而selenium所做的事情,恰恰是驱动真正的浏览器去执行请求和操作,只不过信号不是来源于鼠标,而是来源于selenium的API(selenium本是一...

lcc 4个月前 (08-02) 433℃ 0评论 2

python如何生成验证码,captcha库的安装和使用,yeild和next关键字的使用 ,数据 generator

最近在研究 tensorflow框架下的深度学习,了解到深度学习对数据非常依赖,而标注好的数据集非常难得。今天发现 python 的 captcha 库,可以生成验证码,因此,完全可以利用captcha库生成一个验证码数据集,用于图片识别的实验。这其中会用到 yeild 和...

lcc 5个月前 (07-16) 374℃ 1评论 0

python实战项目,struct模块的使用,将MNIST数据集转换为bmp图片

最近学习 tensroflow,用到了入门级的经典数据集 MNIST,MNIST 包含几万张 28×28 像素大小的手写数字。但是它的存储是以字节流的形式存储的,几万张图片存储在一个文件里。一直对其很好奇,本节即用 python 的 struct 模块处理字节流信...

lcc 5个月前 (07-04) 261℃ 0评论 1

python实战项目,struct模块的使用,将MNIST数据集转换为bmp图片

最近学习 tensroflow,用到了入门级的经典数据集 MNIST,MNIST 包含几万张 28×28 像素大小的手写数字。但是它的存储是以字节流的形式存储的,几万张图片存储在一个文件里。一直对其很好奇,本节即用 python 的 struct 模块处理字节流信...

lcc 5个月前 (07-04) 265℃ 0评论 1