python 制作爬虫获取网络资源是方便的，但是很多网站设置了反爬虫机制，最常见的就是限制 IP 频繁请求了，只要某个 IP 在单位时间内的请求次数超过一定值，网站就不再正常响应了，这时，我们的 python 爬虫就无法正常工作了。对于这种限制 IP 的反爬虫机制，解决方法很简单...
lcc
1年前 (2018-09-26) 2916℃ 0评论
1赞
对于计算机来说，一切都是 0 1 组成的数字，汉字也不例外。因此对于 python 来说，汉字也是可以比较大小的，所以，判断一个 unicode字符是否汉字，只需要判断该字符是否在第一个汉字和最后一个汉字之间即可。
查阅资料，发现对于Unicode编码的汉字，最小为 \u4e00...
lcc
1年前 (2018-09-20) 1378℃ 0评论
1赞
即使 CPU 是单核的，大多现代操作系统也有能力让多个任务“同时进行”，这些操作系统有任务（进程）调度功能。操作系统分配资源是以进程为单位的，执行是以线程为单位的。同一个进程可以有多个线程，这些进程共享进程的资源，操作系统可以调度它们协调工作，就像同时进行一样。
多线程...
lcc
1年前 (2018-09-19) 286℃ 0评论
2赞
python 的 MySQLdb 库非常方便操作 mysql。不过安装确实非常多问题，这里记录 windows 下和 ubuntu 下安装 MySQLdb 库的过程。
ubuntu 下安装 python 的 MYSQLdb 库
首先想到的是：
sudo pip ins...
lcc
1年前 (2018-09-17) 532℃ 0评论
2赞
通常各大网站的后台都会有一定的反爬机制，既为了数据安全，也为了减小服务器压力。反爬的手段的方向，都是识别非浏览器客户端，而selenium所做的事情，恰恰是驱动真正的浏览器去执行请求和操作，只不过信号不是来源于鼠标，而是来源于selenium的API（selenium本是一...
lcc
1年前 (2018-08-02) 697℃ 0评论
2赞
最近在研究 tensorflow框架下的深度学习，了解到深度学习对数据非常依赖，而标注好的数据集非常难得。今天发现 python 的 captcha 库，可以生成验证码，因此，完全可以利用captcha库生成一个验证码数据集，用于图片识别的实验。这其中会用到 yeild 和...
lcc
1年前 (2018-07-16) 1149℃ 1评论
2赞
python 的MySQLdb 库非常方便操作 mysql。不过安装确实非常多问题，虽然在 ubuntu 系统中安装该库非常方便，但是 windows 下遇到的坑非常多，这里主要记录下 windows 下安装 MySQLdb 库的过程。
ubuntu 下安装 pytho...
lcc
1年前 (2018-07-05) 348℃ 0评论
0赞
最近学习 tensroflow，用到了入门级的经典数据集 MNIST，MNIST 包含几万张 28x28 像素大小的手写数字。但是它的存储是以字节流的形式存储的，几万张图片存储在一个文件里。一直对其很好奇，本节即用 python 的 struct 模块处理字节流信息，结合 ...
lcc
1年前 (2018-07-04) 559℃ 0评论
1赞
最近学习 tensroflow，用到了入门级的经典数据集 MNIST，MNIST 包含几万张 28x28 像素大小的手写数字。但是它的存储是以字节流的形式存储的，几万张图片存储在一个文件里。一直对其很好奇，本节即用 python 的 struct 模块处理字节流信息，结合 ...
lcc
1年前 (2018-07-04) 574℃ 0评论
1赞
在学校时，常常使用 matlab，觉得它的一大好处就是画图非常方便，可以随时将关心的数据以图表的形式表现出来。现在经常用 python，也想把关心的数据，绘制成图表，怎么处理呢？
安装 matplotlib 库
python 使用 matplotlib 库绘制图表非常方...
lcc
1年前 (2018-06-18) 343℃ 0评论
0赞
