使用easyswoole开发多进程多协程队列式爬虫

全屏阅读
  • 基本信息

爬虫步骤

我们先说一下一个完整的爬虫步骤。

爬虫步骤分为2个阶段：

1：根据初始页面，获取更多的待爬取页面

2：根据页面，获取到自己想要的东西


更多待爬取页面获取

当我们填入一个初始页面时，我们需要通过某一个特定的逻辑，进行获取更多的页面

例如：

爬取百度页面，我们可以通过页码按钮，获取更多页面的html源码：

image.png

爬取知乎用户，我们可以通过该用户的关注者，和粉丝爬取更多用户界面：

image.png

结果获取

获取到了页面html代码之后，我们就可以根据相应的规则，获取到自己想要的东西了。

这里我推荐http://www.querylist.cc/  可使用jq的语法选择html页面的元素，非常好用



使用消息队列

我们现在已经知道了整个爬虫的步骤了，下一步是如何运行这个代码。

在上一步我们可以看出，一个页面，可能有多个待爬取页面，如果我们每次都是取一个页面，然后分析结果，然后再取一个页面，分析结果

这样会造成代码逻辑的难以掌控。

例如：

1：分析页面1,假设页面1有5个待爬取页面链接

2：分析页面1结果，存储

3：分析页面1的第一个结果待爬取页面2，页面2有5个待爬取页面链接

4：分析页面2的结果，存储

5：分析页面1的第二个待爬取页面3，页面3有5个待爬取页面链接。。。。。。

。。。。

这样会造成代码的难以控制，不好维护待爬取页面，我们可以使用队列的形式进行处理

1：初始页面存入分析队列

2：分析初始页面1，获取5个待爬取页面链接，存入分析队列

3：分析页面1的结果，存入结果队列

4：分析队列出列页面2，获取5个待爬取页面链接，存入分析队列

5：分析页面2的结果，存入结果队列


使用队列的情况下，逻辑将会非常的清晰，只需要每次将分析的页面出入队列，然后取出继续分析即可

同样，结果队列只需要新增一个结果消费进程，进行处理结果数据即可


实战

本人已经写好了基础的爬虫框架，基于easyswoole，使用redis队列进行消费。

github地址：https://github.com/tioncico/ESSpider

首先进行composer安装

1
composer up

复制produce.php命名为dev.php，增加redis配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<?php
/**
 * Created by PhpStorm.
 * User: yf
 * Date: 2019-01-01
 * Time: 20:06
 */

 

return [
    'SERVER_NAME' => "EasySwoole",
    'MAIN_SERVER' => [
        'LISTEN_ADDRESS' => '0.0.0.0',
        'PORT'           => 9501,
        'SERVER_TYPE'    => EASYSWOOLE_WEB_SERVER, //可选为 EASYSWOOLE_SERVER  EASYSWOOLE_WEB_SERVER EASYSWOOLE_WEB_SOCKET_SERVER,EASYSWOOLE_REDIS_SERVER
        'SOCK_TYPE'      => SWOOLE_TCP,
        'RUN_MODEL'      => SWOOLE_PROCESS,
        'SETTING'        => [
            'worker_num'            => 8,
            'task_worker_num'       => 8,
            'reload_async'          => true,
            'task_enable_coroutine' => true,
            'max_wait_time'         => 3
        ],
    ],
    'TEMP_DIR'    => null,
    'LOG_DIR'     => null,
    /*################ REDIS CONFIG ##################*/
    'REDIS'       => [
        'host' => '127.0.0.1',
        'port' => '6379',
        'auth' => '',
        'serialize'=>true
    ],
];


本身自带了某网站的爬取逻辑，直接运行即可看到：

1
php easyswoole start

现在我们说下如何爬取其他网站的步骤


爬取http://moe.005.tv/moeimg/动漫图片网站

清空/App/Spider/Event.php的方法逻辑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<?php

 

namespace App\Spider;

 

use EasySwoole\Utility\File;
use QL\QueryList;

 

/**
 * Created by PhpStorm.
 * User: tioncico
 * Date: 19-6-16
 * Time: 上午9:53
 */
class Event
{

 

    static function consume($data, $html)
    {
    }

 

    static function produce($data, $html)
    {
    }
}


编写生产代码（获取更多待爬取页面逻辑）：

首先，我们要确定，我们的初始页面是http://moe.005.tv/moeimg/，然后我们可以根据下一页按钮获取更多的页面

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
static function produce($data, $html)
{
    //获得一个queryList对象，并且防止报错
    libxml_use_internal_errors(true);
    @$ql = QueryList::html($html);

 

    //查询下一页链接，用于继续爬取数据
    $nextLink = $ql->find('.pagelist .n')->attr('href');
    RedisLogic::addProduce($nextLink);

 

    //查询所有需要爬取的数据，用于爬取里面的图片
    $imgConsumeList = $ql->find('.zhuti_w_list li a')->attrs('href')->all();
    foreach ($imgConsumeList as $value) {
        RedisLogic::addConsume([
            'type' => 1,//消费标识
            'url'  => $value,
        ]);
    }
    return true;
}


编写消费代码

现在我们需要点击一个图片进入，可以发现很多图片，例如：http://moe.005.tv/78243.html

现在，我们编写消费代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 static function consume($data, $html)
    {
        //获得一个queryList对象，并且防止报错
        libxml_use_internal_errors(true);
        if ($data['type'] == 1) {
            //消费类型为1，则代表还不是下载图片，需要进行二次消费
            //查询下一页链接，用于继续爬取数据
            @$ql = QueryList::html($html);
            $nextLink = $ql->find('.pagelist .n')->attr('href');
            $nextLink = HttpClientLogic::getTrueUrl($data['url'],$nextLink);
            if ($nextLink) {
                RedisLogic::addConsume([
                    'type' => 1,//消费标识
                    'url'  => $nextLink,
                ]);
            }
            $imgList = $ql->find('.content_nr img')->attrs('src')->all();
//            var_dump($img);
            foreach ($imgList as $img) {
                RedisLogic::addConsume([
                    'type' => 2,//消费标识
                    'url'  => $img,
                ]);
            }
        } elseif ($data['type'] == 2) {
            $urlInfo = parse_url($data['url']);
            $filePath = EASYSWOOLE_ROOT . '/Temp/' . $urlInfo['host'] . $urlInfo['path'];
//            var_dump($filePath);
            File::createFile($filePath, $html);
//            var_dump($data['url']);
        }

 

    }

初始页面链接可通过协程调用进行增加：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<?php
/**
 * Created by PhpStorm.
 * User: tioncico
 * Date: 19-6-16
 * Time: 下午5:35
 */
include "./vendor/autoload.php";
\EasySwoole\EasySwoole\Core::getInstance()->initialize();
go(function (){
    \App\Spider\RedisLogic::clearConsumeMap();//清除消费map
    \App\Spider\RedisLogic::clearProduceMap();//清除生产map
    \App\Spider\RedisLogic::clearConsumeList();//清除消费队列
    \App\Spider\RedisLogic::clearProduceList();//清除生产队列
    //新增默认队列
    \App\Spider\RedisLogic::addProduce('http://moe.005.tv/moeimg/');
});


直接运行

1
php easyswoole start

即可实现爬虫爬取页面

image.png

爬虫框架补充

github地址：https://github.com/tioncico/ESSpider

1：可通过EasySwooleEvent.php  文件，进行配置爬取的协程数，不建议太大

2：本爬虫没有做ip池，需要的可自行实现

3：本爬虫框架只适用于学习，请不要用于违法用途


顶一下
(0)
100%
订阅 回复
踩一下
(0)
100%
» 郑重声明：本文由mpxq168发布，所有内容仅代表个人观点。版权归恒富网和mpxq168共有，欢迎转载， 但未经作者同意必须保留此段声明，并给出文章连接，否则保留追究法律责任的权利! 如果本文侵犯了您的权益，请留言。

目前有 0 条留言 其中：访客:0 条, 博主:0 条

给我留言

您必须 [ 登录 ] 才能发表留言！