IT博客汇
  • 首页
  • 精华
  • 技术
  • 设计
  • 资讯
  • 扯淡
  • 权利声明
  • 登录 注册

    一日一技:使用大模型实现全自动爬虫(一)

    青南发表于 2024-10-17 00:34:37
    love 0

    在文章一日一技:图文结合,大模型自动抓取列表页中,我提到可以使用大模型实现一个全自动爬虫。只需要输入起始URL加上需求,就可以借助模拟浏览器自动完成所有的抓取任务。

    在实现的过程中,我发现涉及到的知识点可能一篇文章讲不完,因此拆分成了多篇文章。

    爬虫演示

    今天是第一部分,我们暂时不依赖模拟浏览器,而是使用httpx(你也可以使用requests)实现全自动爬虫,传入我博客文章列表页,爬虫会自动抓取前三页所有博客文章的标题、正文、作者、发布时间。

    爬取结果如下图所示:

    运行过程如下图所示:


    爬虫首先会进入起始列表页,抓取上面的所有文章。然后进入列表页第二页,再抓取所有文章,最后进入第三页,再抓取所有文章。整个过程都是全自动的。不需要写任何XPath,也不需要告诉爬虫哪里是翻页按钮,文章的标题在哪里,发布时间在哪里,正文在哪里。

    模块拆解

    代码我已经放到Github:AutoCrawler。由于最近智谱又免费送了1亿的Token,所以还是使用他们最新的基座大模型GLM-4-Plus来实现这个全自动爬虫。

    代码分为如下几个主要文件:

    • llm.py: 封装智谱的大模型,以方便使用。代码如下:

    • utils.py: 常用工具函数,清洗HTML,重试等等

    • constants.py: 各种常量,包括各种Prompt

    • parser.py: 核心解析逻辑,解析列表页、详情页,识别翻页按钮

    • main.py:调度逻辑。把各个模块组合在一起

    原理说明

    字段解析与翻页

    其中,跟大模型相关的代码在parser.py中。我们来看一下:

    代码逻辑很简单,分为两个主要的方法,data_extract用来从列表页提取出详情页URL,从详情页提取出作者、标题、发布时间和正文。paging_extract用来提取分页按钮中,下一页对应的链接。

    这个提取的过程就交给智谱GLM-4-Plus来完成。对于字段提取,对应的System Prompt如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    你将扮演一个HTML解析器的角色。我将会提供一段HTML代码,这段代码可能代表了一个博客网站的文章列表页或者文章详情页。你需要首先判断这段HTML是属于哪种类型的页面。如果是文章详情页,那么页面中通常会包含文章标题、发布时间、作者以及内容等信息;而如果是列表页,则会列出多篇文章的标题及其对应的详情页链接。

    请根据以下规则进行处理:

    1. 分析提供的HTML代码,确定页面类型(`list` 或 `detail`)。
    2. 根据页面类型,提取必要的信息:
    - 如果是列表页,请找到所有文章条目,并为每个条目提供标题和指向详情页的链接。
    - 如果是详情页,请找到文章标题、作者、发布时间和内容的XPath。确保XPath直接指向包含这些信息的具体元素值,例如使用`@属性`或者`text()`来获取确切的文本内容。
    3. 尽量使用具有特征性的属性如`id`或`class`来构造XPath,以确保XPath简洁且鲁棒。
    4. 对于标题、作者、发布时间等字段,如果它们不是直接在某个标签内,而是嵌套在其他标签中,XPath应包括这些结构,以保证准确性。
    5. 按照指定格式输出结果。
    6. 只需要返回JSON,不要解释,不要返回无关内容

    **输出格式:**

    - 对于列表页,返回如下JSON结构:
    \`\`\`json
    {
    "page_type": "list",
    "articles": [
    {"title": "文章标题", "url": "文章详情页URL"},
    {"title": "文章标题", "url": "文章详情页URL"},
    {"title": "文章标题", "url": "文章详情页URL"},
    // 更多文章...
    ]
    }
    \`\`\`

    - 对于详情页,返回如下JSON结构:
    \`\`\`json
    {
    "page_type": "detail",
    "fields": [
    {"field_name": "title", "xpath": "XPath to the title"},
    {"field_name": "author", "xpath": "XPath to the author"},
    {"field_name": "publish_time", "xpath": "XPath to the publish time"},
    {"field_name": "content", "xpath": "XPath to the content"}
    ]
    }
    \`\`\`

    现在,请接收以下HTML代码并开始分析:

    可能有同学会疑惑,为什么对于列表页,是直接让大模型提取出URL,但对于详情页,却是生成XPath而不直接提取内容呢?原因很简单,因为现在大模型的Output Token远远低于Input Token,并且Output Token更贵。现在Input Token轻轻松松超过128K,但是Output Token大部分都在4096,只有少数在8192。对于长文章,把Output Token全部用完了可能都没法输出完整的正文。而且输出的内容越多,费用就越高,速度就越慢。你以为我不想让大模型直接输出提取好的内容?

    而由于列表页的内容并不多,标题加上URL用不了多少字,所以就直接输出了。

    获取翻页链接的System Prompt,如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    你将扮演一个HTML解析器的角色。我将会提供一段HTML代码,这段代码可能代表了一个博客网站的文章列表页。你需要找到页面上的翻页链接,并提取出下一页的URL  

    请根据以下规则进行处理:

    1. 分析提供的HTML代码,找到翻页按钮。
    2. 翻页按钮上面的文本可能是『下一页』、『next』、『>』、『Load more』等,也可能是一个数字,代表页码,也可能是paging标签或者classname包含pagination的某个标签。没有固定的标准,你需要智能识别
    3. 返回下一页的URL,如果没有下一页,返回空字符串
    4. 按照指定格式输出结果。
    5. 只需要返回JSON,不要解释,不要返回无关内容

    返回JSON格式:

    {"page_type": "paging", "url": "下一页的url"}

    这就是常规的Prompt,没什么好解释的。

    爬虫流程调度

    我们最后来看看main.py的代码:

    核心调度逻辑就这么几行代码。如果有同学经常刷算法题,应该会对这段代码很熟悉。这里使用while循环来实现递归操作。

    一开始,target里面只有我传入的起始URL。然后进入while循环,当target队列为空时结束循环。在循环里面,首先解析当前列表页,获得当前页面所有的文章详情页URL,全部放入队列中。再获得下一页的URL,也放入队列中。接下来循环开始进入第二项,也就是第一篇文章详情URL,进入里面,获取源代码,使用大模型解析出XPath,然后调用self.extract_detail通过lxml执行XPath从源代码中提取出正文。接下来继续第二篇文章……如此循环。

    今天我们实现的是最简单的情况。不考虑反爬虫。不考虑列表页滚动下拉的情况。在下一篇文章中,我们会把模拟浏览器引入进来。借助于大模型,让爬虫能够自己控制模拟浏览器,让它自动点击页面,绕过反爬虫,自动滚动下拉。



沪ICP备19023445号-2号
友情链接