Python爬取网页中所有的url,简单的方法

全屏阅读
  • 基本信息

一、说明
BeautifulSoup是一种可以从html和xml中快速提取内容的python库
二、代码

 def getAllUrl(self,url):
        import urllib.request
        from bs4 import BeautifulSoup
        html = urllib.request.urlopen(url).read().decode("utf-8")
        soup = BeautifulSoup(html, features='html.parser')
        tags = soup.find_all('a')
        for tag in tags:
            print(str(tag.get('href')).strip())

三、效果图

image.png

顶一下
(0)
100%
订阅 回复
踩一下
(0)
100%
» 郑重声明:本文由mpxq168发布,所有内容仅代表个人观点。版权归恒富网mpxq168共有,欢迎转载, 但未经作者同意必须保留此段声明,并给出文章连接,否则保留追究法律责任的权利! 如果本文侵犯了您的权益,请留言。

目前有 0 条留言 其中:访客:0 条, 博主:0 条

给我留言

您必须 [ 登录 ] 才能发表留言!