推广 热搜: 公司  快速  上海  中国  未来    企业  政策  教师  系统 

网络爬虫爬取微博热搜榜标题

   日期:2024-10-30     作者:caijiyuan    caijiyuan   评论:0    移动:http://mip.ksxb.net/news/9793.html
核心提示:安装相应所需的第三方库,在网页上找到微博热搜榜,用F12找到标题的位置:td-02最终爬取结果:源代码:import requestsfrom bs4

安装相应所需的第三方库,在网页上找到微博热搜榜,用F12找到标题的位置:td-02

网络爬虫爬取微博热搜榜标题

最终爬取结果:

 

 

源代码:

import requests
from bs4 import BeautifulSoup
import bs4
url = "https://s.weibo.com/top/summary?cate=realtimehot"
def getHTMLText(url):
try:
kv={"User-Agent":"Mozilla/5.0"}
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return "error"
html = getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')
sou = soup.find_all("td",class_='td-02')
name = []
for x in sou:
print(x.a.string)

在最后附上漏了的第二次作业: 代码:

本文地址:http://www.ksxb.net/news/9793.html    海之东岸资讯 http://www.ksxb.net/ , 查看更多
 
标签: 网络爬虫
 
更多>同类行业资讯
0相关评论

新闻列表
企业新闻
推荐企业新闻
推荐图文
推荐行业资讯
点击排行
网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  粤ICP备2023022329号