当前位置:首页 >> 编程语言 >> 【python爬虫案例】用python爬豆瓣读书TOP250排行榜!,迅雷数字商城

【python爬虫案例】用python爬豆瓣读书TOP250排行榜!,迅雷数字商城

0evadmin 编程语言 1
文件名:【python爬虫案例】用python爬豆瓣读书TOP250排行榜!,迅雷数字商城 【python爬虫案例】用python爬豆瓣读书TOP250排行榜!

文章目录 一、爬虫对象-豆瓣读书TOP250二、python爬虫代码讲解三、讲解视频四、完整源码

一、爬虫对象-豆瓣读书TOP250

您好,我是 @马哥python说 ,一名10年程序猿。

今天我们分享一期python爬虫案例讲解。爬取对象是,豆瓣读书TOP250排行榜数据: https://book.douban.com/top250

开发好python爬虫代码后,爬取成功后的csv数据,如下: ​

代码是怎样实现的爬取呢?下面逐一讲解python实现。

二、python爬虫代码讲解

首先,导入需要用到的库:

import requests # 发送请求from bs4 import BeautifulSoup # 解析网页import pandas as pd # 存取csvfrom time import sleep # 等待时间

然后,向豆瓣读书网页发送请求:

res = requests.get(url, headers=headers)

利用BeautifulSoup库解析响应页面:

soup = BeautifulSoup(res.text, 'html.parser')

用BeautifulSoup的select函数,(css解析的方法)编写代码逻辑,部分核心代码:

name = book.select('.pl2 a')[0]['title'] # 书名book_name.append(name)bkurl = book.select('.pl2 a')[0]['href'] # 书籍链接book_url.append(bkurl)star = book.select('.rating_nums')[0].text # 书籍评分book_star.append(star)star_people = book.select('.pl')[1].text # 评分人数star_people = star_people.strip().replace(' ', '').replace('人评价', '').replace('(\n', '').replace('\n)','') # 数据清洗book_star_people.append(star_people)

最后,将爬取到的数据保存到csv文件中:

def save_to_csv(csv_name):"""数据保存到csv:return: None"""df = pd.DataFrame() # 初始化一个DataFrame对象df['书名'] = book_namedf['豆瓣链接'] = book_urldf['作者'] = book_authordf['译者'] = book_translaterdf['出版社'] = book_publisherdf['出版日期'] = book_pub_yeardf['价格'] = book_pricedf['评分'] = book_stardf['评分人数'] = book_star_peopledf['一句话评价'] = book_commentdf.to_csv(csv_name, encoding='utf8') # 将数据保存到csv文件

其中,把各个list赋值为DataFrame的各个列,就把list数据转换为了DataFrame数据,然后直接to_csv保存。

这样,爬取的数据就持久化保存下来了。

三、讲解视频

同步讲解视频:【python爬虫案例】利用python爬虫爬取豆瓣读书TOP250的数据!

四、完整源码

附完整源代码:【python爬虫案例】利用python爬虫爬取豆瓣读书TOP250的数据!


我是 @马哥python说 ,持续分享python源码干货中!

协助本站SEO优化一下,谢谢!
关键词不能为空
同类推荐
«    2025年12月    »
1234567
891011121314
15161718192021
22232425262728
293031
控制面板
您好,欢迎到访网站!
  查看权限
网站分类
搜索
最新留言
文章归档
网站收藏
友情链接