欢迎来到Introzo百科
Introzo百科
网页抓取
在本文中，我们将了解如何使用Python的Beautiful Soup 抓取亚马逊客户评论。
需要的模块
- bs4 : Beautiful Soup(bs4) 是一个Python库，用于从 HTML 和 XML 文件中提取数据。这个模块没有内置于Python。要安装此类型，请在终端中输入以下命令。
pip install bs4
编程需要懂一点英语
- requests ： Request 允许您非常轻松地发送 HTTP/1.1 请求。这个模块也没有内置于Python。要安装此类型，请在终端中输入以下命令。
pip install requests
编程需要懂一点英语
要开始网络抓取，我们首先必须进行一些设置。导入所有需要的模块。获取用于向亚马逊发出请求的 cookie 数据，否则您将无法抓取。创建一个包含您的请求 cookie 的标头，没有 cookie，您将无法抓取亚马逊数据，它总是显示一些错误。本网站将为您提供特定的用户代理。
将 getdata()函数（用户定义函数）中的 URL 传递给将请求 URL 的 URL，它返回一个响应。我们使用 get 方法从使用给定 URL 的给定服务器检索信息。
句法：
requests.get(url, args)
编程需要懂一点英语
将该数据转换为 HTML 代码，然后使用 bs4 解析 HTML 内容。
Syntax: soup = BeautifulSoup(r.content, ‘html5lib’)
Parameters:
- r.content : It is the raw HTML content.
- html.parser : Specifying the HTML parser we want to use.
编程需要懂一点英语
现在使用soup.Find_all函数过滤所需的数据。
程序：
Python3
# import module
import requests
from bs4 import BeautifulSoup
HEADERS = ({'User-Agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
AppleWebKit/537.36 (KHTML, like Gecko) \
Chrome/90.0.4430.212 Safari/537.36',
'Accept-Language': 'en-US, en;q=0.5'})
# user define function
# Scrape the data
def getdata(url):
r = requests.get(url, headers=HEADERS)
return r.text
def html_code(url):
# pass the url
# into getdata function
htmldata = getdata(url)
soup = BeautifulSoup(htmldata, 'html.parser')
# display html code
return (soup)
url = "https://www.introzo.com/Columbia-Mens-wind-\
resistant-Glove/dp/B0772WVHPS/?_encoding=UTF8&pd_rd\
_w=d9RS9&pf_rd_p=3d2ae0df-d986-4d1d-8c95-aa25d2ade606&pf\
_rd_r=7MP3ZDYBBV88PYJ7KEMJ&pd_rd_r=550bec4d-5268-41d5-\
87cb-8af40554a01e&pd_rd_wg=oy8v8&ref_=pd_gw_cr_cartx&th=1"
soup = html_code(url)
print(soup)Python
def cus_data(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
cus_list = []
for item in soup.find_all("span", class_="a-profile-name"):
data_str = data_str + item.get_text()
cus_list.append(data_str)
data_str = ""
return cus_list
cus_res = cus_data(soup)
print(cus_res)Python3
def cus_rev(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
for item in soup.find_all("div", class_="a-expander-content \
reviewText review-text-content a-expander-partial-collapse-content"):
data_str = data_str + item.get_text()
result = data_str.split("\n")
return (result)
rev_data = cus_rev(soup)
rev_result = []
for i in rev_data:
if i is "":
pass
else:
rev_result.append(i)
rev_resultPython3
def product_info(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
pro_info = []
for item in soup.find_all("ul", class_="a-unordered-list a-nostyle\
a-vertical a-spacing-none detail-bullet-list"):
data_str = data_str + item.get_text()
pro_info.append(data_str.split("\n"))
data_str = ""
return pro_info
pro_result = product_info(soup)
# Filter the required data
for item in pro_result:
for j in item:
if j is "":
pass
else:
print(j)Python3
def rev_img(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
cus_list = []
images = []
for img in soup.findAll('img', class_="cr-lightbox-image-thumbnail"):
images.append(img.get('src'))
return images
img_result = rev_img(soup)
img_resultPython3
import pandas as pd
# initialise data of lists.
data = {'Name': cus_res,
'review': rev_result}
# Create DataFrame
df = pd.DataFrame(data)
# Save the output.
www.introzo.com_csv('amazon_review.csv')输出：
注意：这只是 HTML 代码或原始数据。
现在，既然核心设置已经完成，让我们看看如何针对特定需求进行抓取。
抓取客户名称
现在找到带有 span 标签的客户列表，其中 class_ = a-profile-name。您可以在浏览器中打开网页，通过右键单击查看相关元素，如图所示。
您必须将标签名称和属性及其对应的值传递给 find_all()函数。
代码：
Python
def cus_data(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
cus_list = []
for item in soup.find_all("span", class_="a-profile-name"):
data_str = data_str + item.get_text()
cus_list.append(data_str)
data_str = ""
return cus_list
cus_res = cus_data(soup)
print(cus_res)
输出：
[‘Amaze’, ‘Robert’, ‘D. Kong’, ‘Alexey’, ‘Charl’, ‘RBostillo’]
编程需要懂一点英语
抓取用户评论：
现在找到与上述方法相同的客户评论。找到带有特定标签的唯一类名，这里我们使用 div 标签。
代码：
蟒蛇3
def cus_rev(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
for item in soup.find_all("div", class_="a-expander-content \
reviewText review-text-content a-expander-partial-collapse-content"):
data_str = data_str + item.get_text()
result = data_str.split("\n")
return (result)
rev_data = cus_rev(soup)
rev_result = []
for i in rev_data:
if i is "":
pass
else:
rev_result.append(i)
rev_result
输出：
刮痧生产信息
在这里，我们将抓取产品信息，如产品名称、ASIN 编号、重量、尺寸。通过这样做，我们将使用 span 标记并具有特定的唯一类名称。
代码：
蟒蛇3
def product_info(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
pro_info = []
for item in soup.find_all("ul", class_="a-unordered-list a-nostyle\
a-vertical a-spacing-none detail-bullet-list"):
data_str = data_str + item.get_text()
pro_info.append(data_str.split("\n"))
data_str = ""
return pro_info
pro_result = product_info(soup)
# Filter the required data
for item in pro_result:
for j in item:
if j is "":
pass
else:
print(j)
输出：
抓取评论图片：
这里我们将使用与上述相同的方法从产品评论中提取图片链接。标签的标签名称和属性如上所述传递给 findAll() 。
代码：
蟒蛇3
def rev_img(soup):
# find the Html tag
# with find()
# and convert into string
data_str = ""
cus_list = []
images = []
for img in soup.findAll('img', class_="cr-lightbox-image-thumbnail"):
images.append(img.get('src'))
return images
img_result = rev_img(soup)
img_result
输出：
将详细信息保存到 CSV 文件中：
在这里，我们将详细信息保存到 CSV 文件中，我们将数据转换为 dataframe，然后将其导出为 CSV，让我们看看如何将 Pandas DataFrame 导出为 CSV 文件。我们将使用to_csv()函数将 DataFrame 保存为 CSV 文件。
Syntax : to_csv(parameters)
Parameters :
- path_or_buf : File path or object, if None is provided the result is returned as a string.
编程需要懂一点英语
代码：
蟒蛇3
import pandas as pd
# initialise data of lists.
data = {'Name': cus_res,
'review': rev_result}
# Create DataFrame
df = pd.DataFrame(data)
# Save the output.
www.introzo.com_csv('amazon_review.csv')
输出：
相关文章
- 10-04 全国免费上网wifi是真的吗
- 10-04 12 4gb运行内存是什么意思
- 10-04 华为耳机充电盒怎么知道充满了
- 10-03 android 表格布局属性
- 10-03 android表格布局介绍，TableLayout
- 10-03 html表格在页面上的位置，css表格布局-dis
- 10-03 php是一种编程语言吗？
- 10-03 如何下载wampserver
- 10-03 如何在php中启动exe文件
- 10-03 本田宣布2025年拆除东京总部大楼 2030年完成
- 10-03 曝三菱汽车已决定全面放弃中国生产 日系车开始出局？
- 10-03 问界M9 35万起售？内部人士：纯属无稽之谈！
- 10-03 2023年数据采集与融合技术实践作业1
- 10-03 自我介绍
- 10-03 2023年数据采集与融合技术实践作业
- 10-03 MySQL判断空值的方法是NULL和（mysql中
- 10-03 Linux网卡验证解决方案：turn it off
- 10-03 Linux下如何使用C语言实现文件复制操作（lin
- 10-03 Linux系统下的游戏：优质选择，更好体验（Lin
- 10-03 回答Linux时区问题：00 00代表哪个时区？
- 最近发表