BeautifulSoup和提取div对于一个站点有效，但对于另一个站点无效。 _编程开发

BeautifulSoup和提取div对于一个站点有效，但对于另一个站点无效。

创始人

2024-11-27 14:30:59

0次

这可能是因为另一个站点的HTML代码与第一个站点不同。可以尝试使用不同的Beautiful Soup抓取模式来解决这个问题。例如，如果使用了CSS选择器，可以尝试使用标签选择器或类选择器。

以下是一个使用标签选择器的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
divs = soup.find_all('div')
print(divs)

如果这在第一个站点上有效，但在另一个站点上无效，可以尝试使用类选择器：

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
divs = soup.find_all(class_='my_class')
print(divs)

在这个示例中，my_class是您要查找的类的名称。请注意，CSS选择器需要使用class_而不是class，以避免Python关键字的冲突。

通过尝试不同的选择器类型，您可以找到适用于不同站点的解决方案。

上一篇：BeautifulSoup和Selenium有时返回None，即使元素明确存在。

下一篇：BeautifulSoup和urlopen并没有获取到正确的表格数据。

BeautifulSoup和提取div对于一个站点有效，但对于另一个站点无效。

相关内容

热门资讯