BeautifulSoup在运行脚本多次后才能爬取数据。
这个问题可能是由于网站反爬虫技术导致的，可以采用一些方法绕过反爬虫措施，例如加入headers、使用代理等。另外，可以尝试使用requests库多次请求，或在代码中添加延时等待，让网站有足够的时间加载数据。示例代码如下：
import requests from bs4 import BeautifulSoup import time
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} proxies = {"https": "https://127.0.0.1:8080"}
def get_page(url): try: response = requests.get(url, headers=headers, proxies=proxies) if response.status_code == 200: return response.text except requests.exceptions.RequestException as e: print(e) return None
def scrape_data(url): for i in range(5): html = get_page(url) if html: break time.sleep(3) soup = BeautifulSoup(html, 'html.parser') # 爬取数据的代码
url = 'http://example.com' scrape_data(url)
上一篇：BeautifulSoup在阅读或解析过程中将内容放在真实元素之外。
下一篇：BeautifulSoup在昨天仍然能够获取所有的HTML元素，但是在没有修改任何代码的情况下，现在无法获取所有的HTML元素。