解决方法:
pip install beautifulsoup4
from bs4 import BeautifulSoup
import requests
url = "http://example.com" # 替换为你要获取内容的网页URL
response = requests.get(url)
html_content = response.text
soup = BeautifulSoup(html_content, 'html.parser') # 使用默认的html.parser解析器
# 示例1:获取网页标题
title = soup.title.text
print("网页标题:", title)
# 示例2:获取所有段落(标签)的文本内容
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.text)
# 示例3:获取第一个链接的URL和文本
first_link = soup.find('a')
link_url = first_link['href']
link_text = first_link.text
print("第一个链接的URL:", link_url)
print("第一个链接的文本:", link_text)
这些示例展示了BeautifulSoup的基本用法,你可以根据需要进一步探索BeautifulSoup的功能和方法。