我们可以使用Selenium模块来模拟浏览器行为，实现点击“下一页”按钮的操作。下面是一个使用Selenium和BeautifulSoup来自动化爬取多个页面的示例代码：

from selenium import webdriver
from bs4 import BeautifulSoup

# 初始化Selenium浏览器
driver = webdriver.Chrome('chromedriver.exe')
driver.maximize_window()

# 打开网页
url = 'https://example.com/page1'
driver.get(url)

# 获取第一个页面的数据
soup = BeautifulSoup(driver.page_source, 'html.parser')
# 处理数据
...

# 获取后面的页面数据
for i in range(2, 11):  # 假设有10页
    next_url = f'https://example.com/page{i}'
    # 模拟点击下一页按钮
    driver.find_element_by_xpath('//button[@id="next-btn"]').click()
    # 等待页面加载完成
    driver.implicitly_wait(10)
    # 获取页面数据
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    # 处理数据
    ...

# 关闭浏览器
driver.quit()

这里我们使用Chrome浏览器和Chrome driver来实现自动化操作。我们首先打开第一页的网页，然后使用BeautifulSoup来获取页面数据，处理它，然后通过模拟点击“下一页”按钮来转到第二页。我们使用一个for循环来处理后面的所有页面。 在获取新页面的HTML之前，我们等待页面加载完全，这可以通过driver.implicitly_wait()方法来实现。最后，我们关闭浏览器。