python+selenium采集动态加载（下拉加载）的页面内容

软件版本：

成都网络公司-成都网站建设公司创新互联十年经验成就非凡，专业从事网站建设、网站制作，成都网页设计，成都网页制作，软文营销，广告投放等。十年来已成功提供全面的成都网站建设方案，打造行业特色的成都网站建设案例，建站热线：18980820575，我们期待您的来电！

python 3.7.2

selenium 3.141.0

pycharm 2018.3.5

具体实现代码如下：

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

import time

# 创建chrome浏览器驱动，无头模式

chrome_options = Options()

# chrome_options.add_argument('--headless')

chrome_options.add_argument("--start-maximized");

driver = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options)

# 加载界面

driver.get("https://www.cfr.org/search?keyword=china")

time.sleep(3)

# 获取页面初始高度

js = "return action=document.body.scrollHeight"

height = driver.execute_script(js)

# 将滚动条调整至页面底部

driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')

time.sleep(5)

#定义初始时间戳(秒)

t1 = int(time.time())

#定义循环标识，用于终止while循环

status = True

# 重试次数

num=0

while status:

# 获取当前时间戳(秒)

t2 = int(time.time())

# 判断时间初始时间戳和当前时间戳相差是否大于30秒，小于30秒则下拉滚动条

if t2-t1 < 30:无锡看妇科好的医院 http://www.csfk0731.com/

new_height = driver.execute_script(js)

if new_height > height :

time.sleep(1)

driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')

# 重置初始页面高度

height = new_height

# 重置初始时间戳，重新计时

t1 = int(time.time())

elif num < 3: # 当超过30秒页面高度仍然没有更新时，进入重试逻辑，重试3次，每次等待30秒

time.sleep(3)

num = num+1

else: # 超时并超过重试次数，程序结束跳出循环，并认为页面已经加载完毕!

print("滚动条已经处于页面最下方!")

status = False

# 滚动条调整至页面顶部

driver.execute_script('window.scrollTo(0, 0)')

break

# 打印页面源码

content = driver.page_source

print(content)

以上代码为selenium采集动态下拉加载页面，使用上述代码执行后，可通过其他方式进行页面元素获取!