Python selenium 爬虫总是返回空列表

Question

以下代码尽管明显存在具有指定类名的元素，但始终返回一个空列表：

from selenium import webdriver 
from selenium.webdriver.common.by import By 
from selenium.webdriver.chrome.service import Service as ChromeService 
from webdriver_manager.chrome import ChromeDriverManager 
 
# instantiate options 
options = webdriver.ChromeOptions() 
 
# run browser in headless mode 
options.headless = True 
 
# instantiate driver 
driver = webdriver.Chrome(service=ChromeService( 
    ChromeDriverManager().install()), options=options) 
 
# load website 
url = 'https://maclear.ch/en/projects' 
 
# get the entire website content 
driver.get(url) 
 
# select elements by class name 
elements = driver.find_elements(By.CLASS_NAME, 'project-info__elem') 
print(elements)

我本期望获取指定的元素

gsm2009 · Answer

看起来该网站正在通过JS动态加载内容，由于Selenium未等待页面加载完毕就开始执行指令，因此无法找到元素。

以下代码会等到该元素加载完成后再返回该元素。

from selenium.webdriver.support.wait import WebDriverWait 
WAIT_LIMIT = 20 // seconds
elements = WebDriverWait(driver, WAIT_LIMIT ).until(
    EC.visibility_of_element_located((By.CSS_SELECTOR, ".project-info__elem"))
)

gsm2009 · Answer

这似乎是你在元素加载完成前就尝试获取元素列表的情况，因此自然会得到一个空列表。

尝试在获取URL后添加一行代码driver.implicitly_wait(10)，这样你应当能获取到一些元素。

当然，在抓取元素之前，你应该寻找其他更为优雅的方式来等待页面加载。10秒可能在所有情况下并不足够，在某些情况下也可能过长而没有必要。