在python中同步运行循环

我有一段代码,可以爬行到一个无限高度的网站(如FACEBOOK).

Python硒脚本要求页面javascript转到页面底部,以便进一步加载页面.但是最终会发生这样的情况：循环异步运行,并且网站的速率限制器阻止了脚本.

我需要页面等待页面首先加载然后继续,但是我这样做失败.

以下是我到目前为止尝试过的事情.

代码如下：

while int(number_of_news) != int(len(news)) :
    driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")
    news = driver.find_elements_by_class_name("news-text")
    print(len(news))

输出是这样的

我将其解释为当值是43、63 …时多次执行的循环.

我也尝试使其递归,但结果仍然相同.递归代码如下：

def call_news(_driver, _news, _number_of_news):
    _driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    _news = driver.find_elements_by_class_name("news-text")
    print(len(_news))
    if int(len(_news)) != int(number_of_news) :
        call_news(_driver, _news, _number_of_news)
    else :
        return _news

任何类型的提示,不胜感激.

解决方法:

您可以设置page_load_timeout以使驱动程序等待页面加载

driver.set_page_load_timeout(10)

另一种选择是等待元素数量改变

current_number_of_news = 0
news = []
while int(number_of_news) != int(len(news)) :
    driver.execute_script("window.scrollTo(document.body.scrollHeight/2, document.body.scrollHeight);")
    while (current_number_of_news == len(news)) :
        news = driver.find_elements_by_class_name("news-text")
    current_number_of_news = len(news)
    print(len(news))