我正在执行网页抓取,以从网站中获取数据,这是我的项目的一部分.我可以提出请求并获取dom中存在的数据.但是,一些数据正在javascript onClick函数上呈现.
一种方法可能是,使用硒单击链接(调用javascript函数)并获取呈现的数据,但是此过程很耗时,我不想打开浏览器.
除了硒以外,还有其他方法可以实现吗？
网站：http://catalog.fullerton.edu/preview_entity.php?catoid=16&ent_oid=1849
在此网页的课程部分中,所有课程均为超链接,只要有人单击课程,就会调用javascript方法.我需要在javascript函数调用后呈现的数据.
解决方法:
你不能如果要运行JavaScript,则需要使用无头浏览器.否则,您将不得不反汇编JavaScript并查看其功能.
在“网络”选项卡中打开浏览器的开发人员工具时,单击元素：
现在,您可以看到JavaScript从该URL下载新的HTML.您可以使用urllib轻松发送相同的请求.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
