[팀 스파르타-업무자동화] 4주차 - 구글 뉴스 크롤링

1. 구글 뉴스 셀레니움 뼈대 코드

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.chrome.options import Options
import time

chrome_options = Options()
chrome_options.add_experimental_option("detach", True)
chrome_options.add_experimental_option("excludeSwitches", ["enable-logging"])
driver = webdriver.Chrome(options=chrome_options)

# 웹 사이트 열기
driver.get('https://news.google.com')
time.sleep(1)
driver.quit()

 

2. 셀레니움 스크롤 코드

before_h = driver.execute_script("return window.scrollY")
while True:
    driver.find_element(By.CSS_SELECTOR, "body").send_keys(Keys.END)
    time.sleep(1)
    after_h = driver.execute_script("return window.scrollY")
    if after_h == before_h:
        break
    before_h = after_h