Python

파일명 : watch_court.py 필요파일 : 크롬드라이버.exe 나만의 beautifulsuop 객체에 대한 정의 ?.태그명 : 해당 태그 하위 전체구조들까지 다 가져오기 ex> soup.body 태그명.find_all( '태그명' ) : 하위의 모든 태그 중 여러개의 특정 태그를 리스트로 가져오기 ex> .find_all('tr') 태그명.find( 속성 = '특정 속성명' ) : 하위의 모든 태그 중 특정 속성으로 검색 ex> .find(id = 'ea_list') 태그명.get('속성') : 해당 태그안의 속성의 내용물을 가져옴 ex> a.get('href') 19.에서 했던 web_scrapping_example.py에 대해서,, 게시판 링크를 타고 추가 정보도 가져와야할 상황이다. 즉, 게..

selenium 새 탭 열기 실제 사람이 인터넷에서 새로운 탭을 열기 위해서는 Ctrl + Mouse Click으로 새탭을 엽니다. from selenium import webdriver from selenium.webdriver.common.keys import Keys browser = webdriver.Chrome() browser.get("http://www.google.com") # 본인이 클릭하고 싶은 것 클릭 target = browser.find_element_by_css_selector("div.gb_e a") # window 새로운 탭 열기 target.send_keys(Keys.CONTROL + "\n") # mac 새로운 탭 열기 # target.send_keys(Keys.COMMA..

크롤링을 해야하는데 복잡한 로그인 과정이 필요하다. 크롤링을 하다보면 복잡한 로그인 기능부터 구현을 해야 자신이 가져오고 싶은 데이터를 가져올 수 있는 경우가 종종 있습니다. 그 '로그인' 이라는 것이 단순히 ID와 Password를 통해 이루어진다면 상관이 없겠지만 보안을 위해 이중 인증을 사용하는 경우가 간혹 있습니다. '핸드폰'으로 인증번호 전송받기, 또는 이메일에 인증 링크를 전송 받아 현재 접속한 곳이 유효한 접속인지 아닌지를 판단하는 경우 등등 이러한 로그인 과정을 크롤링을 통해 구현하려면 단순히 '어떻게 하지?'가 아닌 그냥 이건 'Open API'를 쓰던가 그러지 않으면 '내 선에서는 못하는 것' 정도로 생각이 되서 피하게 됩니다. 내가 쓰고 있는 chrome 화면에서의 크롤링 그래도 하나..