python3.11 버전으로 웹 크롤러 자동화시키기 1 - [개발준비]
Situation 임베디드 프로그래머 프리랜서로 활동하고 계시는 아버지를 위해, 2020년에 만들어드린 웹 크롤러가 다음 이유들로 인해 정상작동하지 않게 되었다. 웹 사이트의 개편으로 인한 데이터가 크롤링 되지 않음. 자동화를 위해 AWS Lambda에 업로드 했는데, 3.7버전에 대한 지원이 끊김. 그래서 기존 버전을 업데이트 하기보다, 패키지도 업데이트 되었을테니, 다시 배워보자는 마음가짐으로 처음부터 개발하기로 결정했다. 기존 버전은 다음과 같은 특징으로 개발하였다. AWS Lambda를 위한 함수형 프로그래밍(?) Selenium + BeautifulSoup4 Selenium을 위한 Headless Chromium을 AWS Lambda에 업로드하여 사용 AWS S3에 .json파일을 업로드하고, ..
Programming/PYTHON
2023. 12. 12. 01:21