크롤링

[Spring] 배포 서버의 도커 컨테이너에 크롤링 환경 구축하기

배포 서버의 도커 컨테이너에 크롤링 환경 구축하기 ⚙️ 개발 환경 AWS ubuntu EC2 Java 11 Gradle Spring boot 문제가 발생했다. 자꾸 크롬드라이버의 경로를 못찾음 ... 뭐지뭐지 ... 📍 Dockerfile : 도커 컨테이너에 크롬 브라우저 및 크롬 드라이버 설치 후 배포 FROM openjdk:11 COPY ./build/libs/TeamPlanner-BE-0.0.1-SNAPSHOT.jar application.jar RUN apt-get -y update RUN apt -y install wget RUN apt -y install unzip RUN apt -y install curl RUN wget https://dl.google.com/linux/direct/goog..

채용사이트만들기-3일차 JobKorea 동적 크롤링을 통해 json파일 만들기

Job코리아 캘린더의 채용일정을 크롤링한 코드 크롬 드라이버 설치 https://minwoo-it-factory.tistory.com/88 크롬드라이버 설치하는방법 1. 크롬드라이버 다운로드 사이트 접속 https://chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome chromedriver.chromium.org ​ 2. 본인 크롬 버전에 맞는 드라이버를 선택 ​ minwoo-it-factory.tistory.com 셀레니움 설치 Python Selenium 설치하기 다른 라이브러리를 설치하는 것과 동일합니다. pip 명령어를 사용해서 설치해주세요. pip instal..