Docker,Jenkins

kafka 실행시켜보기 (feat. docker)

공식 문서에 나와있는 docker-compose.yml 내용을 그대로 복사붙여넣기하고 추가로 내가 필요한 부분은 더 추가해서 docker-network를 구성하였다 . 내용은 kafka와 zookeeper를 실행시키고 zookeeper를 그대로 연결해서 띄우는거다. 실제로 로컬에서 일일히 띄우기 귀찮았는데 docker를 사용하면 파일 하나만 실행시키면 자동으로 되는게 너무 편하다. version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:7.0.1 container_name: zookeeper ports: - "2181:2181" networks: - kafka-network # Kafka와 관련된 컨테이너와 같은 네트워크 그룹에 속하도록 설..

MSA에서 데이터베이스 값 동기화 및 kafka connect docker compose 구성

일단 각종 용어 정리부터 해보겠습니다. Connector (Debezium) 원본 데이터 베이스에 리플리케이션 클라이언트로 붙어서 사용 데이터 변경을 캡처하고, 변경 메시지를 카프카에 프로듀싱 하는 역할 MS-SQL, MySQL, Postgre... 등 여러 데이터베이스와 연동 가능 직렬화, 역직렬화 규격을 사용 (redis 와 똑같음) ZooKeeper 분산 코디네이션 시스템으로, 카프카 클러스터의 정보를 관리, 리더 선출, 잠금, 동기화를 위해 사용 Connector 카프카 토픽에서 읽어낸 메시지를 처리하여 읽어내는 애플리케이션 주로 데이터를 변형하거나 가공하여 대상 데이터베이스에 적용하는 로직을 수행 Source Connector vs Sink Connector Source Connector: da..

[jenkins] docker build 후 amazon ECR로 이미지 업로드하기

1. plugin 설치 먼저 젠킨스에 Amazon ECR, docker pipeline 플러그인을 설치하고 젠킨스를 재부팅 해주세요. 2. ECR Repository 생성 ECR에 이미지를 업로드 하려면 당연히 이미지 저장소가 있어야하겠죵. 하나의 github repository마다 하나의 ECR 이미지 저장소가 필요합니다. Create Repository를 눌러 이미지 별로 레포지토리를 생성해줍니다. 3. AWS Credentials 설정 aws credential 등록부분을 참고하여 AWS CRedentials를 등록해줍니다. 해당 계정은 ECR에 이미지를 업로드하는 권한을 가지고 있어야 합니다. 만약 aws ECR, ECS와 같은 서비스를 젠킨스에서 사용하고자 한다면 젠킨스가 aws 리소스에 접근하..

JenkinsFile로 pipeline 구축

파이프라인을 만드는방식 3가지 WEB UI를 통해서 Job 구성에서 직접 스크립트 코드 작성 SCM을 이용해서 Jenkinsfile 에 스크립트 코드 작성 - github에 jenkinsfile을 만들어 두고 그걸 땡겨와서 젠킨스가 실행 Blueocean 플러그인으로 UI를 통해서 스크립트 코드 작성 - github에서 관리 이중에서 내가 원래 사용했던 방식은 WEB UI를 통해서 직접 스크립트 코드를 작성하고 변경될 때마다 jenkinsServer에 들어가서 작성하곤 했었다. 하지만, 소마 선배분들의 프로젝트를 보니 대부분이 jenkinsFile을 작성하여 파이프라인코드를 jenkins에서 가져갈 수 있도록 설계를 해두셨다 그래서 왜 ? 라는 의문을 가지고 인터넷서칭을 해보았다. 더보기 Jenkins에..