본문 바로가기

전체 글

(Kafka) 클러스터에서 파티션이 호스트별로 분배되는 이유, 알고 보니? 2024. 8. 25. 19:26 Apache Kafka에서 특정 토픽에 3개의 파티션이 있다고 가정해 봅시다. 이 토픽을 구독하는 컨슈머가 있으며, 컨슈머의 동시성 설정(setConcurrency(3))을 통해 각각 3개의 컨슈머 인스턴스를 생성합니다. 이 경우, 3개의 호스트에서 각각 3개의 컨슈머를 실행하면 총 9개의 컨슈머가 생성됩니다.이 상황에서 어떤 호스트가 각 파티션을 점유하게 될까요? 일반적인 우려는 특정 인스턴스가 모든 파티션을 점유하여 부하가 집중되고 장애가 발생할 수 있다는 것입니다.하지만 Kafka는 이러한 문제를 해결하기 위해 설계되었습니다. 각 인스턴스가 균등하게 파티션을 분배받도록 보장하여, 모든 호스트에서 파티션이 골고루 분포되도록 합니다. 이 글에서는 이러한 분배 방식이 어떻게 이루어지는지 살펴보겠습니다. ..
(JPA) could not initialize proxy - no Session (2) 2022. 11. 20. 21:19 영속성 컨텍스트 생성 OSIV 일 때 최초 요청 시 (컨트롤러 접근 시) 영속성 컨텍스트를 미리 생성한다. OSIV가 아닐 때 트랜잭션 요청 시 영속성 컨텍스트를 생성한다. OSIV 일때 인터셉터 영역에서 미리 영속성 컨텍스트를 생성해둔다. 생성 시 Map 형태로 생성을 하는데 Key 값은 영속성 컨텍스트이며 Value 값으로는 영속성 컨텍스트를 Wrapping 한 EntityManagerHolder를 생성한다. 여기서 EntityManagerHolder는 영속성 컨텍스트뿐만 아니라 이에 따르는 부가정보를 가지고 있다. EntityManagerHolder 생성 EntityManagerHolder 저장 OSIV 아닐 때 미리 영속성 컨텍스트를 생성해 두는 것이 아닌 트랜잭션 시작 시점에 영속성 컨텍스트를 ..
(JPA) could not initialize proxy - no Session (1) 2022. 11. 19. 21:32 JPA를 사용하다 보면 아래 오류를 빈번하게 마주치게 된다. could not initialize proxy - no Session​ 해당 오류의 원인을 Open Session In View와 관련지어 정리해보고자 한다. 또한 영속성 컨텍스트의 시작과 종료 시 JPA 내부의 코드를 디버깅하여 정확히 살펴보고자 한다. Example 예제는 Member와 Team 엔티티가 존재하고 Member가 Team으로 향하는 단방향 OneToMany 관계이다. 자세한 구조는 아래 접은 글을 참고하시길 바란다. 더보기 Diagram Member @Entity @AllArgsConstructor(access = AccessLevel.PRIVATE) @NoArgsConstructor(access = AccessLevel.P..
(MySQL) MySQL 스토리지 엔진 아키텍처 - InnoDB 2022. 8. 31. 23:53 InnoDB 개요 InnoDB는 레코드 기반의 잠금을 제공하여 그로 인해 높은 동시성 처리가 가능하고 안정적이며 성능이 뛰어나다. InnoDB 특징 프라이머리 키에 의한 클리스터링 InnoDB의 모든 테이블은 프라이머리 키 값의 순서대로 디스크에 저장된다. 첨언하자면 클러스터형 인덱스는 영어사전이다. 영어사전은 알파벳 순으로 정렬되어 있다는 특징이 있으며 보조 인덱스는 일반 책의 뒤편에 있는 찾아보기와 같다. 찾아보기를 통해 키워드에 해당하는 내용을 빠르게 찾을 수 있다는 특징이 있다. 외래 키 지원 외래 키는 InnoDB만 유일하게 지원한다. 외래 키 설정 시 주의사항 외래 키 연관 테이블에 대한 잠금 전파 주의 데드락 발생 주의 foreign_key_checks Option을 통해 외래 키 체크 해제..
(MySQL) MySQL 아키텍처 2022. 8. 31. 15:14 MySQL 엔진 아키텍처 InnoDB 스토리지 엔진 아키텍처 MySQL 엔진 구조 MySQL 엔진의 아키텍처는 크게 MySQL 엔진, 스토리지 엔진, 핸들러 API 이루어져 있다. MySQL 엔진 MySQL 엔진은 클라이언트 요청을 처리하는 시작점이다. 커넥션 연결 및 쿼리에 대한 요청 및 최적화를 담당한다. SQL 파서, 전처리기 (Query) 옵티마이저 (Optimize) 스토리지 엔진 스토리지 엔진은 MySQL 엔진의 쿼리 실행기에서의 요청 데이터를 디스크에 저장하거나 읽어오는 역할을 담당한다. 대표적으로 InnoDB와 MyISAM이 존재한다. 각각의 스토리지 엔진은 처리 시 최적화를 진행한다. InnoDB : 키 캐시 MyISAM : 버퍼 풀 핸들러 API 핸들러 API는 MySQL 엔진이 스토..
(SERVLET) @RequestBody는 어떻게 동작할까? 2022. 7. 8. 16:27 @RequestBody는 setter 메서드가 없더라도 요청한 json 데이터를 DTO에 매핑하여 응답 본문을 작성한다. 이것이 가능한 이유를 디버깅을 통해 알아보자! DispatcherServlet에서 시작한다. 요청한 json 데이터를 DTO에 매핑하는 과정은 요청을 처리할 수 있는 핸들러와 어댑터를 찾아온 이후에 시작된다. 핸들러와 어댑터를 찾는 과정에 대해서 궁금하다면 이전 포스팅을 참고하길 바란다. (SERVLET) DispatcherServlet의 내부 살펴보기 DispatcheServlet의 doService부터 시작 핸들러 찾기 요청을 찾아올 수 있는 핸들러를 찾아오는 부분 핸들러 매핑 찾기 - 기본으로 두 개의 핸들러 매핑이 제공된다. 두 가지 핸들러 중 찾은 핸들러는 Req jwdeve..
(Spring Security) Form Login 설정 2022. 6. 27. 23:02 Environment Spring Security Thymeleaf Spring Data JPA H2 (memory) org.springframework.boot spring-boot-starter-security org.springframework.security spring-security-test test org.springframework.boot spring-boot-starter-thymeleaf org.thymeleaf.extras thymeleaf-extras-springsecurity5 org.springframework.boot spring-boot-starter-data-jpa com.h2database h2 1.4.199 runtime Entity 회원 인증만 구현할 예정이므로 단순..
(Spring Security) 개요 2022. 6. 24. 14:47 이번 포스팅에서는 Spring Security를 소개하고자 한다. Spring Security는 Spring 기반 애플리케이션에 대해서 인증과 권한 부여를 모두 제공하는 사실상의 표준 프레임워크이다. 토이 프로젝트를 통해서 Spring Security에 대한 적용을 하였고 이해하고 있는 내용과 트러블 슈팅에서 겪었던 내용을 공유하기 위해서 이번 포스팅 주제로 설정하였다. Spring Security에 대해서 아래 네 가지 분류를 토대로 포스팅할 예정이다. Spring Security Architecture 폼 인증 JWT 인증 트러블 슈팅 Spring Security Architecture Spring Security에 대한 전반적인 흐름에 대해서 인증과 권한 파트로 나누어서 포스팅 폼 인증 Spring..
개발 공부에 대한 고찰 2021년 회고 2022. 3. 7. 18:43 개발 공부에 대한 고찰 2020년 상반기 회고를 작성하고 1년 반 정도의 시간이 흘렀다. 그동안 나는 얼마나 많이 바뀌었고 성장했는지에 대해서 회고해보는 시간을 갖고자 한다. 환경적인 변화 기술적인 변화 아쉬웠던 점 2022년 상반기 목표 환경적인 변화 드디어!!! 가장 주목할만한 환경적인 변화는 이직이다. SI 기업 근무 당시 언젠가는 개발이 메인으로 하는 회사로 가서 좋은 개발자가 되기 위해서 끊임없이 노력하는 분들과 함께 성장하고 싶다는 꿈이 있었다. 쉽지만은 않았지만 꾸준히 노력한 결과 7월에 결국 원하는 목표를 이루게 되었다. 그로 인해서 내가 원하는 개발자의 모습에 한걸음 다가가게 되어서 상당히 기뻤던 반면 실무적인 개발 능력이 많이 떨어진 채로 업무에 잘 녹아들 수 있을까에 대한 두려움 또한..
(AWS) AWS CLI 도구 설치 및 사용 2022. 1. 31. 21:58 AWS CLI 설치 (macOS with brew) brew install awscli AWS 액세스 키 발급 Access Key의 종류 Access Key ID : 인증 요청한 사람이 누구인지를 확인하기 위한 키 (공개해도 되는 키) Secret Access Key : 인증 요청한 사람이 맞는지를 확인하는 키 (공개하면 안되는 키) Access Key 생성 보안 자격증명 페이지 접속 새 엑세스 키 생성 및 다운로드 CLI 설정 파일을 통한 자격증명 설정 config 파일 설정 aws configure vim ~/.aws/config 확인 현재 설정된 계정 정보 확인 aws sts get-caller-identity 키 페어 목록 확인 aws ec2 describe-key-pairs

티스토리툴바