MongoDB Atlas search 사용하도록 변경 #72

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Merged

elive7 merged 31 commits into dev from SCRUM-213

Sep 26, 2025

Contributor

elive7 commented Sep 1, 2025

🍃 Pull Requests

⛳️ 작업한 브랜치

Resolved: #213

👷 작업한 내용

몽고 db를 활용하여 가수이름 검색, 노래 검색을 구현했습니다.
- 가수별 노래 이름 검색의 경우 like로도 충분할 것 같아 그 검색에는 MongoDB를 구현하지 않았습니다.
- 가수 이름은 자동완성, 노래 이름은 nori+english analyzer+자동 완성 인덱스를 사용하였습니다. 또한 노래 이름의 경우에는 검색어의 길이에 따라 각각 필드에 대한 가중치를 다르게 주어 계산했습니다.
- 첫 페이지에서 altas search를 활용한 결과를 얻을 수 없는 경우, 다시 한 번 mysql like를 시도하는 fallback구조로 작성했습니다.
- 기존 곡 collect시 MongoDB에도 노래 데이터가 들어가도록 작성했으며, 하루에 한번은 배치 작업을 통해 MOngoDB에 없는 데이터들을 저장할 수 있도록 했습니다.
- 성능 테스트 결과 mongoDB가 복잡한 연산+MySql에 한 번 더 조회하는 오버헤드가 있음에도 불구 p99에서 더 안정적인 모습을 보였습니다. (repository, service단 모두)
- 이메일이 부족하여, dev,prod에 대한 Mongo Cluster만 생성한 관계로 local에서는 MongoDB repoistort가 noop으로 동작할 수 있도록 설정했습니다.

🚨 참고 사항

yml이 업데이트 되었습니다.
커밋 파일을 잘못 포함해서 올린 커밋이 몇 개 있습니다 ㅜㅜ 참고해주세요
더 자세한 내용은 https://velog.io/@elive7/%EA%B2%80%EC%83%89-like-%EA%B2%80%EC%83%89%EC%96%B4%EB%A1%9C%EB%A7%8C-%ED%95%98%EA%B3%A0-%EA%B3%84%EC%85%A8%EB%82%98%EC%9A%94-Atlas-Search-%EC%9D%B8%EB%8D%B1%EC%8B%B1-%EB%B0%8F-%EA%B2%80%EC%83%89-%EC%BF%BC%EB%A6%AC 이 벨로그에 기록해두었습니다.

elive7 added 29 commits

April 13, 2025 18:38


          hotfix: 중복 로그인 로직 원상복귀

07fc951


          [SCRUM-213] feat: mongodb 의존성 추가


          [SCRUM-213] feat: mongodb에서 사용할 ArtistMongo 도메인 작성

b5a441e


          [SCRUM-213] feat: 검색을 위한 searchArtistIdsByName 작성

c170186

- 가수 검색의 경우 nori가 아닌 edege n-gram을 사용해 자동완성 효과를 낼 수 있도록 작성했습니다.
- mongodb에서는 id만 반환하기 떄문에, 해당 id 리스트를 가지고 페이지네이션을 구현할 수 있도록 IdsWithHasNext를 작성해주었습니다.


          [SCRUM-213] feat: 가수 검색 서비스 작성

07f8be5

- idsWithHasNext을 가지고 가수 데이터로 변환할 때, id 리스트 순서대로 가져올 수 있도록 findAllByIdsInOrder를 추가했습니다.
-  mongodb에서 결과를 찾을 수 없는 경우, fall-back 구조로 mysql에서 검색이 일어날 수 있도록 했습니다.


          [SCRUM-213] feat: 가수의 secondName, thirdName이 공백일 때도 필터

5d45a08


          [SCRUM-213] feat: 가수의 secondName, thirdName이 공백일 때도 필터

6a17b44


          Merge branch 'SCRUM-213' of https://github.com/project-lyrics/api-server

7ed2b29

 into SCRUM-213


          SCRUM-213] test: 가수 검색 성능 테스트 작성

8716f51


          [SCRUM-213] test: 검색에 필요한 repository 함수 추가 정의

21e64ac


          [SCRUM-213] feat: ArtistCommandService에 mongodb 삽입 삭제 로직 추가

c4d22cd


          [SCRUM-213] feat: ArtistMongoCommandRepository 정의

6393f42


          [SCRUM-213] test: 테스트를 위해 ArtistFixture에 create 추가에

aef4a84


          [SCRUM-213] fix: elastic search 오류로 인해 곡 이름 검색 like로 회귀

db3b1b9


          [SCRUM-213] feat: 곡 검색을 위한 SongMongo 도메인 작성

e1ca5a3


          [SCRUM-213] feat: 곡 검색을 위한 SongMongoQueryRepository 작성

b497d24

- 곡의 상당수가 영어인 관계로 한국어 분석기 nori+영어 분석기 english+자동 완성의 형태로 인덱스를 구현했습니다.
- 길이가 짤은 경우에는 자동완성에 2배의 가중치를 주고, 길이가 길어지면 분석기를 통한 결과에 2배의 가중치를 주도록 작성했습니다.
- 가수별 곡 검색의 경우, 검색하려는 데이터의 범위가 매우 한정적이라고 생각해 따로 altas search를 적용하지는 않았습니다.


          [SCRUM-213] feat: SongQueryService 내 searchSongs 수정

973300e

- 역시 똑같은 방식으로 SongQueryService 내 searchSongs를 수정했습니다.
- ids 순서대로 결과를 받을 수 있도록 findAllByIdsInOrder를 추가했습니다.
- 첫페이지인데 결과가 없는 경우 mysql like로 fall-back하도록 코드를 작성했습니다.


          [SCRUM-213] feat: SongMongoCommandRepository 및 Service 작성

5f9b07f

- 곡이 생성될 떄 mongodb에도 해당 곡이 들어갈 수 있도록 처리했습니다.


          [SCRUM-213] feat: DummyDataInitializer 및 SongCollector 시에도 mongdb에 노래…

7f48b2c

…가 저장되도록 수정

- 현재 곡 생성은 SongCollector가 담당하고 있기에 해당 과정에서 mongodb에도 데이터가 삽입되도록 수정했습니다.
- 이 때 mongodb의 songid가 mysql 속 songid와 같을 수 있도록 PreparedStatement 을 사용했습니다.


          [SCRUM-213] feat: mongodb<->mysql 간 주기적 동기화 로직 추가

79fe056

- 하루에 한 번 mysql에 있는 song 중 mongofb에서 없는 song들을 추가적으로 삽입하는 동기화 로직을 작성했습니다.


          [SCRUM-213] feat: SongMongo에서 artistId 필드 삭제

153dd43

- 가수별로 곡 검색의 경우 결과가 얼마 되지 않기에 mysql like로 처리할 예정입니다.


          [SCRUM-213] feat: SongCollector에 profile 추가

ad3e105


          [SCRUM-213] refactor: 기본 mysql seacrch 함수 추가 및 리팩토링

0c6607a


          [SCRUM-213] feat: Artist 검색 관련 성능 테스트 함수 작성

b8b8741


          [SCRUM-213] feat: 노래 검색 관련 성능 테스트 함수 작성

3120d15


          Merge branch 'SCRUM-213' of https://github.com/project-lyrics/api-server

0c0eb6b

 into SCRUM-213


          [SCRUM-213] feat: Artist 검색 관련 성능 테스트 함수 수정

895e33c


          [SCRUM-213] feat: local 환경에서 mongodb noop으로 분리될 수 있도록 분할 및 프로필 추가

d5871b4

- 이 과정에서 MongoRepository 인터페이스와 2개의 구현체로 분리했습니다.


          [SCRUM-213] test: SongSearchPerformanceTest 에서 사용하지 않는 레포지토리 삭제

elive7 requested a review from jinkonu

September 1, 2025 15:45

elive7 requested a review from sebbbin

September 1, 2025 15:45

elive7 self-assigned this

elive7 added the feat 🔥 label

jinkonu approved these changes

View reviewed changes

Collaborator

jinkonu left a comment

대장정을 하셨군요 ...
정말 고생 많으셨고 작년보다도 훨씬 성장한 모습을 보면서 저도 많은 자극을 받았습니다.
Mongo DB와 맞닿아 있는 기술적인 부분은 블로그 글 보면서 팔로업 해볼게요!
수고 많으셨습니다 🥹🥹

src/main/java/com/projectlyrics/server/domain/artist/repository/ArtistQueryRepository.java Outdated Show resolved Hide resolved

...com/projectlyrics/server/domain/artist/repository/impl/ArtistMongoCommandRepositoryImpl.java Outdated Show resolved Hide resolved

src/main/java/com/projectlyrics/server/domain/artist/service/ArtistCommandService.java Show resolved Hide resolved

src/main/java/com/projectlyrics/server/domain/song/repository/SongMongoQueryRepository.java Outdated Show resolved Hide resolved

...ain/java/com/projectlyrics/server/domain/song/repository/impl/JdbcSongCommandRepository.java Show resolved Hide resolved

elive7 added 2 commits

September 6, 2025 05:46


          [SCRUM-213] refactor: 함수 이름 변경

1eb1d70

findAllByIdsInOrder -> findAllByIdsInListOrder로 리스트의 순서를 반영한다는 의미를 명확히 하였습니다.
findAllIdByIdIn->findAllByIdsIn 기존 이름이 중복되고 이상해서 수정했습니다.


          [SCRUM-213] refactor: MongoCommandRepository 내 함수 반환 타입&인자 수정

d60a49b

- ArtistMongo를 확장해서 쓸 이유도 없고 지금은 List로만 사용하고 있기에 그에 맞게 정의 부분을 수정했습니다.

elive7 merged commit 8056b35 into dev

1 check passed

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels