ssseoyneee

지난 포스트에서 읽어본 Query Expansion by Prompting LLMs 논문에 이어 Query Expansion 관련 논문을 다시 읽어보았습니다. 이 논문에서는 LLM을 활용하여 쿼리를 전체 문서 형식으로 변환하는 방법론인 Query2doc을 다루고 있는데, Few-shot 프롬프트 실험으로만 이루어져 있다는 차이점이 있습니다.0. Abstract본 논문에서는 Query2doc이라는 간단하면서도 효과적인 쿼리 확장(Query Expansion) 기법을 제안Few-shot prompting을 활용한 LLM 기반 Pseudo-document 생성 후, 이를 사용하여 쿼리를 확장LLM은 웹 스케일 텍스트 데이터로 학습되어 있으며, 방대한 지식을 기억하고 있음 → 이를 활용해 생성된 Pseudo-d..

이번 겨울 NLP 프로젝트를 진행하면서 Query Expansion을 수행한 경험이 있는데요. 이후 IR에 관심이 생겨 Query Expansion by Prompting Large Language Models 논문을 읽어보았습니다. 이 논문은 검색 성능을 높이기 위해 Query Expansion을 수행할 때 LLM을 활용하는 방법을 제시하고 있습니다.  0. AbstractQuery Expansion이 검색 시스템에서 recall, 즉 재현율을 향상시키기 위해 사용됨recall = 재현율 = (검색된 관련 문서 개수) / (전체 관련 문서 개수)기존 전통적인 접근법: Pseudo-Relevance Feedback (PRF)쿼리를 확장하기 위해 좋은 pseudo-relevant 문서 세트에 의존함본 논문..

지난 게시글에서는 한 가게에 유저들이 남긴 리뷰를 모으는 코드를 살펴보았는데요. 이번 게시글에서는 한 유저의 프로필에 접속하여해당 유저가 여러 가게에 남긴 리뷰들을 모두 모으는 코드를 살펴보겠습니다. 이전 코드를 참고하여 코드를 작성했으니 이해가 안 된다면 지난 게시글부터 읽어주세요! https://ssseoyneee.tistory.com/3 Python | 웹 크롤링 | 네이버 플레이스 리뷰 크롤링 (1)맛집 추천시스템을 위한 프로젝트를 진행하며추천을 위해 필요한 정보를 네이버 지도로부터 얻고자 했습니다.아래 블로그의 코드를 참고했고, 지피티가 정말 많은 것을 도와줬습니다 :) https://ssseoyneee.tistory.com환경 세팅하기지난 게시글에서 수집한 데이터를 바탕으로 크롤링을 진행합니다..

맛집 추천시스템을 위한 프로젝트를 진행하며추천을 위해 필요한 정보를 네이버 지도로부터 얻고자 했습니다.아래 블로그의 코드를 참고했고, 지피티가 정말 많은 것을 도와줬습니다 :) https://jinooh.tistory.com/89 [Python] 네이버 플레이스(naver place) 리뷰 크롤링지난 번 네이버 플레이스를 통해 크롤링을 해봤는데,이번에는 리뷰를 가져오는 코드를 실습해보았다. 특히 수집된 데이터를 다시 자연어 처리해 다른 분석을 해볼 때도 유용할 것 같다.  그리jinooh.tistory.comhttps://rkckskdk.tistory.com/297 네이버플레이스 후기 데이터 마이닝으로, 마케팅 방향 잡기 - (1) 웹크롤링** (수정 2024.02.18.) 네이버 플레이스의 후기를 뽑아..

최근 추천시스템 관련 프로젝트를 시작하면서 2016년에 Google이 발표한 Wide & Deep Learning for Recommender Systems 논문을 읽었습니다. Wide 모델과 Deep 모델을 결합한 Wide & Deep 모델에 관한 내용으로, 이 모델은 구글 플레이의 앱 추천에 활용되어 기존 단일 모델보다 좋은 성능을 보입니다. 0. AbstractWide : Memorization(+) feature 간 cross-product → 데이터의 특징을 기억하는 데 효과적(-) 하지만 일반화를 위해 엔지니어링 과정을 필요로 함Deep : Generalization(+) 임베딩을 활용한 NN 모델은 엔지니어링에 공수가 덜 듦(+) unseen feature 간의 조합을 일반화하는 데 효과적(..