간단하게 모델 추론을 서빙하는 서버를 만들었는데,
대화기록을 기억하지 못하고 일회성 대화만 진행되는 현상이 나타났습니다.
그래서 좀더 공부해보니,
session_id를 활용해서 각 session_id에 body 값을 지정해서 이전 대화를 기억하는 방법을 알게되어 적용하게 되었습니다.
[GitHub]
https://github.com/Kim-MyeongOk/ollama/pull/4
[결과]
'LLM' 카테고리의 다른 글
| swagger 파일 (0) | 2026.06.23 |
|---|---|
| 모델 서빙 초기 (0) | 2026.06.23 |