모델 서빙 초기

이번에는 ollama qwen3-vl:4b 모델로 간단한 서빙을 지원하는 서버 구현을 진행했습니다.

---

[GitHub]

https://github.com/Kim-MyeongOk/ollama

 

[README]

[실행방법]
conda 가상환경 만들어서 진행했으며, 실행방법은 2가지 방법이 있습니다.
1. [ *.py 파일  ] vscode나 pycharm에서 src폴더에 있는 server.py, client.py 각각 실행하면 동작합니다
2. [ *.bat 파일 ] src 상위 폴더에 있는 *.bat 파일에는 해당 가상환경의 경로를 지정해야 사용 가능합니다

 

 

[가상환경에 대한 pip 설치]
필요한 라이브러리는  requirments.txt 파일로 repo에 있으니 "pip install -r  requirments.txt"  진행하시면 됩니다.

 

 

아래는 실행 테스트 진행한 내용입니다.

run_server.bat
run_client.bat