머신러닝 딥러닝 개발

메모장

보호되어 있는 글입니다.

보호되어 있는 글입니다.

완성된 전체 s3_helper.py 코드입니다.HTTPS 통신 제어, 파일/객체 업로드·다운로드, 메모리 스트림 처리, 임시/공개 HTTPS URL 발급, 삭제/목록 조회, 그리고 터미널 계층형 파일 트리(print_file_tree) 출력 기능까지 모두 포함되어 있습니다.1. s3_helper.py (전체 코드)import osimport ioimport boto3import loggingfrom typing import Optionalfrom typing import Listfrom typing import Dictfrom typing import Anyfrom botocore.exceptions import..

본 포스팅은 vLLM 등의 LLM 서빙 엔진 앞단에서 대화 맥락 복원, 컨텍스트 압축, 실시간 토큰 스트리밍을 처리하는 LangGraph 기반 백엔드 오케스트레이터 구조를 다룹니다.1. 전체 시스템 아키텍처시스템은 크게 클라이언트 레이어, 백엔드 API 레이어, 오케스트레이션 엔진, 영구 저장소 및 캐시 레이어로 구성되어 있습니다.[ 클라이언트 (React) ] │ │ HTTP / NDJSON 스트리밍 ▼┌─────────────────────────────────────────────────────────────┐│ 백엔드 (FastAPI) ││ ..

제공해주신 두 영상의 내용을 바탕으로 LLMFit과 whichllm의 구체적인 사용법과 핵심 명령어(플래그)를 정리해 드립니다.두 도구 모두 설치 및 구동을 위해서는 각 GitHub 저장소(AlexsJones/llmfit, Andyyyy64/whichllm)의 가이드를 참고하여 CLI 환경에서 먼저 설치 명령어를 실행해야 합니다.※ 현재 내 터미널 환경(OS, 패키지 매니저 등)에 따라 구체적인 설치 명령어나 실행 방법이 달라질 수 있으니 참고 바랍니다. 1. LLMFit 사용법 🛠️더보기LLMFit은 화면에 텍스트로 메뉴가 나타나는 TUI 방식으로, 실행 후 단축키를 눌러 직관적으로 조작합니다 (0:55).컨텍스트 크기 설정 (2:50): 대문자 A를 누른 뒤 Context Cap 메뉴에 원하는 컨텍..

보호되어 있는 글입니다.

간단하게 모델 추론을 서빙하는 서버를 만들었는데,대화기록을 기억하지 못하고 일회성 대화만 진행되는 현상이 나타났습니다. 그래서 좀더 공부해보니,session_id를 활용해서 각 session_id에 body 값을 지정해서 이전 대화를 기억하는 방법을 알게되어 적용하게 되었습니다. [GitHub]https://github.com/Kim-MyeongOk/ollama/pull/4 [결과]

이번에 swagger 파일을 만드는 작업은 FastAPI 에서 http://localhost:8000/openapi.json url 을 통해 얻을 수 있는swagger 파일은 3.1.0 인데, 3.0.0 버전의 파일이 필요해서 진행하게 되었습니다.더보기더보기{ "openapi": "3.1.0", "info": { "title": "FastAPI", "version": "0.1.0" }, "paths": { "/v1/chat/completions": { "post": { "summary": "Chat Completions", "operationId": "chat_completions_v1_chat_completions_post", "re..

이번에는 ollama qwen3-vl:4b 모델로 간단한 서빙을 지원하는 서버 구현을 진행했습니다.[GitHub]https://github.com/Kim-MyeongOk/ollama [README]더보기[실행방법]conda 가상환경 만들어서 진행했으며, 실행방법은 2가지 방법이 있습니다.1. [ *.py 파일 ] vscode나 pycharm에서 src폴더에 있는 server.py, client.py 각각 실행하면 동작합니다2. [ *.bat 파일 ] src 상위 폴더에 있는 *.bat 파일에는 해당 가상환경의 경로를 지정해야 사용 가능합니다 [가상환경에 대한 pip 설치]필요한 라이브러리는 requirments.txt 파일로 repo에 있으니 "pip install -r requirments.tx..

PEP8은 파이썬 코드 스타일 가이드라인으로, 코드의 가독성과 일관성을 높이는 데 중점을 둡니다. 함수 어노테이션 사용은 PEP484에 명시된 스타일 가이드라인을 따르는 것이 좋습니다. PEP8 에서의 Annotaion 사용법PEP8에서는 함수 어노테이션 사용 시 다음과 같은 스타일을 권장합니다:콜론(:) 앞에는 공백을 두지 않고, 뒤에는 공백을 하나 둡니다.-> 기호 앞뒤에는 공백을 하나씩 둡니다.기본 인자 값과 어노테이션을 함께 사용하는 경우, = 기호 양쪽에 공백을 둡니다.def munge(input: AnyStr = None): ...def munge(input: AnyStr, sep: AnyStr = None, limit=1000): ... 구글 스타일 가이드구글은 파이썬 코드 스타일 가이드에..