제공해주신 두 영상의 내용을 바탕으로 LLMFit과 whichllm의 구체적인 사용법과 핵심 명령어(플래그)를 정리해 드립니다.
두 도구 모두 설치 및 구동을 위해서는 각 GitHub 저장소(AlexsJones/llmfit, Andyyyy64/whichllm)의 가이드를 참고하여 CLI 환경에서 먼저 설치 명령어를 실행해야 합니다.
※ 현재 내 터미널 환경(OS, 패키지 매니저 등)에 따라 구체적인 설치 명령어나 실행 방법이 달라질 수 있으니 참고 바랍니다.
1. LLMFit 사용법 🛠️
더보기
LLMFit은 화면에 텍스트로 메뉴가 나타나는 TUI 방식으로, 실행 후 단축키를 눌러 직관적으로 조작합니다 (0:55).
- 컨텍스트 크기 설정 (2:50): 대문자 A를 누른 뒤 Context Cap 메뉴에 원하는 컨텍스트 크기를 입력하고 엔터를 치면 점수가 재계산됩니다 (2:59).
- 사용 목적 필터링 (3:28): 대문자 U를 누르면 코딩용, 채팅용 등 목적별 선택창이 뜹니다 (3:37). 방향키로 이동해 원하는 목적(예: Coding) 외에 다른 것은 엔터로 해제한 뒤 ESC를 누르면 적용됩니다 (3:37).
- 정렬 방식 변경 (3:45): S를 누르면 정렬 기준 컬럼이 변경되며, G를 누르면 오름차순과 내림차순이 전환됩니다 (3:54).
- 런타임 및 포맷 필터링 (4:04): 대문자 R을 눌러 사용하는 백엔드 런타임별 호환 모델을 고를 수 있습니다 (4:04). (예: Llama.cpp를 골랐다면 A를 눌러 GGUF 포맷만 필터링 가능) (4:14).
- 자체 성능 테스트 (Bench) (6:02): LLMFit의 강력한 유틸리티 기능으로, 추천받은 모델을 내 PC에서 직접 돌려보며 실제 초당 토큰 수(TPS)를 측정하고 예측치와 비교할 수 있습니다 (6:02).
2. whichllm 사용법 🧠
더보기
whichllm은 시각적인 메뉴 없이 터미널 창에 직접 명령어와 옵션을 타이핑하는 CLI 방식입니다 (2:38). 실행 시 5가지 핵심 플래그(옵션)를 조합하여 사용합니다 (2:55).
💡 추천 명령어 예시 (코딩용 모델을 찾을 때) (3:03)
터미널에 아래와 같은 형태로 플래그를 붙여 명령어를 실행합니다 (3:03).
whichllm --profile coding --context-length 4096 --top 20
📌 핵심 플래그 5가지 옵션 설명 (2:55)
- --profile (3:25): 전문 분야 및 목적에 따라 모델을 필터링합니다 (예: coding, chat 등) (3:03).
- --context-length (3:25): 내가 활용하려는 모델의 최대 컨텍스트 크기를 지정합니다 (3:34).
- --speed 또는 --min-speed (3:34): 추론 속도를 기준으로 필터링하며, 숫자로 정할 때는 min-speed를 씁니다 (3:34).
- --fit (3:42): 메모리 적합도를 설정합니다 (3:42). GPU 오프로딩을 하면 안 되는 환경이라면 값으로 GPU를 지정하여 필터링합니다 (3:52).
- --evidence (4:02): 공식 벤치마크 출처(LMSYS, LiveBench 등) 기반의 점수만 필터링해서 보고 싶을 때 사용합니다 (1:34).
- --top (4:47): 기본 결과는 10개만 나오므로, 더 많은 모델 목록을 보고 싶을 때 개수를 늘려주는 옵션입니다 (4:37).
ref)