카테고리 없음

[AI] gpt-oss 사용법

보리시스템 2025. 8. 29.

 

1. ollama 다운로드 ( https://ollama.com/download )

 

Download Ollama on macOS

Download Ollama for macOS

ollama.com

 

 

2. ollama를 열고 Settings에서 Airplane mode로 변경하여 로컬로 유지하도록 하기

 

 

3. ollama 프롬프팅창으로 돌아가 아무거나 입력하면 선택한 모델을 다운로드 되는 걸 볼 수 있음

 

4. 다운로드가 완료되면 로컬환경으로 실행된 첫 프롬프팅에 대한 응답이 출력됨

 

  • 모델 데이터 목록 호출하기
Postman에서 GET http://localhost:11434/api/tags를 호출하면 아래와 같이 모델에 대한 데이터 목록이 출력됨

{
    "models": [
        {
            "name": "gpt-oss:20b",
            "model": "gpt-oss:20b",
            "modified_at": "2025-08-29T12:51:44.68498643+09:00",
            "size": 13780173724,
            "digest": "aa4295ac10c3afb60e6d711289fc6896f5aef82258997b9efdaed6d0cc4cd8b8",
            "details": {
                "parent_model": "",
                "format": "gguf",
                "family": "gptoss",
                "families": [
                    "gptoss"
                ],
                "parameter_size": "20.9B",
                "quantization_level": "MXFP4"
            }
        }
    ]
}

 

  • 프롬프팅 입력해서 호출하기
Postman에서 POST http://localhost:11434/api/generate를 호출하면 아래와 같이 모델에 대한 데이터 목록이 출력됨

{
    "model": "gpt-oss:20b",
    "created_at": "2025-08-29T03:59:11.617855Z",
    "response": "Hi there! 👋 How can I help you today?",
    "thinking": "The user says \"hi\". We should respond politely. The instruction: \"You are a helpful assistant.\" So we can respond with greeting. Probably: \"Hello! How can I help you today?\"",
    "done": true,
    "done_reason": "stop",
    "context": [
        200006,
        17360,
        200008,
        3575,
        553,
        17554,
        162016,
        11,
        261,
        4410,
        6439,
        2359,
        22203,
        656,
        7788,
        17527,
        558,
        87447,
        100594,
        25,
        220,
        1323,
        19,
        12,
        3218,
        198,
        6576,
        3521,
        25,
        220,
        1323,
        20,
        12,
        3062,
        12,
        2270,
        279,
        30377,
        289,
        25,
        14093,
        279,
        2,
        13888,
        18403,
        25,
        8450,
        11,
        49159,
        11,
        1721,
        13,
        21030,
        2804,
        413,
        7360,
        395,
        1753,
        3176,
        13,
        200007,
        200006,
        77944,
        200008,
        279,
        2,
        68406,
        279,
        3575,
        553,
        261,
        10297,
        29186,
        13,
        200007,
        200006,
        1428,
        200008,
        3686,
        200007,
        200006,
        173781,
        200005,
        35644,
        200008,
        976,
        1825,
        5003,
        392,
        3686,
        4050,
        1416,
        1757,
        9570,
        167705,
        13,
        623,
        21179,
        25,
        392,
        3575,
        553,
        261,
        10297,
        29186,
        3692,
        2632,
        581,
        665,
        9570,
        483,
        64790,
        13,
        63659,
        25,
        392,
        13225,
        0,
        3253,
        665,
        357,
        1652,
        481,
        4044,
        16842,
        200007,
        200006,
        173781,
        200005,
        17196,
        200008,
        12194,
        1354,
        0,
        61138,
        233,
        3253,
        665,
        357,
        1652,
        481,
        4044,
        30
    ],
    "total_duration": 2629468792,
    "load_duration": 112984833,
    "prompt_eval_count": 82,
    "prompt_eval_duration": 520390333,
    "eval_count": 62,
    "eval_duration": 1994635917
}