---
license: apache-2.0
datasets:
- Dongwookss/q_a_korean_futsal
language:
- ko
tags:
- unsloth
- trl
- transformer
---

### Base Model : HuggingFaceH4/zephyr-7b-beta 

<img src="https://github.com/ddsntc1/Chatbot_FutFut/assets/38596856/cb1cd8b7-c556-46a8-ab8d-e093af713433.jpg" width="400" height="400">


#### Summary:

- **Unsloth** 패키지를 사용하여 **LoRA** 진행하였습니다.
- **SFT Trainer**를 통해 훈련을 진행
- 활용 데이터
  - [q_a_korean_futsal](https://huggingface.co/datasets/Dongwookss/q_a_korean_futsal)
    - 말투 학습을 위해 '해요'체로 변환하고 답변 종료시 '얼마든지 물어보세요~! 풋풋~!'을 넣어 모델 컨셉을 유지하였습니다.