---
license: mit
---

BEEP! 데이터셋으로 Epoch 10으로 파인튜닝하여 결과를 살펴보겠습니다.

|     | Loss |  Acc  | Prec |  Rec  |   F1  |
|-----|------|-------|------|-------|-------|
|TRAIN| 0.11 | 0.965 | 0.966| 0.972 | 0.969 |
| VAL | 0.73 | 0.807 | 0.947| 0.749 | 0.837 |

threshold 0.5 기준으로 구분하였을 때, dev 데이터셋에 대한 정확도는 0.85 입니다.

그리고 임베딩 결과물을 t-SNE로 시각화하여보았습니다.

https://v5.core.today/notebook/34XX0RYM4#KcELECTRA_base_beep.ipynb


```python
model = Model.load_from_checkpoint(latest_ckpt);
def infer(x):
    return torch.softmax(
        model(**model.tokenizer(x, return_tensors='pt')
    ).logits, dim=-1)
```


```
infer('송중기 시대극은 믿고본다. 첫회 신선하고 좋았다.')
```
```
tensor([[0.7414, 0.2586]], grad_fn=<SoftmaxBackward>)
```

```
infer('유이 자연스러워진 연기')
```
```
tensor([[0.7627, 0.2373]], grad_fn=<SoftmaxBackward>)
```