File size: 1,871 Bytes
8da9640 893c468 7567956 893c468 ef9b52c 893c468 7dc63a5 893c468 7dc63a5 893c468 ef3f7ed 893c468 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
---
license: apache-2.0
---
Пример использования:
```python
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from transformers import GenerationConfig
import torch
path = "FractalGPT/FredT5-Large-Instruct-Context"
device = "cuda:0"
tokenizer = AutoTokenizer.from_pretrained(path)
model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)
model = model.to(device)
model.eval()
template = "<SC6>Контекст: {documents}\nВопрос: {question}\nОтвет: <extra_id_0>"
def generate(prompt):
data = tokenizer(prompt, return_tensors="pt")
data = {k: v.to(model.device) for k, v in data.items()}
output_ids = model.generate(
**data,
do_sample=False,
eos_token_id=2,
decoder_start_token_id=0,
pad_token_id=0,
max_new_tokens = 500,
no_repeat_ngram_size = 3,
repetition_penalty = 1.3
)[0]
out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=True)
return out.replace("<extra_id_0>","")
document = """Приказом Министра обороны СССР за успешное выполнение правительственного задания первому космонавту Земли старшему лейтенанту Гагарину было присвоено внеочередное воинское звание «майор».
12 апреля 1961 года – дата в истории, о которой не надо напоминать: все знают, что именно в этот день состоялся первый в мире полёт человека в космос"""
print(generate(f'<SC6>Контекст: {document}\nВопрос: Когда человек впервые побывал в космосе и как его зовут?\nОтвет: <extra_id_0>'))
``` |