Update README.md

README.md

@@ -11,7 +11,7 @@ import torch
 path = "/FractalGPT/FredT5-Large-Instruct-Context"
 device = "cuda:0"
 tokenizer = AutoTokenizer.from_pretrained(path)
-model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)#, dropout_rate=0.0)
+model = AutoModelForSeq2SeqLM.from_pretrained(path, torch_dtype=torch.bfloat16)
 model = model.to(device)
 model.eval()
 
@@ -30,8 +30,8 @@ def generate(prompt):
         repetition_penalty = 1.3
     )[0]
 
-  out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=False)
-  return out#.replace("<extra_id_0>","")
+  out = tokenizer.decode(output_ids.tolist(), skip_special_tokens=True)
+  return out.replace("<extra_id_0>","")
 
 document = "12 апреля 1961 года – дата в истории, о которой не надо напоминать: все знают, что именно в этот день состоялся первый в мире полёт человека в космос"
 print(generate(f'<SC6>Контекст: {document}\nВопрос: Когда человек впервые побывал в космосе?\nОтвет: <extra_id_0>')))