JohnnyBoy00
commited on
Commit
•
325707b
1
Parent(s):
c1fccfb
Update README.md
Browse files
README.md
CHANGED
@@ -5,7 +5,7 @@ datasets:
|
|
5 |
tags:
|
6 |
- generated_from_trainer
|
7 |
widget:
|
8 |
-
- text: "Antwort:
|
9 |
---
|
10 |
|
11 |
# mbart-finetuned-saf-legal-domain
|
@@ -84,8 +84,8 @@ The following results were achieved.
|
|
84 |
|
85 |
| Split | SacreBLEU | ROUGE-2 | METEOR | BERTScore | Accuracy | Weighted F1 | Macro F1 |
|
86 |
| --------------------- | :-------: | :-----: | :----: | :-------: | :------: | :---------: | :------: |
|
87 |
-
| test_unseen_answers |
|
88 |
-
| test_unseen_questions | 3.
|
89 |
|
90 |
|
91 |
The script used to compute these metrics and perform evaluation can be found in the `evaluation.py` file in this repository.
|
@@ -100,7 +100,7 @@ from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
|
|
100 |
model = AutoModelForSeq2SeqLM.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
|
101 |
tokenizer = AutoTokenizer.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
|
102 |
|
103 |
-
example_input = 'Antwort:
|
104 |
inputs = tokenizer(example_input, max_length=256, padding='max_length', truncation=True, return_tensors='pt')
|
105 |
|
106 |
generated_tokens = model.generate(
|
@@ -114,5 +114,5 @@ output = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
|
|
114 |
The output produced by the model then looks as follows:
|
115 |
|
116 |
```
|
117 |
-
|
118 |
```
|
|
|
5 |
tags:
|
6 |
- generated_from_trainer
|
7 |
widget:
|
8 |
+
- text: "Antwort: Wird sich nicht an die Auflagen gehalten (unzureichende Eigenbemühung), droht eine Sperrzeit von 1-2 Wochen. Dadurch wird für die genannte zeit keine Leistung gezahlt, die Anspruchsdauer vermindert sich insgesamt. Bei wichtigen Gründen wird die Sperrzeit nicht verordnet. Lösung: Merkblatt 1 für Arbeitslose, S. 22: Erbringen Sie die Pflichten im Zusammenhang mit den Eigenbemühungen nicht, nicht rechtzeitig oder nicht vollständig, tritt eine Sperrzeit (0,75 p) ein. Merkblatt 1 für Arbeitslose, S. 55: Die Dauer einer Sperrzeit bei unzureichenden Eigenbemühungen beträgt zwei Wochen. (0,25 p). Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?"
|
9 |
---
|
10 |
|
11 |
# mbart-finetuned-saf-legal-domain
|
|
|
84 |
|
85 |
| Split | SacreBLEU | ROUGE-2 | METEOR | BERTScore | Accuracy | Weighted F1 | Macro F1 |
|
86 |
| --------------------- | :-------: | :-----: | :----: | :-------: | :------: | :---------: | :------: |
|
87 |
+
| test_unseen_answers | 42.8 | 43.7 | 58.2 | 57.5 | 81.0 | 80.1 | 74.6 |
|
88 |
+
| test_unseen_questions | 3.2 | 5.0 | 20.0 | 14.8 | 60.7 | 55.3 | 55.4 |
|
89 |
|
90 |
|
91 |
The script used to compute these metrics and perform evaluation can be found in the `evaluation.py` file in this repository.
|
|
|
100 |
model = AutoModelForSeq2SeqLM.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
|
101 |
tokenizer = AutoTokenizer.from_pretrained('Short-Answer-Feedback/mbart-finetuned-saf-legal-domain')
|
102 |
|
103 |
+
example_input = 'Antwort: Wird sich nicht an die Auflagen gehalten (unzureichende Eigenbemühung), droht eine Sperrzeit von 1-2 Wochen. Dadurch wird für die genannte zeit keine Leistung gezahlt, die Anspruchsdauer vermindert sich insgesamt. Bei wichtigen Gründen wird die Sperrzeit nicht verordnet. Lösung: Merkblatt 1 für Arbeitslose, S. 22: Erbringen Sie die Pflichten im Zusammenhang mit den Eigenbemühungen nicht, nicht rechtzeitig oder nicht vollständig, tritt eine Sperrzeit (0,75 p) ein. Merkblatt 1 für Arbeitslose, S. 55: Die Dauer einer Sperrzeit bei unzureichenden Eigenbemühungen beträgt zwei Wochen. (0,25 p). Frage: Mit welcher Folge und welcher Dauer müssen Sie rechnen, wenn Sie Ihre notwendigen Eigenbemühungen nicht rechtzeitig oder nicht vollständig erfüllen?'
|
104 |
inputs = tokenizer(example_input, max_length=256, padding='max_length', truncation=True, return_tensors='pt')
|
105 |
|
106 |
generated_tokens = model.generate(
|
|
|
114 |
The output produced by the model then looks as follows:
|
115 |
|
116 |
```
|
117 |
+
Partially correct Feedback: Es ist richtig, dass Sie mit einer Sperrzeit rechnen müssen, in der Sie keine Leistung bekommen. Die gesetzlich vorgesehene Sperrzeit bei unzureichenden Eigenbemühungen beträgt jedoch zwei Wochen.
|
118 |
```
|