legal_t5_small_summ_es model
Model for Summarization of legal text written in Spanish. It was first released in this repository. This model is trained on three parallel corpus from jrc-acquis.
Model description
legal_t5_small_summ_es is based on the t5-small model and was trained on a large corpus of parallel text. This is a smaller model, which scales the baseline model of t5 down by using dmodel = 512, dff = 2,048, 8-headed attention, and only 6 layers each in the encoder and decoder. This variant has about 60 million parameters.
Intended uses & limitations
The model could be used for summarization of legal texts written in Spanish.
How to use
Here is how to use this model to summarize legal text written in Spanish in PyTorch:
from transformers import AutoTokenizer, AutoModelWithLMHead, TranslationPipeline
pipeline = TranslationPipeline(
model=AutoModelWithLMHead.from_pretrained("SEBIS/legal_t5_small_summ_es"),
tokenizer=AutoTokenizer.from_pretrained(pretrained_model_name_or_path = "SEBIS/legal_t5_small_summ_es", do_lower_case=False,
skip_special_tokens=True),
device=0
)
es_text = "(2006/852/CE) EL CONSEJO DE LA UNIÓN EUROPEA, Visto el Protocolo sobre los Estatutos del Sistema Europeo de Bancos Centrales y del Banco Central Europeo anejo al Tratado constitutivo de la Comunidad Europea y, en particular, su artículo 27.1, Vista la Recomendación BCE/2006/14 del Banco Central Europeo, de 9 de octubre de 2006, al Consejo de la Unión Europea, sobre los auditores externos del Banka Slovenije [1], Considerando lo siguiente: (1) Las cuentas del Banco Central Europeo (BCE) y de los bancos centrales nacionales del Eurosistema han de ser controladas por auditores externos independientes recomendados por el Consejo de Gobierno del BCE y aprobados por el Consejo de la Unión Europea. (2) Con arreglo al artículo 1 de la Decisión 2006/495/CE del Consejo, de 11 de julio de 2006, de conformidad con el artículo 122, apartado 2, del Tratado sobre la adopción por Eslovenia de la moneda única el 1 de enero de 2007 [2], Eslovenia cumple las condiciones necesarias para la adopción del euro, y la excepción en favor de Eslovenia a la que se hace referencia en el artículo 4 del Acta de adhesión de 2003 [3] se debe suprimir con efectos a partir del 1 de enero de 2007. (3) A raíz de la supresión de la excepción para Eslovenia, el Consejo de Gobierno del Banco Central Europeo recomendó al Consejo que aprobara a Deloitte %amp% Touche revizija d.o.o., como auditores externos del Banka Slovenije para los ejercicios 2007 y 2008, con efectos a partir del ejercicio 2007. (4) Procede atender a la Recomendación del Consejo de Gobierno del Banco Central Europeo y efectuar la consiguiente modificación de la Decisión 1999/70/CE [4]. HA ADOPTADO LA PRESENTE DECISIÓN: Artículo 1 En el artículo 1 de la Decisión 1999/70/CE se añade el apartado siguiente: "13. Se nombra a Deloitte %amp% Touche revizija d.o.o. auditores externos del Banka Slovenije para los ejercicios 2007 y 2008.". Artículo 2 La presente Decisión se notificará al Banco Central Europeo. Artículo 3 La presente Decisión se publicará en el Diario Oficial de la Unión Europea. Hecho en Bruselas, el 28 de noviembre de 2006. Por el Consejo El Presidente E. Heinäluoma [1] DO C 257 de 25.10.2006, p. 19. [2] DO L 195 de 15.7.2006, p. 25. [3] DO L 236 de 23.9.2003, p. 33. [4] DO L 22 de 29.1.1999, p. 69. Decisión modificada en último lugar por la Decisión 2006/476/CE (DO L 188 de 1.7.2006, p. 7). -------------------------------------------------- "
pipeline([es_text], max_length=512)
Training data
The legal_t5_small_summ_es model was trained on JRC-ACQUIS dataset consisting of 23 Thousand texts.
Training procedure
Preprocessing
Pretraining
An unigram model with 88M parameters is trained over the complete parallel corpus to get the vocabulary (with byte pair encoding), which is used with this model.
Evaluation results
When the model is used for classification test dataset, achieves the following results:
Test results :
| Model | Rouge1 | Rouge2 | Rouge Lsum |
|---|---|---|---|
| legal_t5_small_summ_es | 80.23 | 70.16 | 78.69 |