Update app.py

app.py

@@ -17,11 +17,11 @@ st.sidebar.image(image, caption=None, width=None, use_column_width=None, clamp=F
 @st.cache_resource
 def load_model(version,text):
     if version == "version base":
-        ner = pipeline('token-classification', model='bourdoiscatie/camembert-base-frenchNER_3entities', tokenizer='bourdoiscatie/camembert-base-frenchNER_3entities', grouped_entities=True)
+        ner = pipeline('token-classification', model='bourdoiscatie/camembert-base-frenchNER_3entities', tokenizer='bourdoiscatie/camembert-base-frenchNER_3entities', aggregation_strategy="simple")
         result = ner(text)
         return result   
     else:
-        ner = pipeline('token-classification', model='bourdoiscatie/camembert-base-frenchNER_4entities', tokenizer='bourdoiscatie/camembert-base-frenchNER_4entities', aggregation_strategy="max")
+        ner = pipeline('token-classification', model='bourdoiscatie/camembert-base-frenchNER_4entities', tokenizer='bourdoiscatie/camembert-base-frenchNER_4entities', aggregation_strategy="simple")
         result = ner(text)
         return result   
 
@@ -71,6 +71,24 @@ if option == "Exemple":
     text = st.text_area("Votre texte", value="Assurés de disputer l'Euro 2024 en Allemagne l'été prochain (du 14 juin au 14 juillet) depuis leur victoire aux Pays-Bas, les Bleus ont fait le nécessaire pour avoir des certitudes. Avec six victoires en six matchs officiels et un seul but encaissé, Didier Deschamps a consolidé les acquis de la dernière Coupe du monde. Les joueurs clés sont connus : Kylian Mbappé, Aurélien Tchouameni, Antoine Griezmann, Ibrahima Konaté ou encore Mike Maignan.",height=175)
     if text:
         to_print = load_model(version,text)
+        
+        dict_to_del = []
+        for i in range(len(to_print)-1):
+            if to_print[i]["end"] == to_print[i+1]["start"]:
+                to_print[i+1]["word"] = to_print[i]["word"]+to_print[i+1]["word"]
+                to_print[i+1]["score"] = (to_print[i]["score"]+to_print[i+1]["score"])/2
+                to_print[i+1]["start"] = to_print[i]["start"]
+                dict_to_del.append(i)
+        to_print = [j for i, j in enumerate(to_print) if i not in dict_to_del]
+        dict_to_del = []
+        for i in range(len(to_print)-1):
+            if (to_print[i]["end"] == to_print[i+1]["start"]-1):
+                to_print[i+1]["word"] = to_print[i]["word"]+" "+to_print[i+1]["word"]
+                to_print[i+1]["score"] = (to_print[i]["score"]+to_print[i+1]["score"])/2
+                to_print[i+1]["start"] = to_print[i]["start"]
+                dict_to_del.append(i)
+        to_print = [j for i, j in enumerate(to_print) if i not in dict_to_del]
+
         display = color_annotation(to_print,text)
         list_to_display = [] # pour pouvoir afficher la couleur, on doit passer les mots à colorier de str en tuple
         for i in range(len(display.split('","'))):