metadata

base_model: Alibaba-NLP/gte-multilingual-base
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
  - dot_accuracy@1
  - dot_accuracy@3
  - dot_accuracy@5
  - dot_accuracy@10
  - dot_precision@1
  - dot_precision@3
  - dot_precision@5
  - dot_precision@10
  - dot_recall@1
  - dot_recall@3
  - dot_recall@5
  - dot_recall@10
  - dot_ndcg@10
  - dot_mrr@10
  - dot_map@100
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:303863
  - loss:CachedGISTEmbedLoss
  - legal
  - taxation
  - fiscalité
  - tax
widget:
  - source_sentence: >-
      Élucider la signification de 'navire de plaisance' d'après l'article 217
      undecies du Code général des impôts et détailler les différents types
      d'investissements concernés.
    sentences:
      - >-
        Selon l'article 217 undecies du Code général des impôts, pour bénéficier
        de la déduction fiscale, les investissements doivent être réalisés sous
        forme de souscriptions au capital de sociétés qui gèrent des concessions
        de service public local. Ces investissements doivent être spécifiquement
        orientés vers des activités productives assignées à ces concessions pour
        une durée minimale de cinq ans. En outre, ces concessions doivent opérer
        exclusivement dans des secteurs éligibles situés dans les départements
        ou collectivités d'outre-mer, contribuant ainsi au développement
        économique des territoires ultramarins.
      - >-
        Dans le contexte de l'article 217 undecies du Code général des impôts,
        un 'navire de plaisance' désigne une embarcation spécifiquement utilisée
        pour des activités de loisir, excluant ainsi toute utilisation
        professionnelle telle que la pêche ou le transport. Les investissements
        pertinents pouvant bénéficier de cet agrément incluent non seulement
        l'achat ou la construction de ces navires, mais aussi leur utilisation
        dans des activités de tourisme comme la location sous différentes
        formes, les voyages organisés et la pêche de loisir, ainsi que les
        investissements dans les infrastructures et équipements nécessaires à
        ces activités touristiques.
      - >-
        L'article R. 257 B-1 du Livre des Procédures Fiscales organise les
        modalités pratiques relatives à l'information du contribuable quant à la
        mise en œuvre d'une compensation fiscale de recouvrement. Cette
        disposition confère au contribuable le droit d'être informé en amont de
        la réalisation de la compensation. Ce dispositif implique que le
        comptable public est tenu de communiquer avec le contribuable, afin de
        l'éclairer sur le processus et les conséquences de cette opération.
        L'information préalable joue un rôle crucial, car elle accorde au
        redevable l'opportunité de comprendre les ajustements à venir sur ses
        comptes vis-à-vis de l'administration fiscale.
  - source_sentence: >-
      Énumérer en détail les informations requises par l'article 50-00 G, Annexe
      IV du Code général des impôts concernant la déclaration récapitulative
      mensuelle que doit établir l'entrepositaire agréé.
    sentences:
      - >-
        Pour se conformer aux dispositions imposées par l'article 50-00 G,
        Annexe IV du Code général des impôts, l'entrepositaire agréé est tenu de
        rédiger une déclaration récapitulative mensuelle distincte pour chaque
        entrepôt fiscal suspensif des droits d'accises qu'il gère. Une telle
        déclaration doit comprendre : les noms ou la dénomination de
        l'entreprise, l'adresse du siège social ou du principal établissement,
        le numéro d'identification de l'entrepôt fiscal, l'adresse de l'entrepôt
        fiscal, le lieu de tenue de la comptabilité matières, l'année et le mois
        concernés par la déclaration, la date et le lieu d'établissement de la
        déclaration ainsi que la signature et le cachet de l'entreprise. Elle
        doit également indiquer la raison sociale de la caution ou, le cas
        échéant, la mention 'Dispense'. Au besoin, elle peut comporter des
        mentions relatives aux comptes d'âge ou de vieillissement, les
        références aux contrats d'achat qui exigent un visa de l'établissement
        mentionné dans l'article L. 621-1 du Code rural et de la pêche maritime,
        les numéros d'enregistrement des contrats d'achat et les numéros des
        déclarations de transactions soumises aux interprofessions, ainsi que
        l'avis de blocage, l'engagement de garantie ou la mainlevée de warrant
        agricole ou de l'engagement de garantie, selon l'applicabilité à chaque
        cas particulier.
      - >-
        L'intégration de Mayotte dans le champ d'application du Code général des
        impôts, rendant ainsi les entreprises mahoraises éligibles au crédit
        d'impôt pour investissements productifs outre-mer, a été actée par le
        législateur au travers de la loi n° 2010-1487 du 7 décembre 2010. Cette
        loi a élevé Mayotte au statut de département, étendant à ce titre
        l'ensemble des dispositions du CGI. L'ordonnance n° 2013-837 du 19
        septembre 2013 est venue quant à elle expliciter les adaptations
        nécessaires au code des douanes et au CGI pour Mayotte. Conséquence
        directe de ces textes, les entreprises exerçant à Mayotte peuvent
        prétendre au crédit d'impôt en vigueur dès le 1er janvier 2014,
        conformément à l'article 244 quater W du CGI.
      - >-
        Le relevé des frais généraux prévu à l'article 54 quater du Code général
        des impôts doit comporter les renseignements propres à l'exercice pour
        lequel il est fourni et ceux qui se rapportent à l'exercice précédent.
  - source_sentence: >-
      Quels sont les éléments que doit contenir la demande déposée auprès de la
      direction générale des finances publiques pour que les sociétés,
      compagnies ou entreprises françaises puissent bénéficier du régime fiscal
      prévu pour l'émission de séries spéciales d'obligations à l'étranger ?
    sentences:
      - >-
        Pour le premier exercice comptable de l'entreprise d'une durée de
        quatorze mois, le plafond standard d'exonération de 61 000 € est ajusté
        au prorata de la durée, donnant un nouveau plafond d'exonération de 71
        166 € (61 000 € x 14/12).
      - >-
        Pour être admises à bénéficier du régime fiscal prévu au 1 de l'article
        131 ter du Code général des impôts, les sociétés, compagnies ou
        entreprises françaises qui se proposent d'émettre à l'étranger des
        séries spéciales d'obligations, doivent déposer au préalable une demande
        spéciale à la direction générale des finances publiques. Cette demande
        indique la date et les conditions de l'émission ainsi que le nombre, le
        montant et les numéros des titres à émettre.
      - >-
        Pour atténuer certaines contraintes fiscales, les sociétés étrangères
        exerçant une activité sur le territoire français ont la possibilité de
        restreindre le montant de la retenue à la source, qu'elles sont tenues
        de verser en vertu de l'article 115 quinquies du Code général des
        impôts, à une somme équivalente à l'impôt définitivement dû. Cette
        réduction prend en considération les prévisions de distributions de
        dividendes et le lieu de résidence fiscale des actionnaires. Pour
        bénéficier de ce dispositif, lesdites sociétés doivent expressément
        formuler une demande en référence à la directive pertinente et la
        joindre à la déclaration n° 2777-D-SD. Cela implique un suivi rigoureux
        de l'impact des distributions réelles et des domiciliations des
        bénéficiaires afin d'éviter les insuffisances de versement, sous peine
        de régularisation ultérieure accompagnée de l'intérêt de retard selon
        les articles 1727 et 1729 du même code.
  - source_sentence: >-
      Expliquez comment est organisé le recouvrement de l'impôt sur la fortune
      immobilière en référence aux modalités décrites dans l'article 1658 du
      Code général des impôts.
    sentences:
      - >-
        Dans le contexte de la déclaration des revenus fonciers, la société doit
        émettre une attestation annuelle qui doit être remise à chaque associé
        au plus tard le deuxième jour ouvré après le 1er mai, selon les
        modalités fixées par le décret n° 2009-316 du 20 mars 2009. Cette
        attestation revêt une importance cruciale puisqu'elle permet aux
        associés de renseigner correctement leur déclaration de revenus fonciers
        via l'imprimé n° 2044 spécial. Elle doit recenser des informations
        précises : l'identité et l'adresse de l'associé, la détention des parts
        au cours de l'année, le respect des conditions de loyer, le montant de
        l'amortissement ainsi que le revenu net foncier qui découle des parts de
        l'associé, tant dans le régime de droit commun qu'en incluant la
        déduction liée à l'amortissement.
      - >-
        Le recouvrement de l'impôt sur la fortune immobilière s'orchestre
        conformément aux dispositions disposées dans l'article 1658 du Code
        général des impôts. Cela implique que les techniques, les procédures,
        ainsi que les moyens d'exécution prévus pour le recouvrement de cet
        impôt sont alignés sur ceux établis pour l'impôt sur le revenu.
      - >-
        L'article 981 du Code général des impôts établit que les normes
        régissant les droits d'enregistrement, sauf spécification contraire,
        sont adaptées à la gestion de l'impôt sur la fortune immobilière. Cela
        signifie que les méthodes de contrôle, telles que les audits et
        inspections, ainsi que les procédures de règlement des contentieux sont
        extensibles à l'impôt sur la fortune immobilière. Cette approche
        garantit une uniformité des pratiques administratives fiscales,
        facilitant ainsi une application homogène et cohérente des lois fiscales
        relatives à la fortune immobilière.
  - source_sentence: >-
      Exposer les modalités de dérogation au secret fiscal autorisant le juge à
      demander des documents fiscaux nécessaires pour résoudre un litige, en
      vertu de l'article L. 143 du Livre des Procédures Fiscales.
    sentences:
      - >-
        Selon les dispositions du Bulletin officiel des finances
        publiques-instructions administratives, spécifiquement le
        BOI-DJC-SECR-10-20-50, le procureur de la République détient le droit,
        dans le contexte de toute investigation judiciaire, qu'elle relève d'une
        enquête de flagrance, préliminaire ou autre, de solliciter des
        renseignements ou documents essentiels à l'enquête auprès de
        l'administration fiscale. Cette sollicitation peut être adressée
        directement ou via un officier de police judiciaire agissant sur une
        réquisition du procureur. Conformément à l'article L.141 A du Livre des
        procédures fiscales, le secret fiscal ne constitue pas un frein légal à
        la transmission des informations ou documents exigés par le procureur.
      - >-
        L'article 199 novovicies du Code général des impôts dispose de modalités
        de réduction d'impôt spécifiques pour les transactions d'acquisition et
        de construction durant les années 2023 et 2024. En 2023, les bénéfices
        de cette réduction s'établissent à 4,5 % pour la première phase
        triennale et à 2,5 % pour la seconde. Pour les opérations effectuées en
        2024, les réductions offertes sont de 3 % pendant la première période
        triennale et de 2 % pour la suivante. Ces pourcentages se rapportent aux
        acquisitions non mentionnées au 5° du B du I ainsi qu'aux constructions
        référencées au 1° du B du I, avec nécessité que le permis de construire
        ait été délivré durant l'année correspondante.
      - >-
        Conformément aux dispositions de l'article L. 143 du Livre des
        Procédures Fiscales, le secret fiscal peut être levé dans le cadre d'un
        litige par décision du juge. Cette mesure vise à autoriser la
        présentation de documents fiscaux, jugés utiles par le magistrat pour
        trancher une affaire. La levée de ce secret est toutefois soumise à une
        interprétation stricte, de sorte que seuls les documents réellement
        susceptibles d'éclairer le juge sur l'étendue du préjudice des individus
        impliqués peuvent être divulgués. Les renseignements qui n'ont de
        pertinence que pour des questions périphériques de la procédure ou qui
        se rapportent uniquement à l'application d'un jugement déjà prononcé
        sont exclus de cette possibilité de communication.
co2_eq_emissions:
  emissions: 2036.3553910202609
  energy_consumed: 5.516569338938681
  source: codecarbon
  training_type: fine-tuning
  on_cloud: false
  cpu_model: AMD EPYC 9V84 96-Core Processor
  ram_total_size: 314.68053817749023
  hours_used: 9.954
  hardware_used: 1 x NVIDIA H100 NVL
model-index:
  - name: SentenceTransformer based on Alibaba-NLP/gte-multilingual-base
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: Lemone
          type: Lemone
        metrics:
          - type: cosine_accuracy@1
            value: 0.9736673089274245
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.9916506101477199
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.993577392421323
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.9967886962106616
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.9736673089274245
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.33055020338257335
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1987154784842646
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.09967886962106615
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.9736673089274245
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.9916506101477199
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.993577392421323
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.9967886962106616
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.9865226900324854
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.9830947793375538
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.9832069316895906
            name: Cosine Map@100
          - type: dot_accuracy@1
            value: 0.9736673089274245
            name: Dot Accuracy@1
          - type: dot_accuracy@3
            value: 0.9916506101477199
            name: Dot Accuracy@3
          - type: dot_accuracy@5
            value: 0.993577392421323
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.9967886962106616
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.9736673089274245
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.33055020338257335
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.1987154784842646
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.09967886962106615
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.9736673089274245
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.9916506101477199
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.993577392421323
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.9967886962106616
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.9865226900324854
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.9830947793375538
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.9832069316895906
            name: Dot Map@100
license: apache-2.0
language:
  - fr
datasets:
  - louisbrulenaudet/code-impots
  - louisbrulenaudet/code-impots-annexe-iv
  - louisbrulenaudet/code-impots-annexe-iii
  - louisbrulenaudet/code-impots-annexe-i
  - louisbrulenaudet/code-impots-annexe-ii
  - louisbrulenaudet/livre-procedures-fiscales
  - louisbrulenaudet/bofip

Lemone-Embed: A Series of Fine-Tuned Embedding Models for French Taxation

This series is made up of 7 models, 3 basic models of different sizes trained on 1 epoch, 3 models trained on 2 epochs making up the Boost series and a Pro model with a non-Roberta architecture.

This sentence transformers model, specifically designed for French taxation, has been fine-tuned on a dataset comprising 43 million tokens, integrating a blend of semi-synthetic and fully synthetic data generated by GPT-4 Turbo and Llama 3.1 70B, which have been further refined through evol-instruction tuning and manual curation.

The model is tailored to meet the specific demands of information retrieval across large-scale tax-related corpora, supporting the implementation of production-ready Retrieval-Augmented Generation (RAG) applications. Its primary purpose is to enhance the efficiency and accuracy of legal processes in the taxation domain, with an emphasis on delivering consistent performance in real-world settings, while also contributing to advancements in legal natural language processing research.

This is a sentence-transformers model finetuned from Alibaba-NLP/gte-multilingual-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: Alibaba-NLP/gte-multilingual-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Developed by: Louis Brulé Naudet
Funded by: Microsoft for Startups
Shared by: Louis Brulé Naudet
Model type: Sentence Transformers
Language(s) (NLP): FR
License: Apache 2
Finetuned from model: Alibaba-NLP/gte-multilingual-base

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("louisbrulenaudet/lemone-gte-embed-max")
# Run inference
sentences = [
    "Exposer les modalités de dérogation au secret fiscal autorisant le juge à demander des documents fiscaux nécessaires pour résoudre un litige, en vertu de l'article L. 143 du Livre des Procédures Fiscales.",
    "Conformément aux dispositions de l'article L. 143 du Livre des Procédures Fiscales, le secret fiscal peut être levé dans le cadre d'un litige par décision du juge. Cette mesure vise à autoriser la présentation de documents fiscaux, jugés utiles par le magistrat pour trancher une affaire. La levée de ce secret est toutefois soumise à une interprétation stricte, de sorte que seuls les documents réellement susceptibles d'éclairer le juge sur l'étendue du préjudice des individus impliqués peuvent être divulgués. Les renseignements qui n'ont de pertinence que pour des questions périphériques de la procédure ou qui se rapportent uniquement à l'application d'un jugement déjà prononcé sont exclus de cette possibilité de communication.",
    "Selon les dispositions du Bulletin officiel des finances publiques-instructions administratives, spécifiquement le BOI-DJC-SECR-10-20-50, le procureur de la République détient le droit, dans le contexte de toute investigation judiciaire, qu'elle relève d'une enquête de flagrance, préliminaire ou autre, de solliciter des renseignements ou documents essentiels à l'enquête auprès de l'administration fiscale. Cette sollicitation peut être adressée directement ou via un officier de police judiciaire agissant sur une réquisition du procureur. Conformément à l'article L.141 A du Livre des procédures fiscales, le secret fiscal ne constitue pas un frein légal à la transmission des informations ou documents exigés par le procureur.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: Lemone
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.9737
cosine_accuracy@3	0.9917
cosine_accuracy@5	0.9936
cosine_accuracy@10	0.9968
cosine_precision@1	0.9737
cosine_precision@3	0.3306
cosine_precision@5	0.1987
cosine_precision@10	0.0997
cosine_recall@1	0.9737
cosine_recall@3	0.9917
cosine_recall@5	0.9936
cosine_recall@10	0.9968
cosine_ndcg@10	0.9865
cosine_mrr@10	0.9831
cosine_map@100	0.9832
dot_accuracy@1	0.9737
dot_accuracy@3	0.9917
dot_accuracy@5	0.9936
dot_accuracy@10	0.9968
dot_precision@1	0.9737
dot_precision@3	0.3306
dot_precision@5	0.1987
dot_precision@10	0.0997
dot_recall@1	0.9737
dot_recall@3	0.9917
dot_recall@5	0.9936
dot_recall@10	0.9968
dot_ndcg@10	0.9865
dot_mrr@10	0.9831
dot_map@100	0.9832

Training Details

Training Dataset

Size: 303,863 training samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 27 tokens mean: 51.44 tokens max: 137 tokens	min: 39 tokens mean: 197.8 tokens max: 1607 tokens	min: 48 tokens mean: 224.41 tokens max: 2735 tokens

Loss: CachedGISTEmbedLoss with these parameters:

{'guide': SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: NewModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
), 'temperature': 0.01}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 128
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
fp16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Environmental Impact

Carbon emissions were measured using CodeCarbon.

Energy Consumed: 5.517 kWh
Carbon Emitted: 2.036 kg of CO2
Hours Used: 9.954 hours

Training Hardware

On Cloud: No
GPU Model: 1 x NVIDIA H100 NVL
CPU Model: AMD EPYC 9V84 96-Core Processor
RAM Size: 314.68 GB

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.1.1
Transformers: 4.44.2
PyTorch: 2.3.0+cu121
Accelerate: 0.33.0
Datasets: 2.21.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

If you use this code in your research, please use the following BibTeX entry.

@misc{louisbrulenaudet2024,
  author =       {Louis Brulé Naudet},
  title =        {Lemone-Embed: A Series of Fine-Tuned Embedding Models for French Taxation},
  year =         {2024}
  howpublished = {\url{https://huggingface.co/datasets/louisbrulenaudet/lemone-embed-pro}},
}

Feedback

If you have any feedback, please reach out at louisbrulenaudet@icloud.com.