Дальнейшее дообучение
#1
by
alamacra
- opened
В описании сказано, что T-lite предназначена для дальнейшего дообучения. Есть какая-то специфика, примеры, как это стоит лучше производить?
В описании сказано, что T-lite предназначена для дальнейшего дообучения. Есть какая-то специфика, примеры, как это стоит лучше производить?
Если вам нужно решить конкретную задачу - нужно собрать размеченный датасет под эту задачу и сделать SFT/PEFT поверх этой модели
Пример sft есть репозитории turbo-alignment - https://github.com/turbo-llm/turbo-alignment/blob/main/tutorials/sft/sft.ipynb
.ipynb вне доступа, судя по всему, однако другие файлы есть. Спасибо. Подготовка датасета это отдельный вопрос, конечно, вот тут пример точно не помешал бы.