MiLu-GPT / README.md
StarRing2022's picture
Update README.md
7ab1db4
|
raw
history blame
343 Bytes
metadata
license: apache-2.0

MiLu-GPT

基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力

GPT2+BERTokenizer从头训练模型(50W闲聊等语料)

环境:
WIN10+Torch1.31+Cuda11.6
transformer4.29

开源代码:https://github.com/StarRing2022/MiLu-GPT/