File size: 343 Bytes
4a53620
 
 
7ab1db4
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
---
license: apache-2.0
---
# MiLu-GPT
基于GPT2+BERT的语言模型,以少量的纯中文语料从头训练,验证小模型在ChatGPT类似友好能力

GPT2+BERTokenizer从头训练模型(50W闲聊等语料)

环境:<br>
WIN10+Torch1.31+Cuda11.6 <br>
transformer4.29<br>



开源代码:https://github.com/StarRing2022/MiLu-GPT/