File size: 504 Bytes
e071ca8 fe385db ea8d9b9 fe385db |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
---
license: apache-2.0
---
使用HF的接口很方便地对RWKV在Alpaca格式数据集基于Peft（注意版本为0.2）或RingPeft库 https://github.com/StarRing2022/ChatGPTX-Uni <br>
进行Lora增量微调及部署服务
底座模型：RWKV-4-World-1.5B（StarRing2022/RWKV-4-World-1.5B）
数据集：test.json，测试用
硬件设备：4090单卡，64G内存
训练轮数：100轮
训练耗时：5分钟左右
GIT开源地址：https://github.com/StarRing2022/HF-For-RWKVWorld-LoraAlpaca/
|