🌟 ChatGenTitle:使用百万arXiv论文信息在LLaMA模型上进行微调的论文题目生成模型
Note
ChatPaper已经完成了近五年5w篇顶会论文总结,可以助你在科研道路更加顺利:https://chatpaper.org/
一站式服务 / 简单 / 快速 / 高效 / 智能
视频教程
安装部署
在线体验
LLaMa-Lora-7B-3
和LLaMa-Lora-13B-3
模型微调;arXiv
上定时爬取cs.AI 、cs.CV 、cs.LG 论文的任务,目的是为了支持 CS 相关方向的研究;220W+
篇arXiv论文的元信息,这些元信息包括:title
和abstract
,更多的有:id
、submitter
、authors
、comments
、journal-ref
、doi
、categories
、versions
;Note
Meta发布的LLaMA模型禁止商用,因此这里我们开源的是LoRA模型,LoRA模型必须搭配对应版本的LLaMA模型使用才可以,具体请看Chinese-LLaMA-Alpaca #合并模型
模型名称 | 微调数据 | 微调基准模型 | 模型大小 | 微调时长 | 微调效果 |
---|---|---|---|---|---|
✅LLaMa-Lora-7B-3 | arXiv-50-all | LLaMa-7B | -MB | 9 hours | 点击查看 |
✅LLaMa-Lora-7B-3-new | arXiv-50-all | LLaMa-7B | -MB | 12.5 hours | 点击查看 |
✅LLaMa-Lora-7B-cs-3-new | arXiv-cs | LLaMa-7B | -MB | 20.5 hours | 点击查看 |
✅LLaMa-Lora-7B-cs-6-new | arXiv-cs | LLaMa-7B | -MB | 34 hours | 点击查看 |
✅LLaMa-Lora-13B-3 | arXiv-100-all | LLaMa-13B | -MB | 26 hours | 点击查看 |
* 实验在A100 (4X, 80GB)上进行
提示词 | 摘要 | 原始论文题目 | ChatGenTitle | ChatGPT(GPT3.5) | GPT4 | ChatGLM(130B) |
---|---|---|---|---|---|---|
提示词① | 摘要① | Focus-RCNet: A lightweight recyclable waste classification algorithm based on Focus and knowledge distillation | Focus-RCNet: A Lightweight Convolutional Neural Network for Recyclable Waste Image Classification | Focus-RCNet: A lightweight deep learning model for automated waste classification with enhanced recyclable waste image feature recognition | Efficient Waste Classification with Focus-RCNet: A Lightweight Deep Learning Architecture Employing Sandglass Structure, SimAM Attention Mechanism, and Knowledge Distillation for Real-Time Embedded Applications | 超过Token长度 |
提示词② | 摘要② | ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices | ShuffleNet: Efficient Convolutional Neural Networks for Mobile Devices | ShuffleNet: A Computation-Efficient CNN Architecture for Mobile Devices with Superior Performance in Object Detection and ImageNet Classification while Maintaining Accuracy | ShuffleNet: A Computationally Efficient CNN Architecture for Mobile Devices with Enhanced Performance in ImageNet Classification and MS COCO Object Detection | ShuffleNet: An Extremely Computation-Efficient CNN Architecture for Mobile Devices |
提示词③ | 摘要③ | Segment Anything | Segment Anything | Segment Anything: Introducing a New Task, Model, and Dataset for Promptable Image Segmentation with Superior Zero-Shot Performance | Exploring the Segment Anything Project: A Promptable Image Segmentation Model and Extensive Dataset with Impressive Zero-Shot Performance | Segment Anything (SA) Project: A New Task, Model, and Dataset for Image Segmentation |
Note
时代在进步,大模型(LLMs)也是,所以你可以每天来读30篇最新的关于LLM的Paper,保证你的知识不会跟丢!
👉👉👉查看今日LLMs论文
Instruct微调和LoRa微调是两种不同的技术。 Instruct微调是指在深度神经网络训练过程中调整模型参数的过程,以优化模型的性能。在微调过程中,使用一个预先训练好的模型作为基础模型,然后在新的数据集上对该模型进行微调。Instruct微调是一种通过更新预训练模型的所有参数来完成的微调方法,通过微调使其适用于多个下游应用。 LoRa微调则是指对低功耗广域网(LoRaWAN)中的LoRa节点参数进行微调的过程,以提高节点的传输效率。在LoRa微调中,需要了解节点的硬件和网络部署情况,并通过对节点参数进行微小调整来优化传输效率。与Instruct微调相比,LoRA在每个Transformer块中注入可训练层,因为不需要为大多数模型权重计算梯度,大大减少了需要训练参数的数量并且降低了GPU内存的要求。 研究发现,使用LoRA进行的微调质量与全模型微调相当,速度更快并且需要更少的计算。因此,如果有低延迟和低内存需求的情况,建议使用LoRA微调。
如1所述,模型的微调方式有很多种,基于LoRA的微调产生保存了新的权重,我们可以将生成的LoRA权重认为是一个原来LLaMA模型的补丁权重 。至于LLaMA 权重,它则是由Mean公司开源的大模型预训练权重。
加入词表是有一定破坏性的, 一是破坏原有分词体系,二是增加了未训练的权重。所以如果不能进行充分训练的话,可能会有比较大的问题。个人觉得如果不是特别专的领域(比如生物医学等涉及很多专业词汇的领域)没有太大必要去扩充英文词表。 Chinese-LLaMA-Alpaca/issues/16
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
使用和许可声明:ChatGenTitle 仅可以在获得许可下供研究使用。使用仅可用于科学研究,不可用于实际论文写作中,否则,由此产生的一切后果由使用人负责!!!
Feel free to ask any questions, open a PR if you feel something can be done differently!
Created by WangRongsheng