Skip to content
/ multi-lora-LLM Public

大模型推理；在线支持不同任务训练的lora推理；支持高并发请求，将请求batch之后推理

0 stars 0 forks Branches Tags Activity
Star
Notifications You must be signed in to change notification settings

xueyongfu11/multi-lora-LLM

BranchesTags

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
config
config
 
 
models
models
 
 
scripts
scripts
 
 
server
server
 
 
templates
templates
 
 
tests
tests
 
 
.gitignore
.gitignore
 
 
README.md
README.md
 
 
args_parser.py
args_parser.py
 
 
logger.py
logger.py
 
 
utils.py
utils.py
 
 

Repository files navigation

Multi-lora-LLM

feature

  • 支持高并发请求，将请求batch之后推理

  • 在线支持不同任务训练的lora推理

  • 快速添加常见大模型，目前base_model只支持qwen系列模型

file explain

  • scripts

    • 服务启动的脚本、压测脚本

  • common_config.py

    • 配置lora 路径

  • base_model.py

    • 大模型推理代码

  • async_server.py

    • 支持多lora的并发服务

  • tests

    • 测试相关代码

About

大模型推理；在线支持不同任务训练的lora推理；支持高并发请求，将请求batch之后推理

Resources

Readme
Activity

Stars

0 stars

Watchers

1 watching

Forks

0 forks
Report repository

Releases

No releases published

Packages

No packages published

Languages