Replies: 2 comments
-
你好 问题解决了吗 |
Beta Was this translation helpful? Give feedback.
0 replies
-
Chat页面用的是lama factory自带的hf引擎,脚本用的是transformer自带的一个小引擎,效果会差很多,这边建议是用API调用chat页面,当然还有一种方案是去拆包自带的那个chat,看看它里面推理相关的这码是怎么写的
…---原始邮件---
发件人: ***@***.***>
发送时间: 2025年2月24日(周一) 晚上9:36
收件人: ***@***.***>;
抄送: ***@***.******@***.***>;
主题: Re: [hiyouga/LLaMA-Factory] chat页面的输出和我用代码直接调用合并完的模型的输出的差距很大 (Discussion #6861)
你好 问题解决了吗
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
|
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
在框架内的chat页面测试训练成功,输出结果满意,导出后我用代码写了个交互页面调用的是导出后的模型,结果相同的输入输出跟在chat页面完全不同,在页面的输出结果跟没训练过一样,但是确认了是调用的训练后的模型,查了一圈猜测可能是推理模型不同的问题,框架用的huggingface-engine,我的页面直接调用了transformers库的推理模式,但是不相信结果会差这么多,而且始终未找到如何用hf-engine做出可视化交互页面的方法,有没有大佬见过相同的问题指导一下或者指导一下上哪下载hf-engine及如何用hf-engine写web上的交互页面,不甚感激。
Beta Was this translation helpful? Give feedback.
All reactions