在1.25欧的机器上部署蒸馏的deepseek到底多弱智

zhujisou

含部署指北 原文：https://zhujisou.com/1278.html

1.5b参数是头两张没有标注的图
7b、8b的也没好到哪去 哈哈哈
个人认为，7b、8b的模型 在加上向量数据库后，可以对接微信或者QQ机器人，回答一些简答的客户问题，或者伪装在线客服，反正纯CPU推理速度也就在1token/s左右，挺像是人工客服打字慢慢回来着。

如果正儿八经的需要生产力的臂助，可以考虑在scnet、autodl部署32b、70b的版本，或者使用目前成本相对较低、api可用性强于deepseek官方的硅基流动（这家也提供了很多公益的小模型api免费用）

大爷

这不是蒸馏deepseek，这是蒸馏大便。

zhujisou

大爷 发表于 2025-2-12 14:41
这不是蒸馏deepseek，这是蒸馏大便。

说真的 本身对1.5b的小参数模型没有抱期望，但是它思考出 兔子2条腿 2个头是真爆笑了

hkkvm

deepseek的模型32B起步才能算正常点，更低的模型连字数统计都完成不了，每次让他写1000字文章只给输出四五百字。