前言

为了解决遗留问题,提出一种全新的思路。

由于50系显卡架构不支持,被迫放弃lmdeploy

决定完全放弃在Windows系统下捣鼓,因为无法调用显卡加速。

直接逃课

WSL下使用Docker安装

古法搭建环境,感兴趣可以参考一下。

Trae IDE配合WSL2

右侧扩展栏选择远程资源

连接WSL后直接聊天框输入自然语言即可。

特别备注:因为这是虚拟环境,指定了Trae有所有权限,正常情况下千万不能模仿。

逃课成功

正常调用GPU

测试成功