熊友们，Llama3大模型开源发布了一个月左右，很多熊友反馈让我做一个集成Llama3大模型的整合包放到aistarter上，这！没问题的~但肯定需要排期了，毕竟熊友们在许愿池许下的愿望太多了，我先做个教程吧，教大家本地怎么手动部署大模型吧。方法有很多，这里我仅推荐我认为不错且不错的方法，这里给大家列一下这个视频内容的整体框架吧：

1、 下载地址和方法

2、 安装方法（其实都大同小异，下载双击安装搞定，其中Ollama+open webui是我最喜欢的）

3、 模型存放路径修改

4、 不安装直接体验

5、 aistarter市场，越多人想要的项目咱就尽量排在前面，视频评论就是许愿池，求整合包的单个评论大于1000个赞的就不排期了，直接先安排整合打包。

 

 

一、好了，要安装首先是得知道在哪里下载，我附上地址下载应该都会吧，每一款工具也是可以直接一键下载大模型的。最后，咱把视频所说的工具和模型都放到了网盘，通过网盘下载也是OK的。

模型下载：

Llama 3 官网链接：https://llama.meta.com/llama3

模型下载链接：https://llama.meta.com/llama-downloads/

Hugging Face 链接：https://huggingface.co/meta-llama

Replicate 链接：https://replicate.com/meta

GitHub 项目地址：https://github.com/meta-llama/llama3

 

工具下载：

GPT4All：适合低配置用户，可以在CPU/GPU上运行。

下载地址：https://gpt4all.io/

 

LMstudio：支持下载多个模型，包括8B和70B等，提供更多模型选择！

下载地址：https://lmstudio.ai/

 

Jan：https://jan.ai/

 

Ollama：支持多平台！

下载地址：https://ollama.com/

 

open-webui：https://github.com/open-webui/open-webui

 

Docker：https://www.docker.com/products/docker-desktop/

 

我电脑是win平台的，视频教程所使用的模型和工具我就打包放网盘了，需要的也可以直接下载。

网盘下载：https://pan.quark.cn/s/16c588e48877

 

二、安装方法真的很多，最简单的一定是后面我整合到aistarter市场里面的，一键下载安装就可以了。

但目前时间精力有限，给熊友们介绍四种方法吧，熊哥外貌控，仅喜欢Ollama+open webui方式去使用的，和ChatGPT不能说毫不相干简直一模一样，毕竟用户习惯摆在那里，前面几个工具熊哥也简单的介绍一下，好了，我们开始：

GPT4All

双击安装，在线下载模型、使用。

LMstudio

双击安装，在线下载模型、使用。（这个模型比较多，有很多用户量化后分享的）

Jan

双击安装，在线下载模型、使用。

对吧，所有工具痛点主要是网络环境问题，这个只能自己想办法解决哈。详细的安装步骤可以看视频

 

好了，最后一款工具：Ollama+open webui，熊哥推荐的应该不会差，我都是自己亲自测试体验后才给大家录视频的，所以你懂的！！点赞！关注！转发分享一下吧，主动点嘛~~哈哈感谢支持啦，我们开始

（1）下载

1、 下载Ollama

2、 下载open webui

3、 下载Docker

 

（2）安装

1、安装Ollama

2、并在 Windows 上打开 WSL 功能：

4、 安装Docker

5、 Ollama和Docker设置路径，这个非必要。

6、 安装本地open webui

(1)在CPU下运行：

docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行：

docker run -d -p 3000:8080 –gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data –name open-webui –restart always ghcr.io/open-webui/open-webui:ollama

（4）安装完成通过本地地址：http://127.0.0.1:3000 进行访问

 

三、模型存放路径修改

1、前三款工具分别在设置里面就可以设置啦，我猜到部分熊友应该不懂英文，又迷茫了，其实！熊哥也很水的，最简单的办法就是打开微信Ctrl+A翻译成中文，这个时候你就是王者，哪里需要看教程。

2、Ollama默认安装路径在C盘，右键打开安装路径，剪切到你想存放的盘符，然后设置环境变量，主要是模型太大，C盘正常不够用。

默认情况下，ollama模型的存储目录如下：

· macOS: ~/.ollama/models

· Linux: /usr/share/ollama/.ollama/models

· Windows: C:Users.ollamamodels

如果需要使用不同的目录，则需设置环境变量OLLAMA_MODELS, 把它设置为所选目录。

https://github.com/ollama/ollama/blob/main/docs/faq.md

四、免费安装在线体验地址

NVIDIA Build：https://build.nvidia.com/explore/discover

Groq Playground：https://console.groq.com/playground

Perplexity AI：https://www.perplexity.ai/

Llama Family：https://llama.family/model

Tavily：https://app.tavily.com/home

 

五、重复一下，aistarter是我开发的ai项目管理平台，免费、简单易用！接着目前已经有上万的熊友在使用了，如果出现问题可以翻翻我其他的视频，出现问题大概率是你电脑系统问题或者设置的问题，不然上万的熊友不能使用早骂惨我了哈！！！关于aistarter市场，越多人想要的项目咱就尽量排在前面，视频评论就是许愿池，求整合包的单个评论大于1000个赞的就不排期了，直接先安排整合打包。好了，再见！我们下个视频再见。