和我们一起协作：您的Ai，在您身边

2024年3月21日 和我们一起协作

在当今的数字世界中，人工智能（AI）已经成为了许多行业的关键技术，特别是在文本生成和代码编写方面。作为研究者和开发者，我们都希望能够更高效地处理冗杂的工作，提高我们的工作效率。在这篇文章中，我们将介绍如何用最简单的办法安装和配置 Ollama、Page Assist 和 Continue，从而在您的计算机上安全地运行AI助手，并提供离线可用性和最小信息泄露。

为了以最小的痛苦完成本文所描述的部署过程，您需要：

  • 最低GTX1660以上的显卡，推荐RTX3060 12G及以上
  • 会复制粘贴和稍微修改命令行指令
  • 不受限制的网络访问，参见TMRaCA

Ollama：轻松部署LLM

Ollama是一个简单易用的工具，可以帮助您在本地运行大型语言模型（LLM），如Llama2、DeepSeek Coder和Mistral。这不仅可以提供不受网络限制的高效运行速度，还能确保您的数据隐私和安全性。

首先，请访问 Ollama 官网，找到"下载"选项并下载适合您操作系统的安装包。完成安装后，通过命令行界面（如 PowerShell/CMD）打开 Ollama 的目录，执行以下命令来安装模型：

ollama pull qwen2:1.5b-instruct-q6_K

这将下载并安装 Mistral 7B 模型到您的本地环境中。您可以根据需要替换模型名称和版本号。如果您用过Docker，您应该很熟悉了。使用以下指令也可以直接在命令行中开始聊天：

ollama run qwen2:1.5b-instruct-q6_K

有哪些很棒的模型？

  • Qwen2是阿里云的顶尖开源模型，提供0.5B、1.5B、7B到72B多种尺寸，是对话到编程的最佳选择。其最小的0.5B尺寸亦可在手机上流畅地运作。
  • Commannd-R是不受限制的模型的最佳选择，有35B和105B的R+两个版本。如果您有强劲的硬件和20G以上的显存，它将是极好的选择。

Page Assist：浏览器助手

为了方便访问 Ollama 的 Web UI，我们需要安装一款浏览器插件——Page Assist。这个扩展程序可以将 Ollama 无缝集成到您的网页浏览体验中。通过侧边栏摘要网页内容，或者搜索在线结果帮助本地A助手提高其知识水平！通过以下步骤安装 Page Assist：

  1. 访问 PageAssist 的Github 页面或在 Chrome/Edge 扩展商店中搜索并安装 Page Assist 插件。
  2. 安装完成后，打开 Page Assist 会默认配置为 Ollama 服务地址，无需进一步设置。

现在，您可以在浏览器中访问 Ollama 的 Web UI，享受各种AI赋能的功能，如自动文本生成、语义分析、代码补全等。同时，在您访问Ollama.com时，PageAssist会在页面上添加一个下载按钮，方便您一键下载更多模型。

Continue插件：开源编程助手

Continue是一个为VSCode设计的开源插件，它将AI集成到您的编辑器中，为您提供一种新的协作方式。该插件支持多种来源的LLM接入，并提供智能建议、错误修复、代码补全等功能。您可以通过与AI对话来解决问题、提出疑问，或者让AI为您生成代码和文本。使用VSCode Continue插件的步骤如下：

  1. 安装Continue扩展：在VS Code中，搜索并安装"Continue"扩展。
  2. 配置Continue：打开Continue标签页，点击下方加号，选择 Ollama-Autodetect即可。
  3. 禁用尝试联网：设置allowAnonymousTelemetry为false，以确保您的数据完全在本地。
  4. 重启VS Code：完成上述步骤后，重启VS Code以使更改生效。
  5. 开始使用Continue插件：在编写代码或文档时，只需在编辑器中输入一些代码或文本，Continue插件会自动为您提供相应的建议和帮助。

现在，您已经成功地使用Continue和Ollama创建了一个本地AI代码助手。您可以问AI助手：“如何在Python中创建一个简单的HTTP服务器？”然后，LLM会生成一个简单的HTTP服务器的代码示例，您可以直接将其添加到您的代码中。或者，您也可以要求LLM帮助您在多个语言间翻译内容和润色文章。

常见问题

模型存储在哪里？

macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\\Users\\<username>\\.ollama\\models

如何将它们设置到其他位置？

如果需要使用其他目录，在第一次启动Ollama之前使用命令提示符创建符号链接即可：

mklink /D C:\\Users\\<User>\\.ollama\\models E:\\AI\\Ollama\\Models

修改系统提示词？从其他LLM模型迁入？

为模型准备 Modelfile 来配置导入参数，以下是一个中文dolphin-mistral的配置： 

FROM `{此处替换为 'ollama list' 列出的模型名称或要导入的.gguf文件路径}`  
SYSTEM """  
使用中文完成简明生动的回答。{或者其他你想用的Prompt}  
"""  
PARAMETER temperature 0.8  
PARAMETER num_ctx 16384

Modelfile创建完成后，使用以下命令导入Ollama：

Ollama create {模型名称} -f Modelfile

结语

AI技术的发展正在不断加速，我们期待未来能够看到更多AI工具的应用和创新。在本文中，我们对Ollama、Page Assist和Continue这些工具的部署进行了介绍，展示了如何在本地安全地运行LLM，同时保持数据的隐私和安全性。通过这种方式，您可以摆脱网络和API的限制，享受更快捷、更智能的工作体验。Ollama无疑是一个很好的例子，它不仅可以在本地运行LLM，而且还可以将这些能力集成到其他应用中，这对于那些不喜欢或无法访问互联网的人来说，无疑提供了一种安全的选择。我们相信AI技术正在改变我们的工作方式，并将继续探索如何利用这些工具赋能未来。希望这篇文章能够帮助您更好地理解和应用AI技术，并在日常工作中发挥作用。