MChat应用
AI工具
Ollama 是一个命令行工具,旨在让用户在本地计算机上运行大型语言模型。它支持用户下载并本地运行多个模型,如 Llama 2、Code Llama 等,并允许创建和自定义自己的模型。这个免费开源的项目目前适用于 macOS 和 Linux 系统,未来计划扩展至 Windows 系统。
此外,Ollama 还提供官方的 Docker 镜像,这使得通过 Docker 容器来部署大型语言模型变得更加容易。这样,所有模型的交互过程都能在本地完成,无需将私密数据传输至外部服务。Ollama 支持在 macOS 和 Linux 系统上启用 GPU 加速,并提供了简单易用的命令行界面(CLI)以及用于与应用程序交互的 REST API。
对于那些需要在本地计算机上运行和测试大型语言模型的开发者和研究人员而言,Ollama 是一个非常实用的工具,它使得用户能够不依赖云服务即可开展工作。
Ollama 提供了一个丰富的模型库,用户可以自由选择并安装想要运行的模型。目前,支持超过 40 种模型,并且还在不断扩展。以下是一些可以下载并运行的开源模型示例:
模型 | 参数数量 | 文件大小 | 运行命令 |
---|---|---|---|
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Mistral | 7B | 4.1GB | ollama run mistral |
Llama 2 | 7B | 3.8GB | ollama run llama2 |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
Orca Mini | 3B | 1.9GB | ollama run orca-mini |
Vicuna | 7B | 3.8GB | ollama run vicuna |
本文转载自互联网,如有侵权,联系 478266466@qq.com 删除。