Ollama平台

2024-12-23 13:21:12 20

Ollama 是一个命令行工具,旨在让用户在本地计算机上运行大型语言模型。它支持用户下载并本地运行多个模型,如 Llama 2、Code Llama 等,并允许创建和自定义自己的模型。这个免费开源的项目目前适用于 macOS 和 Linux 系统,未来计划扩展至 Windows 系统。

此外,Ollama 还提供官方的 Docker 镜像,这使得通过 Docker 容器来部署大型语言模型变得更加容易。这样,所有模型的交互过程都能在本地完成,无需将私密数据传输至外部服务。Ollama 支持在 macOS 和 Linux 系统上启用 GPU 加速,并提供了简单易用的命令行界面(CLI)以及用于与应用程序交互的 REST API。

对于那些需要在本地计算机上运行和测试大型语言模型的开发者和研究人员而言,Ollama 是一个非常实用的工具,它使得用户能够不依赖云服务即可开展工作。

Ollama 支持的模型

Ollama 提供了一个丰富的模型库,用户可以自由选择并安装想要运行的模型。目前,支持超过 40 种模型,并且还在不断扩展。以下是一些可以下载并运行的开源模型示例:

模型 参数数量 文件大小 运行命令
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Mistral 7B 4.1GB ollama run mistral
Llama 2 7B 3.8GB ollama run llama2
Code Llama 7B 3.8GB ollama run codellama
Llama 2 Uncensored 7B 3.8GB ollama run llama2-uncensored
Llama 2 13B 13B 7.3GB ollama run llama2:13b
Llama 2 70B 70B 39GB ollama run llama2:70b
Orca Mini 3B 1.9GB ollama run orca-mini
Vicuna 7B 3.8GB ollama run vicuna

本文转载自互联网,如有侵权,联系 478266466@qq.com 删除。