如何在Windows 普通电脑上运行llama3.2 3B大模型?

Meta Llama 3.2 多语言大型语言模型 (LLM) 集合是 1B 和 3B 大小(文本输入/文本输出)的预训练和指令调整生成模型的集合。Llama 3.2 指令调整的纯文本模型针对多语言对话使用案例进行了优化,包括代理检索和摘要任务。在常见的行业基准上,它们的性能优于许多可用的开源和封闭式聊天模型。

模型大小


3B 参数 (默认)
3B 模型在以下任务上优于 Gemma 2 2.6B 和 Phi 3.5-mini 模型:

  • 按照指示作
  • 综述
  • 提示重写
  • 工具使用

 

运行环境要求

 

要在windows上运行llama3.2 3B大模型(至少4核心CPU、8GB内存、M2高IO磁盘)。

 

下载ollama软件并安装

 

https://ollama.com/

 

运行llama3.2 3B大模型

ollama run llama3.2

 

ollama关于llama3.2大模型的介绍(以下内容来源于ollama网站关于llama3.2的介绍):

The Meta Llama 3.2 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction-tuned generative models in 1B and 3B sizes (text in/text out). The Llama 3.2 instruction-tuned text only models are optimized for multilingual dialogue use cases, including agentic retrieval and summarization tasks. They outperform many of the available open source and closed chat models on common industry benchmarks.

Sizes

3B parameters (default)

The 3B model outperforms the Gemma 2 2.6B and Phi 3.5-mini models on tasks such as:

  • Following instructions
  • Summarization
  • Prompt rewriting
  • Tool use
ollama run llama3.2

1B parameters

The 1B model is competitive with other 1-3B parameter models. It’s use cases include:

  • Personal information management
  • Multilingual knowledge retrieval
  • Rewriting tasks running locally on edge
ollama run llama3.2:1b
电话图标 点我咨询