Ollama本機跑免費輕量級LLM大型語言模型

 

https://ollama.com/

Ollama 是一個由 OpenAI 開發的大型語言模型系列，這些模型是基於 transformer 架構設計的。

https://ollama.com/library/llama3:latest

模型中最新的llama3.3是meta訓練的

大概要47G 很吃電腦容量

llama 3.3 是這個系列中的一個版本，它具有 70B（即 700 億）個參數，提供了先進的語言理解和生成能力。

與前一版本 Llama 3.1 相比，Llama 3.3 70B 模型在模型大小和處理效率上進行了優化。儘管 Llama 3.1 擁有 405B（即 4050 億）個參數，但 Llama 3.3 70B 在性能上與之相當，這表明了在參數效率和計算資源使用上的改進。這種模型通常用於各種自然語言處理任務，如文本生成、語言翻譯、內容摘要以及問答系統等。

這裡抓4.7G的llama3版本的Model來測試來測試

看起來資料集對中文背景知識較難cover。

可改用財團法人國家實驗研究院開發並建置的lama模型

https://ollama.com/cwchang/llama3-taide-lx-8b-chat-alpha1

Ref:

https://medium.com/@simon3458/project-tame-llama-3-taiwan-1b249b88ab67