發表文章

目前顯示的是有「ollama」標籤的文章

Ollama本機跑免費輕量級LLM大型語言模型

圖片
  https://ollama.com/ Ollama 是一個由 OpenAI 開發的大型語言模型系列,這些模型是基於 transformer 架構設計的。 https://ollama.com/library/llama3:latest 模型中最新的llama3.3是meta訓練的 大概要47G 很吃電腦容量 llama 3.3 是這個系列中的一個版本,它具有 70B(即 700 億)個參數 ,提供了先進的語言理解和生成能力。 與前一版本 Llama 3.1 相比,Llama 3.3 70B 模型在模型大小和處理效率上進行了優化。儘管 Llama 3.1 擁有 405B(即 4050 億)個參數,但 Llama 3.3 70B 在性能上與之相當,這表明了在參數效率和計算資源使用上的改進。這種模型通常用於各種自然語言處理任務,如文本生成、語言翻譯、內容摘要以及問答系統等。 這裡抓4.7G的llama3版本的Model來測試來測試 看起來資料集對中文背景知識較難cover。 可改用財團法人國家實驗研究院開發並建置的lama模型 https://ollama.com/cwchang/llama3-taide-lx-8b-chat-alpha1 Ref: https://medium.com/@simon3458/project-tame-llama-3-taiwan-1b249b88ab67