玩偶姐姐 麻豆 Llama-3-8B 汉文版来了，在我方建立上运行碰红运吧

小77论坛最新

Llama 3-8B Chinese[1]是在 Meta 最新发布的 Llama-3-8b 模子基础上进行微调的汉文版。该模子采选 firefly-train-1.1M、moss-003-sft-data、school_math_0.25M、ruozhiba数据集玩偶姐姐 麻豆，使模子好像使用汉文修升引户的发问。

在本文中，咱们将使用 LlamaEdge 土产货运行 Llama-3-8B 汉文版模子。使用 LlamaEdge 运行大模子，只需一个 Wasm 文献，无需装置复杂的 Python 包或 C++ 器具链！点击这里[2]，了解咱们为什么遴荐 Rust + Wasm。

在你的建立上运行 Llama-3-8B 汉文版

第一步：用底下的敕令行装置 WasmEdge[3]

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml

第二步：下载 Llama-3-8B-Chinese-Chat 模子 GGUF[4] 文献。模子有5.73 GB，是以下载可能需要一定期间

curl -LO https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF/resolve/main/Llama3-8B-Chinese-Chat.q4_k_m.GGUF

第三步：下载一个跨平台的可移植 Wasm 文献，用于聊天应用。该应用让你能在敕令行中与模子聊天。该应用的 Rust 源代码在这里[5]。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-chat.wasm

就这么。不错通过输入以下敕令在末端与模子聊天。这个可移植的Wasm应用会自动期骗建立上的硬件加快器（举例GPU）。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama3-8B-Chinese-Chat.q4_k_m.GGUF.gguf llama-chat.wasm -p llama-3-chat 

为 Llama-3-8B 汉文版创建一个 API server

咱们还提供了一个兼容 OpenAI API 的办事。这使得 Llama-3-8B-Chinese 好像与不同的征战框架和器具无缝集成，比如 flows.network[6]， LangChain and LlamaIndex等等，提供更庸碌的应用可能。大家也不错参考其代码我方写我方的API办事器或者其它大模子应用。

念念要启动 API 办事，请按以下步伐操作：

下载这个 API 办事器应用。它是一个跨平台的可移植 Wasm 应用，不错在多样 CPU 和 GPU 建立上运行。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

然后，下载聊天机器东谈主 Web UI，从而通过聊天机器东谈主 UI 与模子进行交互。

curl -LO https://github.com/LlamaEdge/chatbot-ui/releases/latest/download/chatbot-ui.tar.gztar xzf chatbot-ui.tar.gzrm chatbot-ui.tar.gz

接下来，使用以下敕令行启动模子的 API 办事器。然后，翻开浏览器走访 http://localhost:8080 运转聊天！

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Llama3-8B-Chinese-Chat.q4_k_m.GGUF llama-api-server.wasm -p llama-3-chat -m Llama-3-8B-Chinese --log-all

另外翻开一个末端窗口， 不错使用 curl 与 API 办事器进行交互。

curl -X POST http://localhost:8080/v1/chat/completions \  -H 'accept:application/json' \  -H 'Content-Type: application/json' \  -d '{'messages':[{'role':'system'， 'content': 'You are a sentient， superintelligent artificial general intelligence， here to teach and assist me.'}， {'role':'user'， 'content': '你是谁'}]， 'model':'Llama-3-8B-Chinese'}'

即是这么啦。WasmEdge 是运行 LLM 应用最浅薄、最快、最安全的风景[7]。碰红运吧！

参考良友[1]

Llama 3-8B Chinese: https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat

[2]

这里: https://www.secondstate.io/articles/fast-llm-inference/

[3]

WasmEdge: https://github.com/WasmEdge/WasmEdge

[4]

Llama-3-8B-Chinese-Chat 模子 GGUF: https://huggingface.co/zhouzr/Llama3-8B-Chinese-Chat-GGUF

[5]

这里: https://github.com/LlamaEdge/LlamaEdge/tree/main/chat

[6]

flows.network: http://flows.network/

[7]

运行 LLM 应用最浅薄、最快、最安全的风景: https://www.secondstate.io/articles/fast-llm-inference/玩偶姐姐 麻豆

本站仅提供存储办事，所有骨子均由用户发布，如发现存害或侵权骨子，请点击举报。