6.99元租H800 一鍵部署Llama3 有羊毛速來薅
猛然間，大模型圈掀起一股“降價風潮”。
前腳，智譜、DeepSeek等大模型廠商將API價格一降再降，輸入100萬tokens僅需1元。
緊接著，GPU租賃的價格也被打了下來。
現(xiàn)在潞晨云官方進行限時大額算力補貼，NVIDIA H800的租用價格，低至6.99元/卡/時；NVIDIA A800為5.99元/卡/時，4090甚至低至1.39元/卡/時。
不只有租賃服務，平臺上還支持快速簡易部署Llama 3微調、訓練、推理。
其中在64卡H100集群上，經(jīng)過Colossal-AI優(yōu)化，相比微軟+英偉達方案，可提升LLaMA3 70B的訓練性能近20%，推理性能也優(yōu)于vLLM等方案。
Open-Sora也能玩轉。
如上最新動向來自潞晨云（https://cloud.luchentech.com'>https://cloud.luchentech.com）。
他們不僅將個人開發(fā)者、中小企業(yè)用戶玩轉大模型的成本大幅降低，而且上手門檻也不高。
具體來看實操演示~
部署Llama 3微調訓練推理
潞晨云提供一鍵部署功能，只需簡單操作即可快速啟動計算環(huán)境。
在最開始時需要先創(chuàng)建云主機。比如對Llama3微調訓練，可在8卡H800上完成，在算力市場中選擇即可。
此處選擇Colossal-llama3訓練微調鏡像，單擊創(chuàng)建按鈕，創(chuàng)建云主機。
確認當前路徑名，并修改config文件，輸入教程中的Llama3訓練腳本，本腳本已預置已處理數(shù)據(jù)集為例進行微調。
首先編譯安裝Colossal-AI，其次創(chuàng)建訓練需要的文件夾，接著修改hostfile，在鏡像中安裝IP address指令，查看鏡像內IP地址。輸入IP address指令將機內IP地址復制并更新到hostfile中，就完成了Llama3微調的全部流程。
，時長02:21
如果是對Llama 3推理，可在云主機上選擇單張H800作為算力資源。
Colossal-Inference現(xiàn)已適配支持了LLaMA-3推理加速。
模型權重已準備好，無需額外安裝。然后運行生成腳本：
PRETRAINED_MODEL_PATH="/root/notebook/common_data/Meta-Llama-3-8B" # huggingface or local model pathcd ColossalAI/examples/inference/colossalai run --nproc_per_node 1 llama_generation.py -m PRETRAINED_MODEL_PATH --max_length 80
進行多卡TP推理、如下例使用兩卡生成：
colossalai run --nproc_per_node 2 llama_generation.py -m PRETRAINED_MODEL_PATH --max_length 80 --tp_size 2
運行吞吐Benchmark測試：
PRETRAINED_MODEL_PATH="/root/notebook/common_data/Meta-Llama-3-8B"git pull # update example benchmark from branch feature/colossal-infercd ColossalAI/examples/inference/python benchmark_llama3.py -m llama3-8b -b 32 -s 128 -o 256 -p PRETRAINED_MODEL_PATH
單卡H100對LLaMA3-8B進行Benchmark結果與vLLM對比（例：輸入序列長度128，輸出長度256）。
整體過程如下：
而且支持常用的計算環(huán)境配置保存為私有鏡像，隨時調用，減少重復配置的時間，并保證環(huán)境的一致性和穩(wěn)定性。
部署Open-Sora推理
除了大火的語言模型外，潞晨云也支持視頻生成模型部署。
前段時間，潞晨開源全球首個類Sora架構視頻生成模型「Open-Sora 1.0」。
現(xiàn)在在潞晨云上即可部署Open-Sora推理。
Open-Sora推理可以在單卡H800上完成，可在算力市場中選擇1卡H800。
潞晨云Open-Sora鏡像中內置了運行環(huán)境，同時預置了Open-Sora權重，支持開箱即用。
具體流程如下：
速來薅羊毛值得一提的是，潞晨云是按秒計費模式，有效降低了不必要的成本支出，特別適合短期或動態(tài)計算任務。
除了復雜機器學習模型訓練、海量數(shù)據(jù)分析外，還支持高性能圖形渲染，能為廣泛應用場景提供強大的計算支持和優(yōu)化方案。
用戶在此還能利用市場波動實現(xiàn)成本優(yōu)化，通過算力市場提供潮汐定價機制，用戶可根據(jù)需求和預算選擇不同的算力資源，
最近他們正在搞特別活動，提供百萬補貼并定期發(fā)放代金券。
用戶在社交媒體和專業(yè)論壇（如知乎、小紅書、微博、CSDN等）上分享使用體驗，有效分享一次可得100元代金券。每月最佳分享可額外再獲500元代金券。
在平臺分享AI應用鏡像等，可根據(jù)后續(xù)平臺用戶的調用時長，獲得現(xiàn)金獎勵。同時還在社群中不定時發(fā)放特價資源、代金券等優(yōu)惠活動。
感興趣的童鞋，戳下方鏈接即可了解更多詳情！
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權益請來信告知我們刪除。郵箱：business@qudong.com
