AI芯片，需求如何？ - asiasworldcity.hk

「香港飛龍」標誌

本文内容：

如果您希望可以時常見面，歡迎標星收藏哦~來源：內容編譯自nextplatform，謝謝。2023 年，邁克·亨利 (Mike Henry) 擔任AI 推理公司 Groq 的臨時首席產品官，這一職位使他與許多數據中心管理員和經理保持密切聯繫。在這六個月中，他注意到不斷變化的格局發生了變化，而主導雲服務提供商的領域一直是亞馬遜網絡服務(AWS)、微軟 Azure 和谷歌雲平臺。雖然這些超大規模企業繼續佔據人工智能領域的大量空間，但亨利看到越來越多的 GPU 雲提供商湧入市場，建立了配備數千個Nvidia 芯片的數據中心，這些芯片正在推動推理和其他人工智能工作負載所需的計算。“我意識到，現在大多數人工智能基礎設施都是在三大傳統雲提供商之外構建的，”亨利告訴The Next Platform。“我生活在一箇超級擴張者總是獲勝的世界裏，我看到了這一巨大的變化和巨大的機遇。”Heny 和自動駕駛汽車公司 Swift Navigation 的聯合創始人兼首席執行官 Tim Harris 於 2023 年底利用這個機會創立了 Parasail。Parasail 本週憑藉 1000 萬美元的種子資金和旨在將企業與推理工作負載與可用 GPU 計算能力連接起來的網絡脫穎而出。該公司的行爲有點像一家電力公司，將需要電力的人與擁有電力的人聯繫起來。Parasail 首席執行官亨利表示：“客戶希望大規模部署 AI 模型，並且希望保持非常簡單。他們幾乎跟不上新的開源模型發佈，更不用說考慮他們使用哪一家 GPU 雲提供商了。‘我在什麼硬件上運行它？我該如何設置它？’諸如此類。他們想要簡單和規模。……我們有點喚起了原始內容交付網絡的想法，說‘我有這個東西，我想在全球範圍內運行，我不想考慮它。’你想把它放在一箇盒子裏，讓它運行。”人工智能和自動化背景亨利和哈里斯（Parasail 董事會成員）都有創辦和創建公司的經驗。亨利於 2012 年創立了人工智能平臺公司 Mythic，該公司籌集了 1.65 億美元並開發人工智能加速硬件，包括模擬矩陣處理器和用於節能推理的 Key Cards。他於 2023 年跳槽到 Groq，在那裏待了六個月，然後與他人共同創辦了 Parasail。哈里斯於 2013 年與他人共同創辦了 Swift，該公司爲自動駕駛汽車開發精確導航軟件。Parasail 正在利用 AI 推理提供商、提供按需 GPU 訪問的雲公司的增長，其中包括上個月上市的CoreWeave和Lambda Labs等知名公司。Parasail 與這些推理供應商建立了合作伙伴關係，創建了一箇聚合的、無合同的 GPU 容量，Harris 宣稱其容量超過了 Oracle 雲基礎設施。這家總部位於舊金山的公司使用其 AI 部署網絡將企業與 GPU 提供商和編排引擎連接起來，以確保工作負載能夠獲得所需的計算能力。成本降低是 Parasail 的一箇主要優勢，該公司聲稱從 OpenAI 或 Anthropic 轉移過來的公司可以節省 15 到 30 倍的成本，與其他開源提供商相比，成本優勢是 2 到 5 倍。GPU 的設置只需幾個小時即可完成，幾分鐘內即可進行推理。目前，Parasail 提供 Nvidia H200、H100 和 A100 GPU 以及 RTX4090 顯卡，價格從每小時 65 美分到 3.25 美元不等。構建部署網絡Henry 表示，組建一箇部署網絡來做到這一點絕非易事。每個 GPU 雲的構建方式都不同，包括處理計算、存儲和網絡的方式，並且配置、計費和設置可以是自動、半自動或手動的。Kubernetes和容器可以解決其中許多挑戰，但有些 GPU 雲有 Kubernetes，而有些沒有，而且有 Kubernetes 的 GPU 雲在設置和質量上也有所不同。關鍵的挑戰是 Kubernetes 本質上不跨越集羣、區域、數據中心或提供商。“我們必須解決這個問題才能實現我們的戰略，”亨利解釋道。“我們可以構建跨多箇提供商的 Kubernetes 集羣，基本上可以覆蓋全球。控制平面可以在某個高度可靠的地方運行，然後全球所有的 GPU 雲都成爲工作節點。這非常具有挑戰性，因爲它需要龐大而複雜的開源軟件生態系統，並讓它做一些它原本不打算做的事情。”通過這樣做，Parasail 在全球範圍內實現了編排和容器化，超越了以前的做法。“想象一下整個供應商都倒閉了，”亨利說。“對於一箇運行良好的 Kubernetes 控制平面來說，這只是一些需要更換的工作節點倒閉了。這也繞過了不同設置的所有挑戰。GPU 供應商運行的是什麼並不重要；我們基本上繞過了它。如果我們將它與自動購買結合起來，你可以想象一箇非常有彈性、可擴展且高效的即時 GPU 集羣。”編排是一項挑戰匹配和優化工作負載是哈里斯所說的“排列問題”。亨利說，人工智能有數千種模型、數百種變壓器架構和數十種 GPU。再加上新的人工智能 ASIC、數十種組合 GPU 來處理更大負載的方法、三種流行的推理堆棧以及無數的設置和性能優化，挑戰就更大了。“我們的答案是將模型、人工智能和人類結合起來，”亨利說。“建模永遠不會完美，甚至不會擅長，因爲這既是一箇巨大的維度模糊問題，也是因爲事物在迅速發展。人工智能可以介入並通過捕捉異常、監控日誌和快速構建異常處理來提供很大幫助。但這總是需要人類參與，因爲異常實在是太多了。有了這個，我們能夠用一箇相對精簡的工程團隊實現大規模。”該公司於 1 月份開始進行封閉式祕密測試，需求不斷增長，Parasail 的年度經常性收入 (ARR) 已超過七位數。其技術現已普遍可用，客戶包括人工智能芯片製造商 SambaNova、人工智能生產平臺製造商 Oumi、對話式人工智能公司 Rasa 和 Elicit，後者的人工智能助手可自動執行研究任務。展望未來，這家初創公司計劃迅速擴充其 12 名員工的名單，尤其是工程崗位。亨利和哈里斯在提供 GPU 方面也保留了選擇餘地。目前，Nvidia GPU 佔據主導地位，但哈里斯認爲市場會發生變化。他們從打造 Parasail 中獲得的洞察力也凸顯了市場中存在的“奇怪悖論”。“硬件似乎很稀缺，”哈里斯解釋道。“人們買不到足夠的 GPU，但它們都有大量的可用容量。數據中心有大量的 GPU 可用容量，但他們買不到足夠的。這怎麼可能是真的？這實際上歸結爲這樣一箇事實：它沒有得到很好的優化和利用，也沒有很好地與客戶聯繫在一起，所以他們只能部署他們的模型。”他補充道：“需求是存在的。目前對下一代人工智能應用的需求幾乎是無限的，它們將取代互聯網 1.0 和 2.0 應用。但關鍵在於如何讓這些應用大規模運行並提高利用率。這就是我們所做的。我們的推理平臺讓客戶能夠非常輕鬆地大規模部署人工智能，然後網絡部分就是我們如何優化並充分發揮其性能。”https://www.nextplatform.com/2025/04/03/parasail-brokers-between-ai-compute-demand-and-supply/半導體精品公衆號推薦專注半導體領域更多原創內容關注全球半導體產業動向與趨勢*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅爲了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯繫半導體行業觀察。今天是《半導體行業觀察》爲您分享的第4085期內容，歡迎關注。『半導體第一垂直媒體』實時專業原創深度公衆號ID：icbank喜歡我們的內容就點“在看”分享給小夥伴哦

(本文内容不代表本站观点。)
---------------------------------