Meta平台公司的人工智慧研究團隊今日宣布,將開源一套強大的AI模型,名為Meta大型語言模型編譯器(Meta Large Language Model Compiler)。
根據研究人員的說法,這一編譯器可以改變開發者進行LLM開發的代碼優化方式,使過程變得更快、更具成本效益。
在一篇博客文章中,Meta的系統研究團隊解釋說,訓練LLM是一項資源密集且極其昂貴的任務,涉及大量數據收集和大量圖形處理單元。因此,對於許多組織和研究人員來說,這一過程是望而卻步的。
然而,該團隊相信,通過在代碼和編譯器優化中的應用,LLM可以簡化LLM的訓練過程,這一過程指的是修改軟體系統以使其工作更有效率或使用更少資源。
研究人員表示,使用LLM進行代碼和編譯器優化的想法一直未被充分探討。因此,他們著手訓練LLM編譯器,使用了5460億個LLVM項目和組合代碼的語料庫,目的是使其能夠“理解編譯器中間表示、組合語言和優化技術”。
在論文中,Meta的研究人員寫道,LLM編譯器對這些技術的增強理解使其能夠執行以前只能由人類或專門工具完成的任務。
此外,他們聲稱,LLM編譯器在代碼大小優化方面表現出巨大效率,在實驗中達到了自動調整搜索優化潛力的77%。他們說,這顯示出其在各種應用中顯著減少代碼編譯時間和提高代碼效率的潛力。
在應對代碼反彙編任務時,LLM編譯器取得了更好的結果。在反向彙編中,它的成功率達到了45%,其中14%的精確匹配,當被要求將x86_64和ARM組合語言轉換回LLMV-IR時,展示了其在遺留代碼維護和軟體逆向工程等任務中的潛力。
“LLM編譯器為探索LLM在代碼和編譯器優化領域的潛力鋪平了道路,”該項目核心貢獻者之一Cris Cummins說。
Meta的團隊相信,LLM模型編譯器有可能增強軟體開發的多個方面。例如,研究人員可以更多地探索AI驅動的編譯器優化,而軟體開發者則可以實現更快的代碼編譯時間,創建更有效的代碼,甚至構建新的工具來理解和微調複雜的應用程序和系統。
為了促進這一點,Meta表示將以寬鬆的商業許可證發布LLM編譯器,這意味著學術研究人員和公司都可以以任何方式使用和適應它。
雖然在某些方面令人鼓舞,但LLM編譯器也引發了關於軟體設計和開發演變以及人類軟體工程師角色的問題。它提供的不僅僅是增量的效率提升,而是對代碼和編譯器優化技術的方法進行了根本性的轉變。