林遠和張言兩人一塊吸著麵條。
“師兄,你有沒有打算隱居。”張言沒來由突然來了句。
“啥?”林遠愣了下,“隱居?不符合你瘋批的性子呀。我現在才25歲,難道提前過退休生活?”
“你看看現在。”張言捧著碗呶了下嘴示意四周,“窗簾都不敢拉開。晚上睡覺都要小心翼翼生怕弄出動靜,樓上樓下都是值守的同事。
這都過的什麼日子呀。
我都能想到我們以後的生活,走到哪裡都要有人跟著。”
林遠放了下碗筷,“我也沒想到會是這樣,我就是簡單的想做點好事,一個衝動就把程式碼開源了。說實話,我現在挺後悔的。我最開心的時候是掙到第一個一百萬的時候。
那時覺得自己有錢了,又沒有名利帶來的負擔。
現在想想,小富即安也挺好的。
可我真要是那樣了,你應該也就看不上我了。”
張言想了下,“這倒也是。我希望我跟的人與眾不同,可我現在才意識到,與眾不同本來就是有代價的。
但是,”張言忽的目光灼灼看向林遠,“既來之則安之,刀山火海我們一起闖。”
“說的沒錯。我去看看東西下載好了沒。我發現了家不錯的ai小公司。大公司指望不上,我想試試能不能推一把這些小公司。”
“你去忙吧,碗筷放著,我來收拾。”
“下回乾脆點外賣吧,洗碗洗筷子多麻煩。”
“不麻煩,現在這樣也挺好。我爸說,正好磨鍊一下我的心性。”事實上張言從出身以來,從來沒有這麼密集地幹過家務。
林遠回到房間,即便是在千兆光纖的加持下,ds-llm通用大語言模型也還在下載中。
【speed: 986mbps, process:67.2%】
黑色的命令列視窗下,游標忽閃忽閃的。林遠眼看幾分鐘內是下不完的,於是乾脆跑出去幫著張言收拾家務了。
“咦?終於想起我來了?還知道來幫我。還是香香軟軟的老婆更好吧。”張言欣喜道。
“嗯~~,主要是整個模型的檔案太大,還沒下完呢。”
“你大爺。”張言怒了,“你電腦小三正忙著,你就來消遣我?你倒是會節約時間。”
林遠只是笑著去把碗給洗了。
但凡他忙工作的時候,這些家務都是張言在操持。看著張言這樣的千金小姐擼起袖子洗碗碟,林遠還是有些過意不去的。因而他得空就會去幫忙。
兩人一通打鬧結束,廚房的檯面上被甩的到處是白色的洗潔精泡沫。
“你看看你,越幫越忙。”張言一邊擦著飛濺的泡沫一邊吐槽著。當然,實際上她心裡是美滋滋的。
“你去忙吧。心意我領了。對了,晚上想吃啥。不許說隨便。”
“吃你!”林遠沒來由來了句。他最討厭的就是思考下一頓吃什麼。反正如今吃的都是特供的肉菜蛋奶,突出一個原汁原味綠色無汙染。做啥都好吃。
“還吃我呢?”張言撅著嘴,“你都多久沒吃我了?”
“額,,,”林遠忽然想起來,最近的精氣都餵給算力系統了,確實忽略了張言。“我最近不是忙嘛,我先閃了。”
“悠著點!”張言的聲音在身後傳來,“我還想和你長命百歲呢。”
張言顯然把林遠的力不從心當成了是身體脫力的證明。
林遠再次回到房間,這回總算是下載完成了。
272gb!!!
ds-llm 67b的模型權重檔案、原始碼、各類工具鏈、說明文件,整個加起來足足有272個gb。
林遠看著那個可怕的模型權重檔案,那可是要載入進入gpu的。結果這玩意兒的大小竟然達到了268gb。即便可以透過降低精度來降低模型權重檔案的大小,可是這東西最小也要126gb。“得嘞!ai真特麼燒錢。”
即便ds-llm號稱已經比openai的chat-gpt4模型權重檔案小得多,畢竟後者的同類檔案大小是用tb作為計算單位的,可仍舊達到了百gb級別。
模型權重檔案,這是ai模型最重要的東西。
砸錢買一堆的gpu,再燒掉大把的電費,最後訓練出的就是這麼個玩意兒。
ai模型對語言的理解和答覆的所有奧秘,都在模型權重檔案中了。
但你以為有了檔案你就能理解ai的推理過程了?休想。
以chat-gpt4來說,其引數規模已經達到了萬億級別,林遠眼前的ds-llm也已經有670億的引數。
你想搞清楚某個引數在ai模型推理過程中的具體作用?那還是省省吧,那是完全不可能的。
把ai模型的推理過程逆向過來,只會看到一條條向量。人類只能理解其中很小部分的關聯過程,對於ai大部分的推理過程,人腦如今已經跟不上了。
ai已經成了事實上的,按照人類的部署在幹活。人類提供思路,ai完成工作。至於其中的具體過程,黑盒,完全就是不可見的黑盒。
林遠被ai大模型的引數規模給驚到了。
他忽然意識到,這特麼難道不應該是順理成章的嘛,老子為什麼要驚訝?
他突然就想到:為什麼自己要驚訝呢。
最先進的ai大模型的引數早就已經到了萬億級別,自己難道不該對模型權重檔案的大小有所心理準備嘛。
‘所以,老子為什麼要打算用一臺筆記本來跑這種大語言模型?’
林遠自己被自己蠢哭了。
細思一番之後,他終於想到了原因。這是因為他在算力系統勾勒的模型強度面前已經習慣了。
林遠習慣了系統產出的模型的精簡,習慣性地忽略地球人類眼下粗狂的ai模型方法。
按照眼下的堆算力的粗放路線,模型權重檔案可不就得這麼大麼。
林遠簡單算了下,ds-llm 67b的滿血版需要268gb的視訊記憶體,那特麼3塊h100都不夠哇。每塊h100的視訊記憶體是80gb,那至少要準備4塊。
他可不打算去買,這年頭還是直接租用雲算力更加方便。
“小張,”林遠大聲把張言喊了過來,“我買雲算力需要走審批手續不。”
由於林遠現在身份敏感,還被安保小組看護著,因而各種舉動都要提前報備。
“什麼,是雲算力。”
“就跟買雲伺服器差不多。”
“奧,那肯定是要報備的。”
於是林遠很無奈的開始了填申請表。
“特麼我買雲算力和我人身安全有什麼關係嘮。難道人家還能順著網線來打我?”
“別鬧,規定就是規定。你嫌麻煩的話我來填,你告訴我用途就成。”
“用途?最終目的是拿來做空對岸科技公司的股票。”
“額,,,”張言顯然不能這麼寫,“我就給你寫,,,為了從事科學研究,爭取為國為民再創佳績。”
“小爺只想做空對岸的科技股狠狠出口惡氣。當然,,,順帶搞點錢。”
“你閉嘴,別鬧了。”
。