杞氬姩鍔涚傆魏“鍖椾含澹瑰彿Token宸ュ巶”锛屽彂甯冨紑婧Token宸ュ巶鎬ц兘鍩哄噯

6鏈9鏃ワ紝杞氬姩鍔“璇嶅厓锛Token锛夊伐鍘傝鍒”鐨勯涓爣鏉嗙ず鑼冮」鐩——“鍖椾含澹瑰彿璇嶅厓宸ュ巶”鍦ㄤ含鐐游寒锛屽苟鍚屾鍚戝叏鐞冨紑婧“璇嶅厓宸ュ巶鎬ц兘鍩哄噯”锛堝惈璇勬祴妗嗘灦LoadGen 2.0锛夈傝繖鏄涓氶娆￠拡瀵规櫤鑳戒綋闀挎椂杩愯鐗瑰緛寤虹珛缁熶竴鐨勬ц兘搴﹂噺鏍囧噯锛屾爣蹇楃潃澶фā鍨嬬畻鍔涗緵缁欎粠绮楁斁寮忓悶鍚愭瘮鎷硷紝杩涘叆鏍囧噯鍖栥佸伐涓氬寲鐨Token娴佹按绾挎椂浠ｃ

鏅鸿兘浣撴椂浠ｇ殑“鏂板瀷鐢靛巶”

澶ц瑷妯″瀷锛LLM锛夋浠庣畝鍗曠殑瀵硅瘽鏈哄櫒浜猴紝鍔犻熸紨杩涗负鑳藉鑷富瑙勫垝銆佹帹鐞嗗苟閲囧彇琛屽姩浠ヨ揪鎴愬鏉傜洰鏍囩殑闀挎椂杩愯绯荤粺銆備竴涓畝鍗曠殑鐢ㄦ埛鎸囦护鑳屽悗锛屽彲鑳芥槸妯″瀷鏁板崄娆℃帹鐞嗗惊鐜佸伐鍏疯皟鐢ㄤ笌鑷垜鍙嶆濈殑鍙犲姞銆傝繖鎰忓懗鐫绠楀姏娑堣椾笉鍐嶆槸"涓闂竴绛"寮忕殑鐭椂鑴夊啿锛岃屾槸闀垮懆鏈熴佸杞銆侀珮涓嶇‘瀹氭х殑娣锋矊璐熻浇銆傚寳浜９鍙疯瘝鍏冨伐鍘傜殑瑙ｆ硶锛屾槸鍋氶潰鍚戞櫤鑳戒綋鏃朵唬鐨“鏂板瀷鐢靛巶”锛屽疄鐜板儚鐢ㄧ數涓鏍风敤Token銆

鍖椾含澹瑰彿璇嶅厓宸ュ巶鑱氱劍Agentic Serving锛堟櫤鑳戒綋鏈嶅姟锛夊満鏅紝閫氳繃鏋侀檺宸ョ▼鍖栨墜娈靛帇姒ㄧ‖浠舵ц兘锛岄泦鎴愬墠娌跨畻鍔涜皟搴︿笌KV Cache鏋佽嚧澶嶇敤绠楁硶锛屼互纭畾鎬х殑鏈嶅姟璐ㄩ噺涓庢瀬鑷寸殑鎬т环姣旓紝涓烘櫤绠楁椂浠ｆ彁渚涚‘瀹氭с侀珮寮规х殑渚涘簲淇濋殰銆

杩欎笉鏄畝鍗曞爢绠楀姏锛岃屾槸鎶婂簳灞傝祫婧愰珮鏁堣浆鍖栦负鏍囧噯鍖栫殑“鏁板瓧鐕冩枡”——Token锛屽儚鐢电綉涓鏍风粰鍑烘槑纭殑鏈嶅姟璐ㄩ噺鎵胯锛氭湇鍔″彲鐢ㄦ≥99.9% 锛屽鏍囩數缃戜緵鐢靛彲闈犳≥99.9%锛涢瀛楀欢杩P90<10绉掋佹尝鍔<20% 锛屽鏍囩數缃戠數鍘嬪悎鏍肩巼娉㈠姩≤±5%锛涚紦瀛樺懡涓巼≥90%锛屽鏍囩數缃戝姛鐜囧洜鏁助紝鍑忓皯璁＄畻娴垂銆

寮婧愭ц兘鍩哄噯锛屾墦鐮“鎸囨爣杩烽浘”

褰撳墠琛屼笟鏅亶缂哄皯闈㈠悜鏅鸿兘浣撳満鏅殑绠楀姏鏈嶅姟璐ㄩ噺璇勬祴鏍囧噯锛屽鑷“楂樺垎浣庤兘銆佸弬鏁拌櫄鏍囥佺敤鎴烽夋嫨鍥伴毦”銆備负浜嗙簿鍑嗘崟鎹夊苟澶嶇幇鏅鸿兘浣撴湇鍔＄幆澧冧腑鐨勬瀬绔帇鍔涳紝杞氬姩鍔涘湪浠紡涓婃寮忓彂甯冨苟寮婧愯瘝鍏冨伐鍘傛ц兘鍩哄噯銆傚叾涓嶆槸鍗曚竴宸ュ叿锛岃屾槸涓涓笁灞傞掕繘鐨勫畬鏁磋瘎娴嬩綋绯伙紝閬靛惊“涓涓熀鍑嗭紙鍒荤敾鏂规硶锛”锛岄噰鐢“涓夌被娴嬭瘯鏂规硶”锛屾瀯寤“鍒嗛鍩熸爣鍑嗘暟鎹泦” 锛屽疄鐜板绠楀姏闆嗙兢鐪熷疄鏈嶅姟鑳藉姏鐨勭簿鍑嗚瘎浼颁笌鍏钩瀵规瘮銆

杞氬姩鍔涘熀浜庡澶фā鍨嬪彂灞曞垵鏈熻涓氶氱敤鐨MLPerf LoadGen杩涜娣卞害閲嶆瀯锛屽疄鐜颁簡浠庨潤鎬佸苟鍙戞敞鍏ュ埌鍔ㄦ佽涓轰豢鐪熺殑璺ㄨ秺锛屾帹鍑轰簡LoadGen 2.0锛屽叾鏍稿績绐佺牬鍦ㄤ簬鎴愬姛鍦ㄦ祴璇曠幆澧冧腑瀹氫箟骞堕噸鐜颁簡鐪熷疄鐨“娣锋矊灞闈”銆備互姝や负鏍瑰熀锛岃蒋閫氬姩鍔涙瀯寤轰簡涓夊眰閫掕繘鐨勫畬鏁磋瘎娴嬩綋绯伙紝搴曞眰娣锋矊璐熻浇鍒荤敾鏂规硶銆佷腑灞備笁绫绘爣鍑嗘祴璇曟柟娉曪紙棰濆畾鍔熺巼/涓氬姟/绮惧害姝ｇ‘鎬э級銆佷笂灞傞潰鍚戜笉鍚岄鍩熺殑鏍囧噯鏁版嵁闆嗭紝纭繚璇勬祴缁撴灉鍙鐜般佸彲瀵规瘮銆佷笌鐪熷疄鍦烘櫙瀵归綈銆

LoadGen 2.0宸插畬鍏ㄥ紑婧愶紙https://github.com/issair/loadgen2锛

鐩墠锛岃蒋閫氬姩鍔涙娣卞害鍙備笌骞虫江涓ゅ哺铻嶅悎绠楀姏涓績銆侀煻鍏冲叕鍏辩畻鍔涙湇鍔″钩鍙扮瓑鍥藉涓浣撳寲绠楀姏缃戠粶閲嶇偣椤圭洰寤鸿锛屽苟渚濇墭鐫垮姩鏅鸿兘浣撳钩鍙助紝鎵撻犺繛鎺ュ浗闄呬簯鍘傚晢涓庡浗浜AI鏂板娍鍔涚殑鍏ㄧ悆鍖AI鍙屽悜鏋㈢航銆傚寳浜９鍙疯瘝鍏冨伐鍘傜殑鍚姩锛屾槸鍏徃鎺ㄨ繘AI鍩虹璁炬柦甯冨眬銆佹瀯寤Token鐢熸佷綋绯荤殑閲嶈瀹炶返銆

鏈潵锛岃蒋閫氬姩鍔涘皢鎸佺画鎺ㄨ繘“Token宸ュ巶”寤鸿锛屽苟浠庢秷璐硅呰瑙掑嚭鍙戞帹鍑“瀹炴椂鐩戞祴”绛変竴绯诲垪璐ㄩ噺鐩戞帶鏂规硶——濡傚悓鍦ㄥ煄甯傝嚜鏉ユ按绠＄綉涓儴缃插疄鏃剁函鍑搴︽帰閽堜竴鑸紝鍦ㄨ繍琛岀鍔ㄦ佺洃鎺Token鐢熸垚鐨勫够瑙夌巼銆佽涔変竴鑷存у強姣绾у欢杩熸尝鍔ㄣ傚皢璇勪及鏉冧氦杩樹娇鐢ㄨ咃紝鎺ㄥ姩AI绠楀姏鐢熸佺殑姝ｆ湰娓呮簮銆