(資料圖片)
如今的大型語(yǔ)言模型(LLM)可以理解世界上很多語(yǔ)言,甚至是一些記載較少的語(yǔ)言。不過(guò),大模型處理不同語(yǔ)言之間時(shí),其性能上存在很大的差異,這是由于模型成本與其所訓(xùn)練的語(yǔ)言緊密掛鉤。
牛津大學(xué)最近進(jìn)行的一項(xiàng)研究表明,從諸多語(yǔ)言模型的計(jì)費(fèi)方式看,英語(yǔ)的輸入和輸出比其他語(yǔ)言的輸入和輸出要便宜得多。例如,西班牙語(yǔ)的成本約為英語(yǔ)的1.5倍,簡(jiǎn)體中文的價(jià)格約為2倍以上,緬甸撣語(yǔ)在15倍以上。
成本的差異也間接導(dǎo)致英語(yǔ)使用者和世界其他語(yǔ)言使用者之間形成AI鴻溝。
成本差異主要是因數(shù)據(jù)標(biāo)記化所帶來(lái)的。標(biāo)記化就是將訓(xùn)練文本分解成更小的單元,這個(gè)更小的單元就是標(biāo)記(Token)。這是一個(gè)人工智能(AI)公司將用戶輸入轉(zhuǎn)換為計(jì)算成本的過(guò)程。
研究顯示,使用英語(yǔ)以外的語(yǔ)言訪問(wèn)和訓(xùn)練模型的成本都更高。例如中文,無(wú)論是在語(yǔ)法上還是在字符數(shù)量上,都有更復(fù)雜的結(jié)構(gòu),從而導(dǎo)致更高的標(biāo)記化(Token)率。
舉例來(lái)看,基于OpenAI公司的GPT2模型,對(duì)于“國(guó)家不同,所得稅的結(jié)構(gòu)是不同的,稅率和稅率等級(jí)也有很大的差異”這句話的處理來(lái)看,在簡(jiǎn)體中文處理中運(yùn)用到了66個(gè)Token,在英語(yǔ)處理中僅用到了24個(gè)Token,而在禪語(yǔ)處理中使用到了468個(gè)Token。
就每次輸出所需的費(fèi)用而言,漢語(yǔ)的成本是英語(yǔ)的兩倍。所以在AI相關(guān)的費(fèi)用中,英語(yǔ)的成本效益是最高的。
當(dāng)涉及到語(yǔ)言模型時(shí),設(shè)計(jì)者的主要目標(biāo)是實(shí)現(xiàn)低成本和高效功能之間的平衡。隨著AI領(lǐng)域的不斷發(fā)展,科技公司必須仔細(xì)考慮語(yǔ)言選擇對(duì)成本和可訪問(wèn)性的影響。
這種成本差異促使中國(guó)、印度等國(guó)家紛紛開(kāi)發(fā)自己的母語(yǔ)LLM項(xiàng)目。
標(biāo)簽:
7月28日第三十一屆世界大學(xué)生夏季運(yùn)動(dòng)會(huì)(以下簡(jiǎn)稱“成都大運(yùn)會(huì)”)在
觀點(diǎn)網(wǎng)訊:7月31日,山川集團(tuán)(建綠房地產(chǎn))以底價(jià)3 82億元、樓板價(jià)約8
北方導(dǎo)航(600435)07月31日在投資者關(guān)系平臺(tái)上答復(fù)了投資者關(guān)心的問(wèn)題。
7月31日金融一線消息,據(jù)國(guó)家金融監(jiān)督管理總局網(wǎng)站發(fā)布的行政處罰信息
【壓實(shí)主體責(zé)任確保安全度汛】增強(qiáng)防范意識(shí)確保出行安全,主流媒體,山西
我省出現(xiàn)大范圍持續(xù)性強(qiáng)降水天氣,主流媒體,山西門戶。山西新聞網(wǎng)是經(jīng)國(guó)
國(guó)美在線是正品嗎是國(guó)美在線和國(guó)美實(shí)體店都是直接從廠家或渠道商進(jìn)貨的,當(dāng)然是正品啦,而且很多商品如手機(jī)數(shù)碼、家電這些都是有正品保障的。
農(nóng)業(yè)銀行還款日是哪天賬單日后的第25天農(nóng)業(yè)銀行信用卡還款日是在賬單日后的第25天,而賬單日是由系統(tǒng)隨機(jī)生成的。目前的賬單日為每月10日、
白象股票代碼是多少白象沒(méi)有股票代碼,因?yàn)榘紫鬀](méi)有上市,所以沒(méi)有股票代碼。白象是哪個(gè)省的品牌河南省鄭州市鄭東新區(qū)白象食品股份有限公司正
余額寶到賬時(shí)間是多久余額寶分為普通提現(xiàn)和快速提現(xiàn),普通到賬時(shí)間為T+1日24:00點(diǎn)前到賬(T日15點(diǎn)前轉(zhuǎn)出),若在T日15點(diǎn)后轉(zhuǎn)出,那么到賬時(shí)
社會(huì)保險(xiǎn)費(fèi)一般由誰(shuí)承擔(dān)社會(huì)保險(xiǎn)費(fèi)一般由國(guó)家、用人單位和被保人三方共同承擔(dān)。社會(huì)保險(xiǎn)是由政府強(qiáng)制征收,進(jìn)行財(cái)富分配的一種制度性安排,實(shí)
自駕游買什么保險(xiǎn)自駕需要買車損險(xiǎn)、三者險(xiǎn)、全車盜搶險(xiǎn)、車上人員責(zé)任險(xiǎn)。自駕車的字面含義為:駕車者為自己,車輛包括汽車,主要有轎車、
股票漲??梢再I嗎可以。在a股市場(chǎng)上,在交易時(shí)間內(nèi),只要個(gè)股沒(méi)有停盤,投資者都能進(jìn)行買賣活動(dòng),即當(dāng)股票漲停時(shí),投資者可以在漲停處進(jìn)行
au9999是什么意思au9999的意思是國(guó)家規(guī)定的黃金純度的表示方法。黃金飾品必須打上這類印記。 其實(shí)au,就是黃金的化學(xué)元素符號(hào),表明此金屬
如今的大型語(yǔ)言模型(LLM)可以理解世界上很多語(yǔ)言,甚至是一些記載較
東莞證券07月31日發(fā)布研報(bào)稱,給予首創(chuàng)環(huán)保(600008 SH,最新價(jià):3元)
1、是三端穩(wěn)壓模塊7805嗎???功能就是輸入大于5伏的直流電,輸出為5
Mercedes280E04 1982梅賽德斯-奔馳W123是德國(guó)制造商梅賽德斯-奔馳從197
寶虹家園是寶山區(qū)羅涇鎮(zhèn)最大的動(dòng)遷小區(qū),總戶數(shù)3034戶,總居住人口7966
一、五大豪華汽車品牌推薦?車是一種豪華品牌,往往也是一個(gè)人身份的象
作為最末一代的大馬力后驅(qū)奔馳C63系列,標(biāo)配4 0TV8雙渦輪增壓發(fā)動(dòng)機(jī),
瑜伽、八段錦、茶藝、尤克里里、羊毛氈戳戳……近日,西城區(qū)椿樹(shù)街道總
資訊頻道為您報(bào)道新車上市、國(guó)內(nèi)國(guó)際新車、國(guó)內(nèi)汽車行業(yè)新聞和各地車市
奧迪RSQ8| 云墨灰 EK穿插于黑色和白色兩色之間更有些暗抑的美游離于所
1、尹施允沒(méi)有上過(guò)快樂(lè)大本營(yíng)請(qǐng)采納。本文到此分享完畢,希望對(duì)大家有
蘭博基尼HuracanSterrato是一款由意大利汽車制造商蘭博基尼推出的高性
風(fēng)從東方來(lái),云起北外灘。7月31日上午,位于上海虹口區(qū)嘉興路街道hk311
全新標(biāo)致3008渲染圖曝光。新車采用了最新的家族式外觀設(shè)計(jì)語(yǔ)言,并使用
天眼查App顯示,7月29日,杭州恒云管理咨詢有限公司發(fā)生工商變更,注冊(cè)
哈弗猛龍動(dòng)力及配置信息公布,將搭載由1 5T+Hi4+后橋電控差速鎖組成的
截至發(fā)稿,碧桂園服務(wù)跌5 45%,報(bào)9 03港元,港市值304 6億港元。朗詩(shī)綠
企業(yè)應(yīng)深入排查歷年新能源汽車安全事故情況,通過(guò)數(shù)據(jù)挖掘及關(guān)鍵零部件
江西新能源科技職業(yè)學(xué)院新能源汽車技術(shù)研究院院長(zhǎng)張翔在接受記者采訪時(shí)
長(zhǎng)春萬(wàn)象城是華潤(rùn)置地繼沈陽(yáng)萬(wàn)象城之后,打造的東北第2座萬(wàn)象城,項(xiàng)目
中華老字號(hào)西單商場(chǎng)將啟動(dòng)整體改造更新,將降低整體建筑高度,并減少營(yíng)
前段時(shí)間,理想汽車的李想發(fā)文稱,理想為大量使用中國(guó)本土供應(yīng)鏈而自豪
2017年7月,廣汽集團(tuán)注冊(cè)成立廣汽新能源公司,開(kāi)始了在新能源時(shí)代的戰(zhàn)
近期,蒙商銀行行長(zhǎng)一職發(fā)生了變更:由“70后”牛冠榮接替喬俊峰出任蒙
7月26日,北京春田知韻科技有限公司成立,注冊(cè)資本100萬(wàn)人民幣,法定代
在阿爾卑斯早期的品牌規(guī)劃中,阿爾卑斯車型計(jì)劃延續(xù)蔚來(lái)主品牌雙電機(jī)策
項(xiàng)目整體區(qū)域占地1000英畝(約405萬(wàn)平方米),整體規(guī)劃將包含一個(gè)主題
燃油車啃老本,新能源無(wú)起色,上汽大眾路在何方?
近日,成都海騎科技有限公司成立,法定代表人為孫可青,注冊(cè)資本10萬(wàn)人
該債券品種為私募,擬發(fā)行金額30億元,承銷商 管理人為華泰聯(lián)合證券有
試駕新哈弗H5,能否成為SUV市場(chǎng)新一代卷王
歐舒丹在港交所發(fā)布澄清針對(duì)歐舒丹將私有化、從香港退市的消息,公司董
吉利銀河L6即將入市,與競(jìng)品驅(qū)逐艦05相比該如何選擇?
紅血絲是一種常見(jiàn)的皮膚問(wèn)題,很多人都希望能找到藥物來(lái)消除它。哪些藥
倉(cāng)鼠可以少量食用一些肉松蛋糕,但是不要過(guò)多食用,畢竟肉松蛋糕里面會(huì)
近日,AITO問(wèn)界旗艦車型,也就是問(wèn)界M9的信息曝光,新車有望于年內(nèi)發(fā)布
緊湊型轎車別亂買1-6月銷量榜單出爐速騰第四逸動(dòng)第七
越南首富的美國(guó)造車夢(mèng),這可不單是錢能解決的問(wèn)題
1、是張斯斯,不過(guò)和本人好不像,那個(gè)妝畫(huà)得還沒(méi)有啊素顏好看呢。2、她
1、卞和泣玉楚人和氏得玉璞楚山中,奉而獻(xiàn)之厲王。2、厲王使玉人相之,
達(dá)安基因31日早間發(fā)布2023年半年度業(yè)績(jī)快報(bào),2023年上半年實(shí)現(xiàn)營(yíng)業(yè)總收
據(jù)美國(guó)??怂剐侣劸W(wǎng)站30日?qǐng)?bào)道,紐約蘇富比拍賣行表示,美國(guó)已故說(shuō)唱歌
改編自u(píng)p主以沉沒(méi)肝光遇連載劇本《你是我的神》只是一點(diǎn)小腦洞,尊重原
2023年7月26日,我們從官方渠道獲悉,東風(fēng)標(biāo)致旗下緊湊型SUV“新款4008
江西五十鈴全新D-MAXV-CROSS正式上市,共推出4款車型,售價(jià)區(qū)間17 08萬(wàn)
停辦!停課!山西省教育廳發(fā)布緊急通知從即日起到8月2日,涉師生的校內(nèi)
海南扶輪實(shí)業(yè)有限公司掛牌轉(zhuǎn)讓武漢房地產(chǎn)開(kāi)發(fā)集團(tuán)股份有限公司22萬(wàn)股股
分類型彩票銷售情況 6月份,樂(lè)透數(shù)字型彩票銷售145 58億元,同比增
湛江陽(yáng)華置業(yè)有限公司注冊(cè)資本500萬(wàn)元,主要經(jīng)營(yíng)房地產(chǎn)開(kāi)發(fā)、租賃及中
近日,起亞汽車發(fā)布了旗下中型SUV新款索蘭托的官圖,同時(shí)換裝了起亞全
來(lái)源|搜狐汽車·搜狐新車日前,三菱發(fā)布全新L200皮卡官圖。外觀方面,
放低“價(jià)格姿態(tài)”,BBA上半年銷量均有上漲
其中涉及土地出讓措施主要有四條,分用途核算土地出讓金,方便企業(yè)核算
7月31日,A股零售板塊午后持續(xù)拉升走強(qiáng),通程控股、中央商場(chǎng)午后雙雙漲
日前,吉利汽車官方發(fā)布了旗下繽瑞COOL冠軍版車型官圖。新車將在現(xiàn)款車
7月28日第三十一屆世界大學(xué)生夏季運(yùn)動(dòng)會(huì)(以下簡(jiǎn)稱“成都大運(yùn)會(huì)”)在
日前,編輯從捷途汽車官方獲悉,旗下捷途X70PRO已正式上市。新車推出7
盛通股份(002599)07月31日在投資者關(guān)系平臺(tái)上答復(fù)了投資者關(guān)心的問(wèn)題。
1、因?yàn)樗J(rèn)為中國(guó)的女性早就改變了,但是有關(guān)題材還是在各種捍衛(wèi)家庭
讓惠企政策找得到、看得懂、享得了、兌得快山西省涉企政策“一站式”綜
以下是三江購(gòu)物在北京時(shí)間7月31日13:09分盤口異動(dòng)快照:7月31日,三江
1、他沒(méi)有親過(guò)牛欣欣。2、因?yàn)樗粣?ài)牛欣欣。本文到此講解完畢了,希望
港府今日就2023年《施政報(bào)告》展開(kāi)公眾諮詢,并將舉辦逾30場(chǎng)咨詢會(huì),聽(tīng)
穆迪將綠地控股集團(tuán)有限公司的公司家族評(píng)級(jí)從“Caa2”下調(diào)至“Ca”;評(píng)
在馬斯克宣布將推特公司的名字變更成“X”后,該公司于28日在位于舊金
中國(guó)恒大稱,鑒于公司境外重組的最新進(jìn)展,呈請(qǐng)人同意推遲該呈請(qǐng)的聆訊
海曙區(qū)HS18-01-03a地塊由保利發(fā)展以底價(jià)17 44億元競(jìng)得,樓面價(jià)13200元
根據(jù)征求意見(jiàn)稿顯示,車公廟片區(qū)連片改造升級(jí)城市更新單元擬在03-01地
天譽(yù)置業(yè)曾分別于2022年8月16日、2022年10月31日、2023年2月6日、2023
數(shù)據(jù)顯示,截至2023年6月30日止六個(gè)月,恒隆地產(chǎn)有限公司及其附屬公司
??天津瑪雅水公園八一建軍節(jié)有什么活動(dòng)?活動(dòng)對(duì)象:現(xiàn)役軍人、退役軍
觀點(diǎn)網(wǎng)訊:7月31日,山川集團(tuán)(建綠房地產(chǎn))以底價(jià)3 82億元、樓板價(jià)約8
恒隆集團(tuán)披露2023年度中期業(yè)績(jī),截至2023年6月30日止六個(gè)月,恒隆集團(tuán)
近日,蘇州凱倫置業(yè)有限公司成立,注冊(cè)資本1000萬(wàn)元,經(jīng)營(yíng)范圍包含:房
近日,廣州富力地產(chǎn)股份有限公司新增3條被執(zhí)行人信息,執(zhí)行標(biāo)的合計(jì)約1
如果想買一款?yuàn)W迪中型車78萬(wàn)左右車型,想必很多人在買之前,都會(huì)難以抉
盛夏時(shí)節(jié),湖北省遠(yuǎn)安縣舊縣鎮(zhèn)鹿苑村,群山環(huán)抱、溪水潺潺。溪流兩岸,
想要買一輛稱心的車型,對(duì)大多數(shù)人來(lái)說(shuō),都需要花費(fèi)不少時(shí)間和精力,如
1、大家還記得我們之前特別愛(ài)看的電視劇《武林外傳》嗎?里面的佟掌柜
1、國(guó)家金融監(jiān)督管理總局就《銀行保險(xiǎn)機(jī)構(gòu)操作風(fēng)險(xiǎn)管理辦法(征求意見(jiàn)
阿斯頓·馬丁已任命吉利控股集團(tuán)CEO李東輝為其董事會(huì)成員。-更多汽車資
如果想買一款4座全尺寸SUV145萬(wàn)左右車型,想必很多人在買之前,都會(huì)難
吉利繽瑞COOL冠軍版官圖公布。新車對(duì)格柵及前包圍等細(xì)節(jié)部分進(jìn)行重新設(shè)
1、名稱就叫2、《窮人脾氣大》和《如果愛(ài)能早些說(shuō)出來(lái)》本文到此講解完
北方導(dǎo)航(600435)07月31日在投資者關(guān)系平臺(tái)上答復(fù)了投資者關(guān)心的問(wèn)題。
咱們只跟隨市場(chǎng)熱點(diǎn),做市場(chǎng)強(qiáng)勢(shì)股,歡迎大家關(guān)注跟隨市場(chǎng)主線主線,有
項(xiàng)目施工現(xiàn)場(chǎng)風(fēng)電機(jī)組正在緊張吊裝施工中。每日甘肅網(wǎng)7月29日訊(新甘
介休稅務(wù):稅務(wù)管家護(hù)航綠色轉(zhuǎn)型建設(shè)以更精細(xì)的稅費(fèi)服務(wù),助力企業(yè)在“
廣州市黃埔區(qū)天豐路以北、天泰二路以西KXC-D8-5地塊出讓,由中國(guó)能源建
7月30日,北正街社區(qū)“咸安微家園”系統(tǒng)管理員在登錄后臺(tái)時(shí)收到了這樣
本期債券簡(jiǎn)稱“23濱湖建設(shè)SCP009”,債券代碼為012382858,期限為180日
悉,此次交易包含9幅涉宅地塊,起始總價(jià)達(dá)220 23億元,現(xiàn)場(chǎng)交易會(huì)將在2
截至發(fā)稿,美的置業(yè)漲16 39%、融創(chuàng)中國(guó)漲13 04%、龍湖集團(tuán)漲9 25%。
7月31日金融一線消息,據(jù)國(guó)家金融監(jiān)督管理總局網(wǎng)站發(fā)布的行政處罰信息
根據(jù)廈門國(guó)貿(mào)房地產(chǎn)公司決議文件,任命鄭瑋為廈門國(guó)貿(mào)房地產(chǎn)有限公司董
記者李夢(mèng)瑤完善鄉(xiāng)村醫(yī)療衛(wèi)生體系,是全面推進(jìn)健康中國(guó)建設(shè)的迫切要求,
短線拆息方面,隔夜HIBOR升36 87點(diǎn)子至5 59536%,是6月30日后新高,當(dāng)
本期債券簡(jiǎn)稱23金外灘SCP002,代碼012382823,期限180天,發(fā)行總額5億
太平洋百貨徐匯店于1993年開(kāi)業(yè),至今正好30個(gè)年頭。太平洋百貨淮海店和
特斯拉的新聞總是出人意表!七月初,國(guó)內(nèi)10余家企業(yè)在中汽協(xié)牽頭下,簽
7月24日,我市第六屆運(yùn)動(dòng)會(huì)開(kāi)幕式在鄉(xiāng)寧縣第一中學(xué)校體育場(chǎng)舉行。市
2023年7月25日,藍(lán)電汽車在雙福工廠正式向重慶市公安局沙坪壩公安分
2023年7月16日,央視《你好生活》第四季即將開(kāi)播。作為欄目唯一指定
近日,由工業(yè)和信息化部、發(fā)展改革委、商務(wù)部、農(nóng)業(yè)農(nóng)村部、國(guó)家能