36 氪獲悉，6 月 7 日，虎博科技正式發(fā)布并開源其自研大模型 TigerBot。同時(shí)，虎博科技還發(fā)布了大模型應(yīng)用開發(fā)所需的全套 API，以及多領(lǐng)域?qū)I(yè)數(shù)據(jù)。

虎博科技成立于 2017 年，是一家專注于深度學(xué)習(xí)及 NLP（自然語(yǔ)言處理）技術(shù)的 AI 公司，36 氪曾多次報(bào)道。此前，經(jīng)過多年技術(shù)探索和積累，虎博科技已經(jīng)擁有包括智能搜索、智能推薦、機(jī)器閱讀理解、總結(jié)、翻譯、輿情分析及撰稿在內(nèi)的關(guān)鍵技術(shù)，亦有全球各行業(yè)的專業(yè)信息數(shù)據(jù)積累。

(相關(guān)資料圖)

2022 年 11 月，OpenAI 發(fā)布 ChatGPT，掀起了全球的 AI 大模型科技浪潮，中國(guó)市場(chǎng)也出現(xiàn)了不少團(tuán)隊(duì)自研 AI 大模型的嘗試，虎博科技也是其中之一。

本次虎博科技所發(fā)布的自研大模型 TigerBot，是一個(gè)多語(yǔ)言多任務(wù)大規(guī)模語(yǔ)言模型，經(jīng)歷 3 個(gè)月的封閉式開發(fā)和超過 3000 次實(shí)驗(yàn)迭代，當(dāng)前已經(jīng)迭代出第一個(gè) MVP 版本。

從功能上，Tigerbot 已經(jīng)包含大部分生成和理解類的能力，具體包括幾大部分：

內(nèi)容生成：輔助用戶解決創(chuàng)作類問題，快速生成營(yíng)銷文案、評(píng)論、新聞稿等等。另外，Tigetbot 也支持圖片生成——模型可以實(shí)現(xiàn)文生圖，進(jìn)行插圖創(chuàng)作等

圖片生成

開放問答：用戶向 Tigerbot 提出問題，比如烹飪攻略、長(zhǎng)文本總結(jié)、文本理解、角色對(duì)話、潤(rùn)色等等

開放式問答

提取信息：比如有目的地獲取關(guān)鍵信息、提取數(shù)字、主要內(nèi)容等等

長(zhǎng)文本解讀

在 3 個(gè)月封閉開發(fā)背后，是一支精干的團(tuán)隊(duì)?；⒉┛萍紕?chuàng)始人兼 CEO 陳燁對(duì) 36 氪表示，在大模型研發(fā)上，虎博團(tuán)隊(duì)致敬了硅谷經(jīng)典的 " 車庫(kù)創(chuàng)業(yè) " 模式，團(tuán)隊(duì)開始只有 5 個(gè)人，CEO 同時(shí)擔(dān)任首席程序員及首席 AI 科學(xué)家。

" 在大模型的研發(fā)上，我們堅(jiān)信頂尖團(tuán)隊(duì)能起到的作用，團(tuán)隊(duì)規(guī)模不必太大，但技術(shù)需要過硬。在我們從 0 到 1 的研發(fā)過程中，我們核心的研發(fā)團(tuán)隊(duì)一直保持在 4-5 個(gè)人，以及密切合作的研發(fā)狀態(tài)。" 陳燁表示。

從模型效果上看，虎博 Tigerbot 根據(jù) OpenAI InstructGPT 論文的公開 NLP 數(shù)據(jù)集上進(jìn)行評(píng)測(cè)，TigerBot-7B 對(duì)應(yīng) OpenAI 同等規(guī)模的 6B 版本，其綜合表現(xiàn)能夠達(dá)到 OpenAI 效果的 96%。

以 OpenAI-instruct GPT-6B-SFT 為基準(zhǔn)，歸一化并平均各模型的得分情況 來(lái)源：虎博科技

在過去三個(gè)月中，虎博科技主要基于 GPT 和 BLOOM 兩個(gè)開源模型基礎(chǔ)上，在模型架構(gòu)和算法側(cè)做了一系列優(yōu)化。陳燁對(duì) 36 氪表示，虎博科技在技術(shù)突破上，主要集中在原創(chuàng)的監(jiān)督和微調(diào)方法上。" 從整個(gè)技術(shù)角度來(lái)說(shuō)，監(jiān)督微調(diào)的方法是大模型這件事的核心，能夠影響模型效果的七到八成。"

比如，大模型浪潮來(lái)臨后，困擾業(yè)界的一個(gè)難題在于大模型的 " 幻覺 " ——即大模型輸出的結(jié)果，和人類說(shuō)的話一樣自然，但在事實(shí)層面會(huì) " 胡說(shuō)八道 "。

陳燁以實(shí)際案例舉例，針對(duì)這一問題，虎博應(yīng)用了一些經(jīng)典的監(jiān)督學(xué)習(xí)方法，如 Ensemble 和 Probabilistic Modeling，結(jié)合到大模型中。

" 假設(shè)人類在問模型一個(gè)事實(shí)性問題，Tigerbot 不會(huì)只是簡(jiǎn)單地生成自然語(yǔ)言，而是同步利用更少量的數(shù)據(jù)就能知道人類意圖——在回答上，則會(huì)更好的權(quán)衡事實(shí)性和創(chuàng)造性。" 陳燁補(bǔ)充。這樣的結(jié)果是，機(jī)器在訓(xùn)練模型中算力和數(shù)據(jù)的消耗，會(huì)比同等檔次模型要小。

針對(duì)中文語(yǔ)境，虎博科技從分詞器（Tokenizer）到訓(xùn)練算法等方面做了針對(duì)性算法優(yōu)化，使得模型更懂中文指令，提高了問答結(jié)果的中國(guó)文化屬性。（注：這里調(diào)后了一段，因?yàn)樵谀Ｐ屠?，事?shí)性和創(chuàng)造性決定了它是不是會(huì)胡說(shuō)八道，中文環(huán)境的針對(duì)性算法優(yōu)化，可以讓它更懂中國(guó)人的交流，類似于幾個(gè)同學(xué)在一起，總有 1 個(gè)比其他人文學(xué)底蘊(yùn)更好一點(diǎn)）

而在并訓(xùn)練上，虎博的大模型團(tuán)隊(duì)也突破了比如 deep-speed 等主流框架中若內(nèi)存和通信問題，使得在千卡環(huán)境下，可實(shí)現(xiàn)訓(xùn)練數(shù)間斷。

虎博科技在大模型研發(fā)上選擇走開源路線。此次開源內(nèi)容包含模型、代碼、數(shù)據(jù)三部分，包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個(gè)模型版本；基本訓(xùn)練且覆蓋雙卡推理 180B 模型的量化和推理代碼；以及達(dá) 100G 的預(yù)訓(xùn)練數(shù)據(jù)、監(jiān)督微調(diào) 1G/100 萬(wàn)條數(shù)據(jù)。

目前，這些內(nèi)容已經(jīng)全部在 Github 中發(fā)布（鏈接見此）。之所以選擇開源路線，陳燁表示，推進(jìn)人類文明的技術(shù)變革往往源于本能、直覺和偶然性，擁有自由的創(chuàng)新精神是根本。

" 大模型技術(shù)就像是一門新興學(xué)科，是顛覆式且長(zhǎng)周期的，未來(lái)的可能性超越 PC 和互聯(lián)網(wǎng)。現(xiàn)階段過早和過于理性地探討產(chǎn)品、應(yīng)用、場(chǎng)景和商業(yè)化或許沒有必要，更重要的是推廣這一人工智能基礎(chǔ)設(shè)施的原創(chuàng)突破，促進(jìn)技術(shù)的發(fā)展和更新。"

出于上述的考慮，虎博除了一部分積累的預(yù)訓(xùn)練數(shù)據(jù)集，也同時(shí)開源了系統(tǒng)性的中文數(shù)據(jù)搜集和清洗方法論。陳燁并不認(rèn)為數(shù)據(jù)會(huì)成為壁壘：" 更重要的是團(tuán)隊(duì)對(duì)于數(shù)據(jù)清洗的理論和系統(tǒng)性的高度，這是一個(gè)長(zhǎng)期的系統(tǒng)工程。"

虎博科技自成立之初就專注在中文 NLP 的技術(shù)和產(chǎn)品研發(fā)上，積累了大量高質(zhì)量的中文預(yù)訓(xùn)練數(shù)據(jù)，本次發(fā)布的 100G 預(yù)訓(xùn)練數(shù)據(jù)，就是其中的一部分。未來(lái)，虎博還將開放大量的金融、法律、百科等領(lǐng)域?qū)I(yè)數(shù)據(jù)，供應(yīng)用開發(fā)者使用。

此前幾年，虎博科技基于 NLP，開發(fā)了主要面向泛金融領(lǐng)域的 NLP 產(chǎn)品，如輿情監(jiān)測(cè)、搜索、知識(shí)圖譜等，也已經(jīng)用 api 的方式服務(wù) B 端客戶。本次大模型的發(fā)布也會(huì)與虎博的業(yè)務(wù)相結(jié)合——當(dāng)前，虎博科技已經(jīng)面向老客戶提供包括內(nèi)容生成類的功能模塊。陳燁表示，大模型技術(shù)浪潮來(lái)臨后，在市場(chǎng)側(cè)感覺 " 客戶決策速度比以前更快，產(chǎn)品落地速度也更快。"

未來(lái)，虎博科技將持續(xù)投入力量到大模型的研發(fā)和落地中。陳燁談及了正在研發(fā)或者正在完善的一些功能，如研究助手 TigerDoc、文創(chuàng)和營(yíng)銷工具等，虎博科技也正在內(nèi)測(cè)部分面向個(gè)人的類助手產(chǎn)品。

歡迎交流

歡迎關(guān)注