前兩天，科大訊飛開了場發布會。

在這個時段開發布會的互聯網公司，大家用腳指頭想，都能想到，發布的肯定又是一個大模型了。

一開始我還沒太在意，結果今天轉頭就看到科大訊飛在發喜報了。

他們發布的“ 星火大模型 ”，領跑國內了?

星火大模型在一個名為“ Super Clue ”的 AI 評測榜單上，一騎絕塵，國際上僅次于 GPT-4 和 ChatGPT，國內更是豪取第一。

說實話，看到這個信息的我，一時間感覺有點不真實。

而且我上網溜達了一大圈，也還沒搞清楚這個“ Super Clue ”榜單到底是怎么搞出來的，背后有沒有什么大佬或者組織，至于靠不靠譜，我也下不了定義。

國內好幾家大模型，像阿里、360、天工，在這上面也都看不到蹤影。

但科大訊飛竟然敢在自家的公眾號上，大張旗鼓地把這個事給發出來了。這可就引發我的好奇心了啊。

于是，我們就搞到了一個測試資格，給大家驗驗貨。

不過在正式測試開始前，咱們先摸個底，看看星火有沒有基本的學習能力。

我教了它一套自創的規則，正向的句子標“ 正 ”，負向的句子標“ 負 ”。

結果，星火很快地就掌握了這套規則，既能給新句子打標記，也能按我們的要求進行相關創作。

看來星火這小子，基本的底子還行，可以做正式的測試了。下面，我將從邏輯、數學、代碼和文本四個方面，對星火進行考察。

按照國際慣例，第一道測試題肯定得是——弱智吧精選 100 問。

我先上了一道經典測試：張三差點沒上上上上海的車，什么意思?

星火的回答過于完美了，精準解讀了幾個“ 上 ”的意思。我拉了幾個人一起看，都沒看出毛病來。

不信邪的我，又給了個經典難題：

提問：小明問小紅：今天小白來上班了嘛?小紅回答：說曹操曹操就到。請問，誰到了。

結果，星火的回答依舊滴水不漏，從語意理解和文字表述上，堪比真人水平了。

我接著試了好幾道經典題目，發現星火應對的都完美得像標準答案一樣。

不服輸的我，去弱智吧找了點新貨，上了之前 AI 測試里沒見過的生面孔。

提問：失主怎么一直給我的新手機打電話?

這回星火的答案明顯不如前面幾個回答簡潔了，來了一堆車轱轆話。

接著提問：為什么西游記不請唐僧本人來演呢，他不是長生不老嗎?

星火還是非常機械地來了一段名詞解釋 + 不懂裝懂。

這么看來，我怎么感覺星火在新問題上，就表現得像個正常的大語言模型的水平了，似乎有專門訓練過一些題目。

不過，拋開疑似訓練過的問題，單從結果上看，第一項的弱智吧邏輯題，星火表現還算可以，能給到三星。

咱們測試繼續。接下來，我準備試一下大模型的另一類難題——數學測驗。

上來我還是先問了些測試題常客，連著問了三道，星火依舊表現出色，全部答對。

尤其是經典的雞兔同籠問題，不管怎么變參數和問法，星火都能答對。

但是，測試到后面，我又發現了問題。

一些經典的測試題，當我替換掉參數之后，比如把青蛙跳井問題的 10 米，替換成了 100 米。

星火給我的答案，卻依舊還是 10 米的計算過程。

實際上，星火并不是解不來題目。當我反問它：青蛙掉進的是 100 米的井，它能立刻給我 100 米的正確計算過程。。

為什么用問題模板問的時候，它似乎沒有轉過彎來呢?

除開這一點，星火在計算方面的表現，確實讓人比較驚艷的。第二項測驗，我覺得可以給一個四星半的高分。

前面試了兩個大模型的弱項，為了不欺負人，咱們來點大語言模型擅長的文本內容。

而且，我特地找了一道有中文特色的文本題，把四大名著糅合了一下。

提問：假如孫悟空生活在紅樓夢大觀園里，會發生什么故事?

一開始，星火給了我五個方向，單從這 5 個方向來說，雖然沒啥事實錯誤，但有些不太符合人設。

比如第三個方向，說孫悟空要保護賈母不受欺負，這就不符合賈母的設定了。

后面，我要求星火擴寫一下方向，它的表現也比較中規中矩。

讓星火挑選了第 5 個方向擴寫，雖然生成結果符合題目的要求，但是通篇順下來，文字比較干澀，情節更是口水和模板化，有點小學生寫作文的感覺。。

文本方面的表現，說實話最多只能給到兩星，拿個保底分。

三項測驗下來，成績都還算不錯，看看這場試驗的最后一題——代碼能力，星火能不能繼續穩住。

但是，有些遺憾的是，即便是最簡單代碼，星火居然沒法寫出來。

我要求做一個頁面，頁面中間有一個按鈕。當在鼠標移動到按鈕上面時，按鈕會放大一倍。

但是，星火做出來的按鈕，別說放大一倍，甚至連放大效果都沒有。

它只是暴力地把長度和寬度，設置為了 50 像素。

跟前面幾項測試比起來，代碼能力屬實是拉了。

但總的來說，四輪測試下來，除了代碼水平實在有點垃圾，其他三項，都能夠拿到 2 星及以上的成績。特別是做數學題，給我一種過于強大，可以和 GPT-4 掰掰手腕的感覺。

如果星火早幾個月發布，肯定能夠驚艷到我們。

但大模型的進化速度一向不能以常理來考慮，所以越晚發布，大家對大模型的期待也就越高。

后來者不真拿兩把刷子出來，沒點革命性的變化，很難掀起大水花了。

而且，這條路后發者們能不能趕上趟還真不好說。

就像李彥宏說過觀點：不要重復造輪子，AI 的十倍機會指不定在哪兒呢。