人工智能機(jī)器人的數(shù)學(xué)“高考”輸在語文上
2017-06-09 11:20:19新浪綜合
6月7日晚,人工智能機(jī)器人AI-Maths正在解答2017年數(shù)學(xué)科目高考試卷,研發(fā)負(fù)責(zé)人接受記者采訪。當(dāng)日,AI-Maths分別花了22分鐘和10分鐘,答完北京文科卷和全國Ⅱ卷,分別得了105分和100分。
11個黑色方盒子被裝在一臺一人多高的機(jī)柜里,身后連著密密麻麻的電線、網(wǎng)線,設(shè)備嗡嗡作響,信號燈不停閃爍,旁邊兩臺空調(diào)正在抓緊工作。如果室溫超過25攝氏度,這11臺服務(wù)器將可能宕機(jī)。
這是6月7日傍晚,發(fā)生在成都高新區(qū)一個創(chuàng)業(yè)園區(qū)內(nèi)的場景。“準(zhǔn)星數(shù)學(xué)高考機(jī)器人”AI-Maths在這里迎來了屬于它的2017年文科數(shù)學(xué)“高考”。
這是人工智能向人類發(fā)起的最新一場挑戰(zhàn)。此前,谷歌公司旗下DeepMind公司研發(fā)的人工智能機(jī)器人AlphaGo先后戰(zhàn)勝頂尖棋手李世石和柯潔,引發(fā)了人們對人工智能會不會超越人類這一話題的熱議。
斷網(wǎng)、斷題庫,閉卷考試
AI-Maths是在一個與互聯(lián)網(wǎng)隔絕的空間進(jìn)行答題的。研究人員強(qiáng)調(diào),AI-Maths不是依靠數(shù)量龐大的題庫進(jìn)行比對、作答的,它主要靠系統(tǒng)學(xué)習(xí)知識點,形成邏輯推理能力后進(jìn)行自主解題。
由于涉及試題保密,機(jī)器人無法與全國考生同時、同場競技。考試現(xiàn)場,數(shù)十位工作人員在緊張“備戰(zhàn)”,焦急地等待網(wǎng)絡(luò)上更新高考試卷。記者的長槍短炮已經(jīng)包圍了這些可能的信息來源�,F(xiàn)場緊張感十足,哪怕一點響動都能吸引一批人探尋的目光。
研發(fā)AI-Maths的成都準(zhǔn)星云學(xué)科技有限公司負(fù)責(zé)人稱,這是人工智能第一次向復(fù)雜綜合推理技術(shù)發(fā)起挑戰(zhàn)。此前,研究人員為它設(shè)定的考試目標(biāo)是110分。而在今年2月的一次模擬考試中,它只獲得了93分,剛過及格線。
在過去3個多月的魔鬼訓(xùn)練里,AI-Maths的做題數(shù)量從起初的100套試卷增加到大約500套試卷。
這是它“一個人的高考”。考場中只允許它獨處,不能有任何人為干涉。它不能像其他機(jī)器人小伙伴一樣,靠連接網(wǎng)絡(luò)數(shù)據(jù)庫和題庫獲得答案,一切都憑借那11臺服務(wù)器。它必須獨立完成讀解、計算,與普通考生無異。
成都準(zhǔn)星云學(xué)科技有限公司CEO、清華大學(xué)(分?jǐn)?shù)線,專業(yè)設(shè)置)蘇州研究院大數(shù)據(jù)中心主任林輝向記者表示,聯(lián)網(wǎng)、聯(lián)題庫的狀態(tài)下答題,就像一位考生在自由開放環(huán)境下的開卷考試,目前市場上已有很多應(yīng)用。但AI-Maths要做的是模仿考生封閉環(huán)境的閉卷考試,現(xiàn)場到處貼著“所有設(shè)備斷網(wǎng)斷庫”。
為了讓這場考試對人類更公平,林輝邀請了三位專家擔(dān)任“監(jiān)考官”,從斷網(wǎng)情況到用于拷貝試題到服務(wù)器上的U盤是否夾帶“小抄”,他們都在眾多直播鏡頭下現(xiàn)場完成檢查。
17時45分,一位工作人員在會場最后方的錄題區(qū)域喊了一聲:試題來了!工作人員當(dāng)即宣布,AI-Maths將挑戰(zhàn)的首套高考試卷是文科數(shù)學(xué)北京卷。十幾位錄題、檢查人員在會場后方,抓緊將從網(wǎng)上獲取的圖片格式試題輸入進(jìn)WORD文檔。再過一會兒,這份“考卷”將進(jìn)入AI-Maths的“大腦”。
為了這次實戰(zhàn),錄題的工作人員試驗過多次。林輝向中國青年報·中青在線記者介紹,就在正式考試幾天前,第一次錄題時,很多工作人員曾緊張得雙手發(fā)抖,頻頻出現(xiàn)失誤。一旦錄題不準(zhǔn)確,AI-Maths的“高考”將失去價值。
在林輝看來,工作人員的緊張再正常不過。在很多人心中,跟人工智能機(jī)器人的對戰(zhàn)顯得有點“悲壯”。在今年2月AI-Maths與成都某知名中學(xué)學(xué)生的“對戰(zhàn)”前,一名學(xué)生甚至感覺自己是“代表人類在作戰(zhàn)”。
機(jī)器人的失分之處在于無法讀懂自然語言
18時28分,AI-Maths正式開始作答北京卷。在會場前方的8臺電腦承擔(dān)著向“考場”內(nèi)11臺服務(wù)器導(dǎo)入試題和導(dǎo)出答卷的功能。
大屏幕上原本顯現(xiàn)的AI-Maths孤零零佇立在考場中的畫面,變成了答題過程的實時呈現(xiàn)。從選擇題開始,屏幕迅速滾動,答案就實時展現(xiàn)在真題的右方。
到了解答題,現(xiàn)場的氣氛更加緊張。此前,大家從沒見過AI-Maths將如何讀解包含眾多文字描述的大題。它會寫過程嗎?能得到過程分嗎?它的解題思路跟人類一樣嗎?
1、2、3……AI-Maths將每一個步驟用數(shù)字順序標(biāo)明。如果第五步使用的是第一步和第三步的結(jié)論,它將顯示為:“由條件(1)和(3)得”,后接運算結(jié)果。
按照AI-Maths過去的“倔強(qiáng)勁兒”,它可能有時會卡在一道題目上幾小時不止。那時它沒有知難而退的意識,對于解不出的難題,一種方法不行,它就會嘗試下一種方法,有時甚至?xí)䴙橐坏李}嘗試好幾百次。所以研發(fā)團(tuán)隊專門設(shè)置了一個放棄程序,以確保AI-Maths不卡在一道題目上而耽誤了后面的解題進(jìn)程。
22分鐘后,工作人員宣布AI-Maths已完成北京卷。他們迅速打印它的答卷,并在鏡頭的見證下交由坐在會場左側(cè)等待判卷的3位數(shù)學(xué)教師。他們都是來自成都幾所知名中學(xué)的教學(xué)帶頭人。
在北京卷的判卷過程中,第二套試卷全國II卷也開始了人工錄入階段。
19時許,現(xiàn)場工作人員宣布了AI-Maths的首套高考答卷的成績:105分!選擇題滿分!現(xiàn)場響起了熱烈的掌聲。
105分的數(shù)字通過現(xiàn)場觀眾擴(kuò)散到了網(wǎng)上。看到這個成績,一些網(wǎng)友留言表示“我這輩子都沒到過105分”,也有人質(zhì)疑:為什么AI-Maths不答難度更高的理科數(shù)學(xué)?早早地做完題為什么不檢查一下錯題?
19時19分,AI-Maths開始作答全國II卷。林輝拿著AI-Maths的答卷現(xiàn)場解析它在一些題目中得零分的原因。比如北京卷第14題,林輝覺得自己初次讀題都“有點暈”。
他認(rèn)為,題干中“教師人數(shù)的兩倍多于男學(xué)生人數(shù)”的表述并不常見,AI-Maths很可能由于無法理解這種描述,故而無法解答,得了零分。“主要是自然語言理解出現(xiàn)了問題。”林輝表示。
在林輝介紹間隙,工作人員宣布,19時29分,AI-Maths僅用10分鐘便完成了答題�,F(xiàn)場爆發(fā)出一片驚嘆聲。很快,閱卷結(jié)束,這次AI-Maths的得分是100分。
這次,AI-Maths的答卷上紅叉落在了選擇題第九題上。這是一道講述甲乙丙丁4人向老師詢問成語競賽成績的邏輯推理題。除了“2位優(yōu)秀、2位良好”的信息涉及數(shù)字,其他都是純文字表述。
閱卷老師隨后告訴記者,AI-Maths的失分主要在于概率統(tǒng)計題等文字表述較為復(fù)雜的題目。它主要問題還是出在了讀不懂題上。用參與閱卷的數(shù)學(xué)老師的話說,AI-Maths要考好數(shù)學(xué),還得先學(xué)好語文。
盡管沒能達(dá)到110分的目標(biāo),研究團(tuán)隊依然感到驕傲�?拼笥嶏w研究院院長胡國平說,據(jù)他所知,這是人工智能第一次在斷網(wǎng)斷庫的情況下完成自動解題。類比聞名世界的AlphaGo,前者更多地屬于計算智能的范疇,AI-Maths要解決的是認(rèn)知智能層面的問題,也是目前人工智能與人類差距最大的領(lǐng)域。
研究人員相信,經(jīng)過更多的訓(xùn)練和學(xué)習(xí)以后,未來AI-Maths會取得更好的成績。林輝透露,在過去一年中,公司在復(fù)雜邏輯推理、直覺觀察推理、計算機(jī)算法、深度學(xué)習(xí)上都進(jìn)行了深入攻關(guān)。
“思維能力就像是人在成長時的肌肉,要先訓(xùn)練力量,再去訓(xùn)練招式、套路。”林輝說。接下來,他們將繼續(xù)讓AI-Maths“復(fù)讀”,做更多的題進(jìn)行訓(xùn)練。“待它更強(qiáng)大時,再進(jìn)行聯(lián)網(wǎng)、聯(lián)數(shù)據(jù)庫。否則AI-Maths靠的都是人的經(jīng)驗,永遠(yuǎn)無法超過人類!”
林輝希望,AI-Maths有朝一日能完成從學(xué)生到出題人、閱卷人身份的轉(zhuǎn)變。他告訴中國青年報·中青在線記者,本次使用11臺服務(wù)器,為的不是展示技術(shù)的力量,而是希望AI-Maths可以用更接近日常生活的設(shè)備條件來發(fā)展自己,從而便于未來更廣泛地應(yīng)用于日常生活。