網(wǎng)站首頁 | 網(wǎng)站地圖

大國(guó)新村
首頁 > 原創(chuàng)精品 > 學(xué)術(shù)視野 > 公共治理 > 正文

大數(shù)據(jù)時(shí)代期刊評(píng)價(jià)方法變革

作者:陜西省社會(huì)科學(xué)院人文雜志社 秦開鳳

大數(shù)據(jù)正深刻地改變著期刊生態(tài),也必然會(huì)影響到期刊評(píng)價(jià)和學(xué)術(shù)評(píng)價(jià)的方式方法變革。但目前大數(shù)據(jù)技術(shù)應(yīng)用于學(xué)術(shù)評(píng)價(jià)還處在起步階段,關(guān)注度高,討論的多,實(shí)際應(yīng)用率低,還未能找到切實(shí)的大數(shù)據(jù)期刊評(píng)價(jià)辦法。這里有對(duì)大數(shù)據(jù)評(píng)價(jià)和傳統(tǒng)期刊評(píng)價(jià)模式認(rèn)知的誤區(qū)。一個(gè)誤區(qū)是所謂“大數(shù)據(jù)迷信”,把大數(shù)據(jù)當(dāng)成萬能的,希望用大數(shù)據(jù)評(píng)價(jià)完全取代傳統(tǒng)評(píng)價(jià)模式;另一誤區(qū)則是把大數(shù)據(jù)簡(jiǎn)單化歸結(jié)為“定量評(píng)價(jià)”,并夸大定量評(píng)價(jià)的局限性,由此主張回歸學(xué)術(shù)共同體評(píng)價(jià)即同行定性評(píng)價(jià)。

從“傳統(tǒng)”期刊評(píng)價(jià)模式來看,現(xiàn)行主流的期刊評(píng)價(jià)模式是依賴于一些專業(yè)的期刊評(píng)價(jià)機(jī)構(gòu)根據(jù)某一指數(shù)高低而定期或不定期地對(duì)期刊所做的排名,簡(jiǎn)單地說,這種評(píng)價(jià)模式可以稱為“以刊評(píng)文”。近幾年,業(yè)界對(duì)這種評(píng)價(jià)的弊端和不足已有充分認(rèn)識(shí)和廣泛討論,主要觀點(diǎn)有轉(zhuǎn)載率的排行所依托數(shù)據(jù)過于單一,不能全面反映期刊的質(zhì)量;所依托的影響因子的評(píng)價(jià)又抹殺了不同學(xué)科期刊存在的天然差異,且無法區(qū)分是正向引用還是負(fù)向引用等。這些批判性的觀點(diǎn)還是非常中肯的。但其中還有一種觀點(diǎn)完全將這種依托文獻(xiàn)計(jì)量學(xué)的評(píng)價(jià)簡(jiǎn)單地歸結(jié)為量化評(píng)價(jià)而大加批判,這也是不客觀的。定量評(píng)價(jià)和定性評(píng)價(jià)本身是不可分割的,總是互相包含。轉(zhuǎn)載率指標(biāo)作為一個(gè)量化數(shù)據(jù),反映的是包含了學(xué)術(shù)共同體成員主觀定性的評(píng)價(jià)結(jié)果。即使是原來主要依托影響因子的評(píng)價(jià)方式,也在試圖引入學(xué)術(shù)共同體的主觀評(píng)價(jià)以改進(jìn)數(shù)據(jù)質(zhì)量??梢哉f,經(jīng)過廣泛討論,一些共識(shí)已經(jīng)形成,即科學(xué)的期刊評(píng)價(jià)需要定性評(píng)價(jià)與定量評(píng)價(jià)相融合、客觀評(píng)價(jià)與主觀評(píng)價(jià)相融合、專業(yè)期刊評(píng)價(jià)機(jī)構(gòu)評(píng)價(jià)與學(xué)術(shù)共同體評(píng)價(jià)相融合。改進(jìn)的方向逐漸明確,路徑還在探索之中。而大數(shù)據(jù)的應(yīng)用從方法上將有效改進(jìn)原有評(píng)價(jià)方法上的不足。

大數(shù)據(jù)可以有效拓展評(píng)價(jià)主體。原有評(píng)價(jià)方法中的弊端之一是評(píng)價(jià)主體單一,以圖書情報(bào)文獻(xiàn)計(jì)量專業(yè)機(jī)構(gòu)為評(píng)價(jià)主體,對(duì)不同學(xué)科專門領(lǐng)域難免“外行”,不能替代學(xué)術(shù)共同體評(píng)價(jià);即使“同行評(píng)價(jià)”也只能是“小圈子”,數(shù)據(jù)樣本采集范圍不夠大。評(píng)價(jià)主體單一性主要忽略了(或無法顧及)期刊受眾——論文讀者這個(gè)最重要最廣大的群體。大數(shù)據(jù)技術(shù)可以有效彌補(bǔ)這一不足。一般來說,大數(shù)據(jù)反映的只是網(wǎng)絡(luò)上“雁過留痕”的痕跡,而這些痕跡大都來自論文讀者。也就是說大數(shù)據(jù)技術(shù)能夠?qū)⒆x者納入評(píng)價(jià)主體。我們可以通過點(diǎn)擊率、下載量、閱讀量(不光是被閱讀次數(shù),甚至閱讀時(shí)間都可統(tǒng)計(jì))得出比“引用率”、“轉(zhuǎn)載率”更全面更可靠的論文受關(guān)注程度;可以通過關(guān)鍵詞查詢論文的主要發(fā)現(xiàn)、主要觀點(diǎn)所引起的話題討論頻次,相關(guān)論文發(fā)表數(shù)量,以及“點(diǎn)贊”、“頂”或“踩”的頻次來判斷話題的“熱度”和學(xué)術(shù)共同體的正面負(fù)面評(píng)價(jià)。大數(shù)據(jù)甚至還可以區(qū)分出讀者是“外行”還是“圈內(nèi)人”,從而將多元主體的多元評(píng)價(jià)更完整地呈現(xiàn)出來,使評(píng)價(jià)更加準(zhǔn)確。

大數(shù)據(jù)可以有效克服“人為”弊端。原有評(píng)價(jià)方法中存在的另一個(gè)主要弊端是評(píng)價(jià)過程難以避免人情關(guān)系、利益交換、行政干預(yù)等人為操作因素帶來的“水分”,如通過惡性自引或互引提高引用率,以及通過“人情稿”、“關(guān)系稿”提升轉(zhuǎn)載率等,最終導(dǎo)致評(píng)價(jià)結(jié)果有失公正。大數(shù)據(jù)技術(shù)可有效識(shí)別一些不端行為,如可以通過技術(shù)手段甄別出非常規(guī)引用的數(shù)據(jù)從而進(jìn)行剔除,還可以通過關(guān)聯(lián)技術(shù)識(shí)別出人為操作的痕跡,擴(kuò)大的評(píng)價(jià)主體的網(wǎng)上透明評(píng)價(jià)可制約小圈子的人情評(píng)價(jià)等。大數(shù)據(jù)技術(shù)的法寶之一在于數(shù)據(jù)采樣范圍之“大”,根據(jù)統(tǒng)計(jì)誤差理論,樣本越大則誤差越小,再加上人工鑒別,可使期刊評(píng)價(jià)數(shù)據(jù)更為有效客觀。

總之,大數(shù)據(jù)時(shí)代為期刊評(píng)價(jià)方法的變革提供了契機(jī),為實(shí)現(xiàn)全過程、全數(shù)據(jù)、全方位的客觀評(píng)價(jià)展現(xiàn)了可能。但可能性不等于現(xiàn)實(shí)性,現(xiàn)階段大數(shù)據(jù)技術(shù)還不可能取代傳統(tǒng)期刊評(píng)價(jià)方式,當(dāng)務(wù)之急是將大數(shù)據(jù)技術(shù)與傳統(tǒng)評(píng)價(jià)方法整合創(chuàng)新。譬如進(jìn)一步構(gòu)建期刊編輯、作者、讀者、專家和公眾之間的交流平臺(tái),拓寬溝通渠道,建設(shè)不同類型群體的“投票”平臺(tái)。譬如進(jìn)一步篩選優(yōu)化評(píng)價(jià)指標(biāo),將原有“引用率”、“轉(zhuǎn)載率”與“點(diǎn)擊率”、“閱讀率”、“討論率”、“優(yōu)評(píng)(差評(píng))率”、“采用率”、“關(guān)注度”等科學(xué)融合,形成新的有效“影響因子”評(píng)價(jià)指標(biāo)。譬如通過跟蹤評(píng)價(jià),實(shí)現(xiàn)實(shí)時(shí)評(píng)價(jià)與動(dòng)態(tài)評(píng)估的結(jié)合,使評(píng)價(jià)更加合理,經(jīng)得起歷史檢驗(yàn)。譬如開發(fā)監(jiān)測(cè)軟件及時(shí)發(fā)現(xiàn)違規(guī)操作舞弊行為,通過數(shù)據(jù)庫拓展和文獻(xiàn)對(duì)比工具避免假引錯(cuò)引,等等。

學(xué)術(shù)評(píng)價(jià)期刊評(píng)價(jià)之所以難,是因?yàn)橐娙室娭?,評(píng)價(jià)的目的不同,其要求和方法必然有所不同。學(xué)術(shù)評(píng)價(jià)方法始終“沒有最好,只有更好”。未經(jīng)分析處理的大數(shù)據(jù)本身并不具有“評(píng)價(jià)”意義。大數(shù)據(jù)技術(shù)納入期刊評(píng)價(jià),歸根結(jié)底還是人的評(píng)價(jià),是人主導(dǎo)的評(píng)價(jià)。然而,大數(shù)據(jù)時(shí)代人工智能的發(fā)展使我們看到,大數(shù)據(jù)、云計(jì)算被應(yīng)用于期刊評(píng)價(jià)學(xué)術(shù)評(píng)價(jià)的速度會(huì)比我們預(yù)期的要快,效果會(huì)比我們想象的要好。相信不久的將來,大數(shù)據(jù)期刊評(píng)價(jià)軟件將會(huì)問世,屆時(shí),“機(jī)器評(píng)價(jià)”可能更加客觀、全面、快捷,更接近準(zhǔn)確,這為人的主觀定性評(píng)價(jià)提供了有效依據(jù),使期刊評(píng)價(jià)更為科學(xué)合理,期刊發(fā)展環(huán)境也將得到優(yōu)化。

[責(zé)任編輯:孫易恒]