易評估:淺談如何推動評估落地生根與開花結果_風聞
战略学人-观察世界,思考未来,做有深度的战略学人。2019-04-08 22:05
淺談如何推動評估落地生根與開花結果
遠望智庫淨評估中心主任、首席專家 易評估

評估如何落地生根與開花結果問題,講的是評估從理論到實踐、從思想到行動怎麼辦的問題。隨着各類評估的概念原理和方法日益為人們所接受,評估究竟如何在具體領域及層次上落地生根的問題,也愈益受到關注。尤其最近兩年的一些評估理論研習活動中,總有一些參與者問及評估應從哪裏做起、如何着手的問題,希望就此展開一些討論。可以説,找不到突破口與着力點,是目前評估領域面臨的一個比較普遍和十分突出的問題。為滿足一些領導和朋友的要求,僅將近日座談中個人一些粗淺的説法整理如下,不當之處請批評指正。
評估好比診斷,中醫的“望、聞、問、切”家喻户曉、婦孺皆知,人們對於這種診斷早已司空見慣,甚至能夠手到擒來。然而,一旦賦予“評估”之名,許多朋友就有些茫然不知所措了。其實,評估並不神秘,按照《評估百科全書》的解釋,評估是古老的方法,它始終是人們實際生活中使用的最通用的講理的形式。人們都是講理的,肯定運用過這種形式。
評估在不同領域及層次上面臨的情況有所不同,不能一概而論。在一篇小小的文稿裏,也不可能把各種情形都説到。即使有限的幾個,説清楚也有很大的難度。特別是我個人評估的理論與實踐都非常有限、知識結構單一及經驗教訓不足,雖然私下不時地惡補,奈何欠賬確實太多,在許多問題上還止步於想當然的階段,僅能概略瞄準或“大概齊”,或許根本説不到點子上。
想起前些年比較流行的“六何”和“七何”分析法,似有所悟。所謂“六何”,印象比較深的就是緊緊圍繞何人、何事、何時、何地、如何、為何這六個方面,來展開和回答戰略戰役作戰想定作業問題。而“七何”就是“5W2H”,就是以五個以W開頭的英語單詞和兩個以H開頭的英語單詞進行設問,發現解決問題的線索,進而尋找創新發明新思路的方法。“5W”即:Who(何人)、What(何事)、When(何時)、Where(何地)、Why(為何)。“2H”即:How to do(如何)、How much(多少)。其實,評估何嘗不是這樣,評估是面向問題的研究分析,也應當準備和回答一些基本的問題。我注意到,台灣地區學者廖宏祥先生,在台灣綜合研究院“淨評估與國家安全”研討會上的一篇論文《淨評估的方法與應用》中,就一連提出了50個類似問題。
反過來説,如果有誰連一些最起碼的基礎問題也説不清楚,那麼他就搞不了評估或搞不好評估,他的評估也就不可能落地生根與開花結果,勉強搞下去的評估肯定是胡扯。
進入新的時代,評估無時不有、無處不在。通常情況下,從評估實施者、評估組織和領導者、評估委託者和其他相關者的角度看,推動或促進評估落地生根與開花結果,大致需要回答和解決以下問題,或以這些問題為抓手準備和展開工作。
一、為誰評?或者説評估的委託人是誰?
俗話説的好,“做事不由東,累死也無功”。評估委託人是誰?評估成果報送給誰?這是個十分重要的問題。評估之前需要搞清楚是誰授權與要求去評估的?不是誰讓你評估你就可以去評估的,也不是誰讓你評估某個對象他就接受或任由你去評估的。這裏至少還涉及到評估的合法性問題。
不同的委託人基於不同的目的,其關注點往往有所不同,不同領域和不同層次的委託人往往有其相應的“個性化”要求。打個比方,一些領導和朋友經常好問:你有評估指標嗎?就軍民融合而言,你的評估指標是什麼?其實,我就特別不願回答這樣上“不沾天下不佔地”與“十三不靠”的問題。因為你不知道為誰去評,站在什麼層次評估,你不可能説無論為誰評都有指標或都沒有指標。稍有常識的人都知道,黨中央和國務院,中央軍委、各戰區與各軍兵種,各省、市、自治區,各經濟特區、各開發區,各特定企業……層次不同、領域不同,關注點與中心議題當然有所不同,怎麼可能用一樣的指標去度量呢?
實際工作中,還真的有一些評估機構或專家,把一些非常複雜的問題過於簡單化,確實拿出自己的一些指標來,甚至有的還做了評估案例、搞出“榜單”來。我們當然不能一概而論,簡單地説它是對的或是不對的,畢竟也是“一家之言”嘛!但是,誰讓你去評的?你是為誰去評的?無論如何都是必須面對和搞清楚的問題。否則,你那個評估就只能是自娛自樂,價值幾何是談不上的,甚至是見不得外人的。
二、為何評?或者説為什麼一定要評估呢?
在前面講到的“六何”和“七何”中,都有提到目的為何的問題,這説明它是一個重要的問題。為什麼一定要評估?評估的目的究竟是什麼?反過來,不搞這個評估到底行不行?評估是針對內外環境變化還是分析工作進展、是支持工作決策還是支持戰略決策?類似問題在評估之前需要搞個清楚明白,甚至在評估過程中也不能忘卻。
評估是有根可循的、有頭緒活動,評估不是盲目的、“無中生有”的東西,不能為了評估而評估,評估必須有明確的評估目的。而評估目的的不同,就可能導致評估的主題、項目、內容、指標及權重和相關評估行為等眾多方面的不同。
我注意到,美國國防部指令《淨評估辦公室主任》在賦予淨評估術語定義時,就特別補充道“目的是辨識與確認需要高層防務官員注意的問題和機遇。”這與一般“屬性+種差”的定義法顯然不同,或者説它在這裏把“目的”作為“種差”的重要部分了。
或許有人會問,你總是説“評估好比診斷”的話。那麼,我不知道身體哪個部位有問題、或許根本就沒有問題,我漫無目的地去做個全面體檢就不行嗎?當然行的。那我要告訴你,你的目的就是找到問題或者確認沒有問題,你是有目的的。
三、誰去評?或者執行者是誰?
大家知道,同一個病人去不同的醫院或科室,或遇到不同的醫生,會有不同的診斷。例如,中醫與西醫就不同。與此類似,同一個評估任務,不同的評估者去執行,評估的方式方法和工具、過程及結果可能會有所不同。不僅如此,評估者的身份、評估者與委託者及被評估者的關係等也很重要。究竟是以上評下還是以下評上,到底是同級互評、自我評估還是第三方評估,抑或是多種主體混合評估,對於評估的方式方法和工具、進程及結果關係重大。
當然,評估執行者團隊結構與人員素質怎樣,更是直接關係到評估的方式方法、進程及結果。尤其要考慮到評估者的資質問題,避免“病急亂投醫”。到底是專業團隊還是業餘團隊,理論素養和實踐經驗如何?是否有評前培訓?信譽怎樣?有無不良記錄?有無需要回避的事項?有無利益上的瓜葛糾紛等等,需要事先釐清,不能幹起來再説或者幹了再説。否則,就容易造成“夾生飯”,甚至“砸鍋”。
四、評估誰?或者説評估對象是誰?
實際工作中,“評估誰”也是個重要問題。尤其是臨時組成的非專業團隊中一些新手,往往分不清評估主體與評估客體,以為人都是“主體”,物才是“客體”,更不能很好地把握被評估對象及其內部關係構成。
被評估對象是誰?是全體評估還是抽取部分樣本?需要抽取什麼樣本?他(它)們是誰?抽取多少才夠(合理)?“大—小—大”、“定性—定量—定性”是怎樣的關係,事先就應規劃計劃好。
人們常説的“一把鑰匙開一把鎖”,在這裏也是適用的。不同的評估對象各有其特點,如果硬是要用一種模式來評估,很可能類似於“把一個圓形的釘子打進一個方孔”或“把一個方形的釘子打進一個圓孔”之中。評估不同的事物都需要與之相應的方法與工具。把個比方,稱紅薯可用藍子或麻袋來裝,稱油水就得用上桶或罐,當年曹衝為稱大象有多重,就用上船和石頭,現在當然可以用地磅來解決。這也就是説,在評估之前,要針對被評估對象的特點預先做好準備,在作出評估結論時,也要充分考慮到被評估對象的一些特殊性,針對具體問題作具體的分析。
五、評什麼?或者説針對什麼開展評估?
這個問題可能是上一個問題的延伸,也可能是獨立的問題。評估的主題或中心議題是什麼?到底是評估某個(某些)領域、單位還是工程項目?是評估內外環境、工作效率還是功能作用(效能)、成本代價、風險?抑或兼而有之?針對其什麼時間點或時間段的狀態或趨勢來進行評估?類似這些問題事先要有清醒的認識或清晰化的表達,不能“走着瞧”走到哪算哪、搞出個啥算個啥。
究竟要通過哪些項目及重點內容來反映評估主題或中心議題,必須廓清領域範疇,必須聚焦重點問題,必須有明確的針對性。很難想像漫無目的、逮着啥評啥,能有好的結果。
事先劃定邊界很重要。對於一些重要事項要明確哪些必須評估,有時還須強調哪些不能觸碰和評估。這是因為,一方面,評估資源有限,不能無原則無限制地擴大範圍。另一方面,評估是一種權利,而權利都是有邊界的,評估不能逾越事先確定的邊界,否則就違規了,次生一些麻煩,導致終止評估活動、調整執行者,甚至引起一些不良後果,事與願違。當然,評估規劃計劃也不是一成不變的,評估過程中遇到意料之外的事情,也可根據授權或要求有些擴展和收縮。
六、依何評?就是依據什麼來進行評估?
依據什麼、遵循什麼來進行評估,它直接關係到評估的可行性、可靠性與信任度等問題。如果這個遵循和依據的可靠性存疑或公信度不怎麼樣,尤其是事先不能取得評估委託者、被評估者及相關方面是認可與信任,那麼無論你的評估行動為多麼認真紮實,其結果都將被認為是“不靠譜兒”的。
前面提到評估始終是人們實際生活中使用的最通用的講理的形式,如果事先沒有在遵循和依據上取得某種程度的一致,那就是不講理了,結果只能讓人口服而心不服,或者心口都不服。
評估的邏輯框架及指標體系是否科學合理、相對公正、比較透明特別重要。美國蘭德公司一些評估報告之所以影響比較大,除了“話語權”原因外,其邏輯框架的科學合理、相對公正、比較透明也是一個重要原因,甚至是主要原因。最近,有大學排行榜飽受爭議,我以為主要是評估的邏輯框架及指標體系沒有得到更大範圍的認可。試想,如果人們認為你的尺子不標準、度量方式方法失當,你拿着它去行事的話,怎麼可能得到令人信服的結果呢?
七、何時評?就是在什麼時間實施評估?
什麼時間實施評估,也是非常重要問題。誰都知道,世界是運動的,“人們不能兩次踏進同一條河流”,評估的主體和客體相關方面的情況也是不斷變化的。不同時間進行的評估,其執行的過程和結果也是有所差別的。
評估必須有比較明確的時間限定,不能象應酬語中常講的“過年來玩兒哈”這樣的活絡話兒。如果時間的不確定性太大,就不好執行、不好落地。因為如此這般,就可能導致執行中的工作安排過於隨便,臨時動意、倉促上陣。或一拖再拖,甚至由於時過境遷、需求變化,活動任務最終被“拖黃了”。
我注意到,從1997年開始到2014年終止的的美國曆次“四年防務評估”,就明確要求總統上任後多少天內必須完成。不僅如此,《美國法典》還明文規定國防部長、參聯會主席、戰略司令部司令年度淨評估的時限和內容要求。
八、何地評?以及在何種條件下評?
評估也是要講依託條件的,不是在任何地方、任何條件下都能進行的。特定的評估需要在特定場合及相應條件下進行。例如,水兵、軍艦的戰力評估,在內河與外海評估是不一樣的。因此,在何地評估以及在何種條件下評估,這也是評估委託者、執行者或其他相關方比較關注的問題。事先必須説清楚,以便計劃和準備,保障評估活動的順利進行。
事實上,線上評與線下評,現場評與場外評,或者多種場合綜合運用,對於評估的組織領導、實施過程和結果都會產生不同的影響。例如,一些演習活動就是線上評與線下評相結合、現場評與場外評相結合的,必須建構相應的條件並考慮到不同條件下評估帶來的差異問題。
大家知道,抗日戰爭時期,毛主席是在延安窯洞裏寫下《中國革命戰爭的戰略問題》和《論持久戰》的,相對而言,前者主要是第二次國內革命戰爭的事後評估,後者主要是對抗日戰爭的事前、事中評估。二者當時都是在我黨、我軍最高決策機關所在地——延安進行的。毛主席作為我黨我軍最高領導人,也是親歷者、評估者,掌握了所有渠道來源的情報信息,現場評和場外評都是存在的。
我注意到,美國國家層級的淨評估從一開始都是在五角大樓內進行的,並由美國總統通過國家安全委員會主導(最終交由國防部主導),主要原因是相關評估資源大都集中在五角大樓,評估的相關輸入和輸出在控管上都比較方便和有利。
我也注意到,在地面進行一些太空活動的評估,往往要建立相應的模擬環境和條件來進行。雖然這些模擬的環境和條件不是真實的,但它接近真實,沒有這樣的環境和條件評估就難以進行。
九、如何評?主要是採取怎樣的評估程序與方法?
方法是解決問題橋和船。毫無疑問,評估的方法論(理論原理)和具體程序與方法對於評估過程及結果至關重要。無論是評估委託者或是評估執行者,抑或其它相關方,對此都是非常關注的。評估正式開始前,應當劃分時間階段、界定問題領域、確認重要環節,並預備各種解決方案,選擇相應的程序與方法。
事實上,一些評估活動進展不順甚至中途難產,主要是由於事先對方法論及具體程序與方法等重視還不夠,相關工作過於粗糙,或者根本沒有預先設計與計劃安排。
我注意到,早在1947年7月美國國會通過的《國家安全法案》,就於明確制定《國家安全戰略》的同時,要求建立相應的“競爭性評估程序”,後來聚焦到淨評估上。美國淨評估的相關程序與方法眾多,針對不同議題的具體程序與方法更是各有不同,比較到位。及至1974年,美國國防部還比較規範和十分明確地提出了技術淨評估的方法論——技術下標法和技術下法,前者細分為十四個步驟,而後者也有十三個步驟,相關工作非常細膩。
十、以啥評?或者藉助什麼手段來評?
據傳曾在民間企業服務的美國國防部長倫斯斐説過:有見識的執行長在接管一家有問題的公司時,應像作戰一樣,先掂掂自己的斤兩。同樣,搞評估也要掂掂自己的斤兩:擁有什麼資源?準備拿什麼來評?事實上,任何一家評估機構或個人,無論多麼強大,也不是所有項目都能評得了的。
在這裏,所謂“一把鑰匙開一把鎖”,就是不同層次和領域面向不同的問題,需要藉助不同的手段支撐。不同的評估委託者與執行者能夠調動和運用的資源畢竟是有限的,相關資源總體上要能滿足評估的需要,具體匹配上也要比較恰當才好。
凡事預則立不預則廢,開始評估前,委託方與評估方都應衡量一下,是否具備評估所需要的手段資源,如果不具備或不完全具備,可有解決的可靠途徑?絕不能指望“車到山前必有路”,不能搞“到時候再説”。
十一、評出啥?評估的成果形式為何、以及怎麼應用?
評估要有用有效,必須事先考慮清楚通過評估過程輸出什麼產品?也就是説,必須弄清評估的成果形式是怎樣的?這是評估人員聚焦發力的目標,也是確保評估任務得以高效完成的重要前提。
不僅如此,在事先的評估設計與實際評估過程中,還要充分考慮評估的各種用途——主要用途、可能用途,主要給誰用、可能給誰用,進而努力保證評估成果管用、好用,有利於成果轉化。雖然理論上講,這些不是評估本身應該擔當的責任,但在實際工作上,若不如此,評估就不能算作成功,就會被否定而棄之不用,評估就失去了價值意義。
十二、咋保評?就是如何保障評估的順利進行?
在評估機制尚不健全完善、評估體系不夠科學有效的情況下,保障評估的順利進行難度很大。實際工作中,一些評估不能善始善終,除了事先計劃和準備不周或者情況突變之外,評估機制與體系或其要件缺失也是個重要原因。
在評估開始前,既要充分考慮可以獲得的或可能獲得的、促進評估目標實現的因素是什麼?也要充分考慮阻止或者有可能阻止評估目標實現的因素是什麼?不僅如此,還要制定相應的必要的制度措施,搞好人力、物力、財力、數據、模型、時間、場地和保密等保障。
在這裏,《評估協議》的擬定和執行特別重要。一些機構在評估展開前好説好商量,在評估實施過程中就推三阻四,沒那麼痛快了。特別是事先答應的條件不能及時提供,不配合調研、不提供文獻資料,“有病避醫”不反映真實情況的事時有發生。
十三、咋驗評?或者如何回溯和驗證評估的恰當性?
評估好比聰明的警官,單有警官還不行,還得有管警官的警官。同樣,有評估,還得有“對於評估的評估”。就是説,評估不能搞“暗箱操作”,在運作上應該是可以回溯和經得驗證的。
在事先的設計上就應該藴藏或孕育評估的可回溯和可驗證的這種特性,預定好相應的路徑和指標,而不是事後再再去想方設法,另搞一套。這好比打靶,必須“先畫靶、再打靶”,而是“先打靶、再畫靶”。
十四、咋續評?就是如何保證評估的可持續發展?
評估可以是“一錘子買賣”,但不總是。尤其對一些常態化、例行性的評估而言,往往要求迭代發展、持續評估。對此,不能每次都從零開始。換句話講,每次評估任務的完成應為後續開展的此類評估奠定某些基礎和條件。
美國的一些評估做起來似乎容易一些,方方面面的原因眾多,但是評估積累和沉澱比較厚實應該是其重要原因之一。我注意到,美、台一些評估報告就明確講到後續評估問題。例如,在美台2003年淨評估研討會提出的“八個步驟”中,最後一步就是“後續執行機制問題”。
雖然推動和促進評估落地生根與開花結果面臨的問題和需要做的工作還有很多,絕不僅僅是上述這些,但是,回答和解決了上述這些問題,並做好了相關的工作,評估的落地生根與開花結果問題基本上就不成什麼大問題了。