公司定義了幾個關(guān)鍵指標(biāo),然后重復(fù)和優(yōu)化這些指標(biāo),將更有可能取得成功,至少這是傳統(tǒng)智慧的套路。許多著名的天使投資者倡導(dǎo)諸如迭代、招生、營收等測量標(biāo)簽。 Andreessen Horowitz風(fēng)險投資公司(Marc Andreessen和Ben Horowitz聯(lián)合創(chuàng)立的位于硅谷沙丘路的風(fēng)險投資公司Andreessen Horowitz已成功躋身硅谷頂級VC公司之列,與Accel,Benchmark, Greylock, Kleiner以及紅杉資本旗鼓相當(dāng),甚至有人言,AH才是最頂尖的風(fēng)投公司。校長邦小編注。)的合伙人Jeff Jordan對此總結(jié)道:
好指標(biāo)是指運營公司的正確方式,其中創(chuàng)始人知道如何和為什么某些事情正在(或沒有)良性運轉(zhuǎn)......可以解決或做出相應(yīng)調(diào)整。
但對于教育技術(shù)公司,傳統(tǒng)的衡量標(biāo)準(zhǔn)是不夠的。迭代、招生、營收等標(biāo)準(zhǔn)措施并不能直接衡量出學(xué)生的學(xué)習(xí)成果。許多教育企業(yè)家有自己的工具,但對工具究竟是如何影響其所服務(wù)的學(xué)生卻只有一個模糊的概念。做了一個關(guān)于教室的產(chǎn)品,卻不清楚這個產(chǎn)品是如何提高教育以及把更多的學(xué)習(xí)機會給到學(xué)生,這是為什么?
教育公司CEO需要持續(xù)的標(biāo)準(zhǔn)化的教學(xué)成果測量方法,來做出信息決策,優(yōu)化教學(xué)成果;并需要像其他核心結(jié)果(諸如收入與招生)一樣頻繁而強烈地報道和反映它們。教育公司應(yīng)該回答以下兩個問題:
當(dāng)學(xué)生使用你的產(chǎn)品時,是否可以很好地量化他們的學(xué)習(xí)進展?
學(xué)習(xí)進展中的多少可以歸功于你的產(chǎn)品?
這些都是難以回答的問題。近年來隨著學(xué)校收集的數(shù)據(jù)越來越多,問題的解決相對容易了些。標(biāo)準(zhǔn)化測試并不總是能完整或準(zhǔn)確地測量學(xué)習(xí)效果,但加以細(xì)心使用,同樣可以作為測量學(xué)習(xí)產(chǎn)品對學(xué)習(xí)效果產(chǎn)生影響的有用而可靠的指標(biāo)。我建議大多數(shù)學(xué)習(xí)產(chǎn)品可以跟蹤和報告這兩個關(guān)鍵指標(biāo):
讓我們先從第一個問題開始 - 使用程序的同學(xué)學(xué)習(xí)變的更好了嗎?
1、追蹤平均業(yè)績值的轉(zhuǎn)移
學(xué)生業(yè)績百分比是測量學(xué)習(xí)進展程度的通行方法。學(xué)生的業(yè)績百分比是相較于其同齡人而得出的。例如,一個學(xué)生的數(shù)學(xué)業(yè)績百分比是45,則他的數(shù)學(xué)得分高于全國范圍內(nèi)45%的學(xué)生。根據(jù)定義,中等學(xué)生,他的業(yè)績百分比值為50。
中值業(yè)績百分比的增長是衡量一組學(xué)生整體學(xué)習(xí)進步的具體、廣泛、有用的指標(biāo)。如果中值百分比在A區(qū)一年年地增長,那么就意味著學(xué)生在A區(qū)比在其他區(qū)的同齡人學(xué)到的更多。如果漲幅很大且持續(xù),那么這是一個很好的指標(biāo),說明這些學(xué)生接受教育正在提高(盡管百分比本身無法告訴你為什么這個區(qū)存在著教育增長)。
越來越多的區(qū)和區(qū)域供應(yīng)商采用中值業(yè)績百分比的增長,來了解到底是什么在他們的區(qū)起作用。區(qū)要求學(xué)生采取標(biāo)準(zhǔn)化考試,如廣泛使用的NWEA地圖,和新的評估方法像PARCC與SBAC,并通過這些考試所獲得數(shù)據(jù)來了解學(xué)生使用產(chǎn)品對其學(xué)習(xí)產(chǎn)生的影響。創(chuàng)造這些產(chǎn)品的公司可以利用這些數(shù)據(jù)來了解其產(chǎn)品是否具有積極的影響。
2.讓學(xué)生以自身為對照組
學(xué)生成績的提高有許多原因,比如更好的老師,新的設(shè)施,或創(chuàng)新的技術(shù)方案。作為教育公司CEO,如何知道改變學(xué)生的學(xué)習(xí)可以歸因于一個特定的產(chǎn)品呢,而不是其他因素?
可控的實驗研究是一種提煉因果關(guān)系的有效方法,雖然有點不切實際。在這樣的實驗中,學(xué)生被隨機分成兩組:一組有學(xué)習(xí)產(chǎn)品使用,另一組沒有;并對他們的結(jié)果進行了比較。然而,這些研究在許多情況下是不切實際的。例如,如果一所學(xué)校的每個學(xué)生采用一個產(chǎn)品,然后學(xué)生在對照組不得不錯過了。盡管對照研究是理想的和必須的,但其結(jié)果并沒有一致而規(guī)律到需要在產(chǎn)品開發(fā)時考慮進去。
如果公司產(chǎn)品涉及課程的一個子集也許能夠衡量學(xué)生學(xué)習(xí)的影響而不依賴于對照組。在eSpark Learning,我們分析學(xué)生在一個或兩個共同核心科目的表現(xiàn),而其他科目則被覆蓋進課程里。然后,我們可以測量這些重點課目相對于其他課程的百分比增益。
例如,一個三年級的數(shù)學(xué)的學(xué)生可能只學(xué)習(xí)分?jǐn)?shù),測量和數(shù)據(jù),但不與其他知識領(lǐng)域一起學(xué)習(xí)(例如,幾何,運算與代數(shù),以及十進制的數(shù)學(xué)運算)。在這種情況下,我們會看看分?jǐn)?shù),測量和數(shù)據(jù)(核心科目)與幾何,運算與代數(shù),以及十進制的數(shù)學(xué)運算(普通科目)之間的性能相對差。如果學(xué)生核心科目得分比普通科目高,這表明,一個特定的工具或新的教學(xué)方法可能有積極的影響。
3、測量,刷新,重復(fù)
作為一個行業(yè),我們需要更好地跟蹤和對我們產(chǎn)品的教育成果做嚴(yán)格報告。我們要把這些給我們的員工,投資者和客戶報告,并時刻意識到對學(xué)生產(chǎn)生積極影響的最終目的,我們可以優(yōu)化正確的事情,并確保教育技術(shù)實現(xiàn)其改善學(xué)生學(xué)習(xí)機會的承諾。只有這樣,我們才能建立產(chǎn)品,真正地改變世界。