2011.05.25

2011.05.18

1.共識評量第二階段：

• 學習評量的規準，再重新評量一次


• 越多次誤差越來越少


• 標準差越少=收斂=溝通教育的成效=共識評量的效度

2.emble共識評量使用時機：

• 有產品的東西：面向多元。ex：美術作品


• 數位多媒體的東西

PS:同儕評量的準確度佳

2.檔案評量

• 上層為多元評量。


• 網路評量非常適合多媒體


• 重點歷程，而非結果


• 可搭配其他的評量

3.評鑑屬於價值判斷。

4.學習者的話

5.實作評量：

• 適合技能類的學習


• 傳統1對1，網路可用模擬情境ex飛機。


• 語音辨識可作為評量的方式

6.合作學習：

• 評量學生間互動的學習

7.腦科學的發展促進研究的方法

8.卡片分類法card sorting :

卡片分類法(Card sorting)是一種在網站或其他規劃初期常用的測試方法，透過卡片分類法可以讓我們了解一些在設計網站架構時十分有用的使用者資訊：
了解真正符合使用者習慣的資訊分類。
比對網站設計者與使用者在對網站資訊分類上的認知差異，作為調整架構的依據。

• 測試前的準備
  卡片分類法的進行方式很簡單，首先必須準備一些大小相同的空白卡片(在文具行可以買到名片大小的空白的卡片)，將資料集的名稱一一寫在不同的卡片上，這樣便完成了測試前的準備工作。
  再來必須找一些參與測試的使用者，使用者必須是與網站計畫不相關的人；因為與網站計畫相關的人，可能會因為已經對網站資訊性質有所了解，而影響測試的準確度。如果網站有鎖定某些特定族群，可以針對不同的使用族群進行測試。每次測試的人數最好在2到4個之間，人數過少的話使用者之間不易產生討論，人數過多則會讓討論變得混亂，場面不易控制。


• 進行測試
  測試進行將將寫有資料集名稱的卡片疊成一疊放在桌面上，同時也要準備一些空白的卡片和筆放在桌上。
  簡單的向使用者介紹一下測試進行的目的和測試的規則：
  請使用者在經過相互討論後，將他們覺得屬於同類的卡片放在一起。
  在每一疊不同分類卡片的最上方，用空白卡片寫上使用者覺得最合適的分類名稱。
  如果有不知如何分類的卡片可以將它拿出來，不一定要全部分完。
  如果有不知該如何填寫名稱的分類也可留下空白。


• 測試時有幾點必須要注意
  盡量讓使用者在沒有壓力的情況下完成分類。如果有必要可以暫時離開測試的場所，讓使用者可以盡情的討論。
  如果使用者對資料集的名稱不了解，應該要向使用者解釋。但是要注意，在與使用者溝通的過程中，不可以引導使用者進行分類！
  當看到使用者對某個項目感到猶豫時，要立刻向使用者詢問原因並記錄下來。
  使用者將卡片分類完成後，將一疊疊的卡片用橡皮筋綁好，回去後將測試結果記錄在紙上。


• 分析測試結果
  在經過幾輪的測試之後，我們可以將測試所得的結果拿來和原先所作的資訊分類作個比對，通常我們在比對後，會發現原本的分類有某些部分與使用者的邏輯有所不同；如果多數的使用者都傾向某種分類方式與分類名稱，那麼就必需依使用者的邏輯進行修改。
  如果不同的使用者對某部分的分類想法出現分歧時，就必需進一步的分析以找出原因，通常出現這樣的情形是因為資料集的名稱不夠明確，而讓使用者搞不清楚該如何分類。
  在比對過使用者的分類後，並不一定要完全依照使用者的分類方式。但無論如何，測試的結果會是一個很重要的參考依據，它可以幫助我們設計出符合使用者習慣的資訊架構。
  卡片分類法不僅僅用在對整體資訊的分類上，當發現網站資訊分類的某個部分有問題時，可以針對有問題部分進行測試以釐清問題所在，卡片分類法在必要時可以重複進行，直到將資訊分類上的問題完全解決。
  資料來源：http://zh.wikipedia.org/wiki/%E5%8D%A1%E7%89%87%E5%88%86%E9%A1%9E%E6%B3%95

9.high rank thinking：

• 過去的人工智慧


• 得到關鍵知識


• 解決生活問題

2011.05.11

1.共識評量：

• 瀏覽




• 第一次評分




• 第二次修改




• 分組比較：找出類似的評分等第




• 計算平均分數：2.94




• 分組比較：平均數類似的同學




• 分化：建立比較標準



• 進行重新評量

2.共識評量：

• 高、中、低分：尋找評量的標準。




• ex：樹、衣服、形狀、人物....

3.評量：

• 量化




• 有固定的尺規進行評量。

4.評鑑：

• 非量化




• 指標




• 有理想的模式進行價值判斷

5.下週分享：評量的故事 5min

2011.05.04

1.Moodle平台

http://140.126.36.92:85/moodle/
國小學童課後學習活動調查表（運保、金山、至帆、東諭）
請依據現況回答，謝謝。
本問卷僅作研究之用，絕不外洩，敬請安心作答！


2.心智圖評分辦法

Novak 和 Gowin（1984）認為概念圖分析記分有四- 13 -個標準：（吳曉鬱）1. 命題 （每個有效命題記 1 分）2. 階層（每個有效的級為 5 分）3. 交叉連結（每個有效的、有重要意義的交叉連接記10 分。雖然有效，但不反映命題或相關概念組之間的綜合則記2 分）4.例子（概念圖有效的例子記1 分）。Ceare（1983）在研究中採用的標準與上述標準相同，只是在分數的分配上有些差別。後來Wallace 和Mintzes（1990）的研究在上述四個準的基礎上又增加「分支」，每個分支記1 分。Markham、Mintzes 和Jones (1994)認為，分支的記分應根據形成分支的層級來定。第一層上的分支記1 分，以後每個層級上的分支記3分。Liu(2004)沒有採用上述概念圖計分的方式，而是藉由概念圖的分析來解釋學習者概念改變的情形，Holley 和Dansereau(1984)認為概念之間有三種關係存在，分別是階層關係、鍊結關係和叢集關係，Liu 以這樣的分類為基礎，用來分析概念改變時，在本體論上與知識論上的改變。心智圖與概念圖則有相當類似的結構，是布任 (Tony Buzan) 於1960 年代後期所開發，目的是顯示字與字之間在概念上的相關性，由於心智圖的結構與大腦記憶的結構類似，也常被用於記憶力的訓練，作為加強記憶力的策略，心智圖沒有概念圖嚴謹的架構與計分標準，在內容的呈現上也比較多元，心智圖除了概念、階層和關係之外，通常會使用顏色、圖像來表達不同的意義。心智圖的應用除了在企畫、創意思考之外，也可以在學習上，將概念作分類和組織。

參考資料:http://140.127.36.251/e-journal/94%E5%B9%B4E-Journal%E7%AC%AC%E4%BA%8C%E6%9C%9F/pdf/002meaning%5B1%5D%E5%AE%97%E7%A9%8E.pdf

3.研究有三個命題:

• 把困難變簡單：把複雜現象量化，具有指標性。
  


• 加深問題的深度：把理論模型轉換成　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
  


• 把問題變得有趣的報告
  

4.研究的目的並非找出世界上不知道的事情，而是你自己所不知道的事情。

5.論文口試的重點：

• 不要與口試委員起衝突
  


• 研究需要有論點，透過他人文獻包裝
  

6.寫作是讓思想持續的歷程，透過故事持續寫作下去。

7.下週課程預告：共識評量、檔案評量、心智圖評量....

2010.04.27

1.問卷中的背景問題=變項

2.尋找碩博士論文（態度）中的自變項

ex不同性別的國小學童對數學因素分析的...

ANS：

• 論文題目：臺北市國小學童體育態度與健康促進生活型態之研究
  



• 問卷：
  
  



• 變相：年級、性別、身高、體重、參加社團與否。



• 研究結果：

　　獲得以下研究結果：一、臺北市國小高年級學童體育態度與健康促進生活型態大致良好。二、體育態度的三個因素構面，達顯著差異，其得分高低依序為「認知」、「情意」、「行動意向」。三、健康促進生活型態的四個因素構面，達顯著差異，其得分高低依序為「飲食營養」、「心理健康」、「運動行為」和「健康責任」。四、不同年級在健康促進生活型態「整體」、「飲食營養」及「運動行為」因素構面有顯著差異。五、不同性別與有無參加運動社團學童在體育態度「整體」及全部因素構面均達顯著差異。六、不同性別在健康促進生活型態「整體」、「心理健康」、「健康責任」因素構面達顯著差異。七、不同BMI值學童在健康促進生活型態「心理健康」、「健康責任」因素構面有顯著差異。八、有無參加運動社團學童在健康促進生活型態「運動行為」、「心理健康」因素構面有顯著差異。九、學童體育態度和健康促進生活型態達顯著正相關。

• 參考網址：http://ndltd.ncl.edu.tw/cgi-bin/gs32/gsweb.cgi/ccd=0zYclw/search?s=id=" href="http://www.blogger.com/" 099TMTC5567012?.&openfull="1&setcurrent=1

3.以本班為例，找出變相：

• 性別



• 年齡



• 身高



• 體重



• 以前就讀學校



• 在職與否



• 家人經濟狀況



• 家人學歷



• .....

4.從本課程中...

• 認識論：你能從本課程中學到什麼？
  @定義：測驗與問卷的定義與種類
  @設計：如何妥善設計測驗與問卷。
  @分析：如何使用統計方法進行分析



• 倫理論：我應該做些什麼？
@課堂前：發現問題、找出疑問。
@課堂中：吸收新知、建構知識。
@課堂後：蒐集資料、寫在部落格、分析批判。




• 宗教學：我希望什麼？
  @應用：將所學應用到論文寫作中，並實際解決生活的問題

（以上源自康德3大批判）

5.共識評量：

　　專家共識評量（consensual assessment）是由Amabile（1996）所提出，主要係藉由領域中的專家，依據一定程序、規準針對成品進行「創意」程度與品質的評量。 經十餘年的檢驗分析，發現專家共識評量是一種具信、效度之評量技巧。進行共識評量時，必須考量到 ◦「作業」、「受試者」、「評分者」三方面。

共識評量的實徵研究可歸納出：
(1)共識評量是具有信度的評量方式，因為所評定的是一種相對的創造力；
(2)評定結果能反應出創意表現上之個別差異；
(3)可廣泛運用於各個新領域或是新的作業型態；
(4)相對於傳統創造力測驗而言，共識評量比較耗時，但卻更具外在效度，因為所評定的作品為學習者的真實呈現。

參考資料：http://mathed.ntcu.edu.tw/person/ehhwang/%E7%AC%AC%E5%85%AB%E7%AB%A0%20%E7%B6%B2%E8%B7%AF%E5%90%88%E4%BD%9C%E5%AD%B8%E7%BF%92%E7%9A%84%E8%A9%95%E9%87%8F.ppt

共識評量之特質適當的共識評量應具有下列特質（Amabile, 1996）：

（一）評量者:在對某個作品或某類作品進行評估時，首先要挑選熟悉相關領域的成員組織評估小組，評量者是共識評量實施的重要因素。評量者對於被評作品須具有相當程度的領域背景知識或經驗。

（二）評量內容的選擇：

　　1. 必須是具體可觀察的反應或作品，以供觀察者對其評估。

　　2. 任務具有足夠的開放度，允許產品具有相當的靈活性和新穎性，足以讓評定者去評估其感受強度與內容，具有統一標準答案的作品不適合運用共識評量進行評估。

　　3. 被評量的作品不能過於依賴某些特殊技能，例如特定類型的手工藝作品或學術論文，因為這類作品深受特定能力與技術而決定其產出的可能，此時評定者的評分可能只是被動的反應作品產生的困難度與可行性。

　　4. 產品或反應可以由適宜的評量者對其進行信度較高的評量。目前，共識評量主要用於與寫作、藝術或表演或具有多種解決方案的問題解決等有關的作品或反應的創造性。目前應用最為廣泛的是用於評估兒童語言和藝術領域的創造力。

（三）程序要求：

　　1. 所有評量者必須對作品進行獨立評估，而不受他人的影響。

　　2. 要告訴評量者，應該對作品的哪些方面進行評估，最後由評量者對所有受試者的產品或反應做出獨立評估。要求評量者不僅須對於「創造性」進行評分，也需同時在其他相關指標上進行評分（例如新奇性、適當性、技術品質等等），如此可以更進一步的瞭解評量者對於該作品的看法，以及瞭解各指標間的關係。

　　3. 評量者必須先了解要評估的所有作品，然後根據作品的相對水準對創造性高低做出評估。所有評量者根據自己對創造力的定義對作品或反應做出評估。通常有三種做法：

第一種是按照產品所具有的創造性由高到低對所有產品進行排序；

第二種是將所有產品分為五類：創造性很低、創造性稍低、無法判斷、創造性稍高和創造性很高；

第三種是採用Likert 五點量表，並在其中三個參照點上分別寫上：高、中和低。在這三種方法中，第三種方法的評量者一致性較高，使用較多的也是這種方法。

　　4. 評估時，應該以隨機順序評估作品，以避免順序造成的效果。

（四）共識評量的信度檢驗：由於共識評量是基於評量者對創造力的定義，其主觀性比較大，因此，評量者一致性的高低就反映了共識評量的信度。對共識評量的一致性檢驗以Cronbach α 係數為實際研究中最常用的方法。評量者一致性係數的高低非常重要，較高的一致性係數表明共識評量的有效性。一致性係數高低還與評量者的數目有關，評量者越多，則評量者一致性越高。共識評量能接受的一致性係數為0.70 以上，對與言語有關的作品評估需要至少3 個評量者，與問題解決有關的作品需要至少4 個評量者，而對藝術領域作品的評估則至少需要7 個評量者（Amabile, 1996）。共識評估技術由於其接近於真實生活的評估方式，逐漸成為創造力評估的一種重要方法，被廣泛應用於社會心理學、個體差異及領域特殊性和領域一般性研究。葉玉珠（2006）建議實施共識評量後應考量：

　　1. 分析每個向度下，評量者間的信度，評定者間的信度等同「建構效度」。

　　2. 若評數個向度，則應做因素分析，以檢視創造力與其他向度的獨立程度。

　　3. 若產品本身有直接、可辨識的客觀特徵，則這些特徵應被拿來評量其與創造力的相關。

參考資料：http://140.126.30.3/cgi-bin/cdrfb3/nhctgsweb.cgi?ccd=Gdt5ma&o=e2&dbid=IS%3B%23%5C1%3D7%26%3E/1&dbpathf=/opt/cdrfb3/db/nhctcdrf/&fuid=03&dbna=

6.互評vs共識評量：

• 互評Not共識：互評缺乏共識，直接進行評量


• 互評Not學習：互評不是學習的歷程，共識評量由於建立共識的歷程，可視為一種學習歷程。

7.肯德爾和諧係數：

適用於三個次序變項的相關。通常用以計算兩組以上等級之間一致的程度。如要討論k個評分者評N件作品的等第是否一致。

• 建立共識評量的統計指標


• 二人以上的評分者

8.Moodle

• 網址：http://140.126.36.92:85/moodle/

2011.04.20

1.上網填寫考試焦慮問卷：http://media.elt.nhcue.edu.tw/aerc/user/user.asp

• 後端呈現：平均數等統計資料

2.測驗簡介：http://www.mytest.com.tw/

• 智力測驗



• 性向測驗



• 人格測驗



• 興趣測驗



• 成就測驗



• 其他測驗

3.研究所考試為何沒考是非題？

• 範圍廣大，無法精準評鑑出程度。



• 考古題=給予認真的學生機會。



• 字跡影響考試成績（隱藏式測驗）。

4.問卷前的基本資料：

• 例如：性別、年齡、職業...


• 為一種研究的自變項


• 項次越多，可分析的內容越多。

5.找出問卷的背景資料：

• 年齡


• 性別


• 地區


• 教育程度


• 父母教育程度


• 收入


• 興趣


• 家中是否有網路


• ....

Homework測驗簡介

• 主題：普通興趣量表（http://www.mytest.com.tw/興趣測驗.files/403%20普通興趣量表.htm）



• 對象：國小高年級、國中、高中



• 目的：增進教師與學生了解個人的興趣，可以導正學習方向。



• 常模：依性別建立「國小高年級~國中二年級」及「國中三年級~高中三年級」之百分等級、標準分數常模。



• 內容：含十一類興趣（機械興趣、計算興趣、文書興趣、社會服務興趣.....）。



• 信度：重測信度（時距為2~4週）：.52~.89

　　　　　　內部一致性信度（α值）：.27~.89

• 效度：與輔導興趣測驗之相關：.35~.87

補充資料：

• 重測信度：將同一個測驗重複施測於同一個樣本上，施測的時間不同、方法一樣，並求出各時間所得的測驗分數之相關係數，亦稱為再測信度。
  其表明在不同時間所得測驗結果的穩定性，故又稱為穩定係數。（周東山，1997 P.316）



• 內部一致性信度（α值）：主內部一致性信度(折半信度)內部一致性信度，即為折半信度，是用來驗證測驗的內部一致性的方法。依照測驗設計原理及邏輯，折成相等的兩半，再以皮爾遜積差相關係數法(Pearson r)計算相關係數http://webcache.googleusercontent.com/search?q=cache:FEpxVepA4RIJ:project.1111.com.tw/portal/ccu/mapa/pg016.asp+%E5%85%A7%E9%83%A8%E4%B8%80%E8%87%B4%E6%80%A7%E4%BF%A1%E5%BA%A6&cd=9&hl=zh-TW&ct=clnk&gl=tw&source=www.google.com.tw

我認為...

以上測驗，可用於前測，檢視學習者的興趣為何，比較不同興趣的學生，在研究者設定的主題的表現差異，例如，語文興趣的學生是否在閱讀測驗的分數較高呢？

2011.04.13

1.線上測驗平台http://www.mysurvey.tw/

• 優點：免費（樣本200個以內）


• 缺點：無法掌控填答人的情況

2.討論問卷

• 主題：數感測驗

(1)主題設定：經討論後，發現學子對數字的感覺有困難，無法指出正確的數字，因此嘗試設計一問卷測驗看看學生的程度。 (2)題目選擇：討論之後，選定以選擇題進行設計。 (3)題型豐富：本網站內有許多不同題型，可以適應多種形式的問題。 (4)圖形分析：最後結果可以折線圖、圓餅圖與長條圖呈現，一目瞭然。

• 內涵：長度、重量、容量、面積


• 網址：http://www.mysurvey.tw/s/mKg2TdFx


• 心得：

(1)選擇適合的題型：

　　問卷中選擇適合的題型是非常重要的，例如答案是開放性的，就應以問答的方式呈現，普遍的同學都能選擇適合的題型。

(2)問題間的連貫性：

　　而每個問題間必須有連貫性，而不能東問一題，西問一題，上下缺乏連貫，這樣的問卷將會影響其信效度。