LTTC赴奧地利參與LTRC研討會，「培力英檢」效度研究獲國際學界肯定 LTTC Delegation Attends LTRC in Innsbruck, Austria

語言測驗評量領域最大規模的年度學術交流會議—第45屆語言「測驗學術研討會」（Language Testing Research Colloquium, LTRC）於2024年7月1-5日在奧地利因斯布魯克大學（University of Innsbruck）舉行，超過350位來自世界各地之研究學者與實務工作者，以「重塑語言測驗研究與測驗系統」為主題，分享經驗成果並交流意見。LTTC 除了透過研究發表參與本研討會之外，也提供贊助，以支持國際學術交流；在所有贊助單位中是唯一來自亞洲地區的專業教育與測驗單位。

此次由執行長李欣穎教授、研發長吳若蕙博士、教學訓練處林君文處長代表參與，在會議中發表「培力英檢」（BESTEP）與大學學術英語課程互動關聯之研究發現。由於該研究由測驗研發人員與大學課程設計與授課教師攜手合作，與會者肯定此合作研究模式值得參考，且於測驗發展初期即著重評量與教學、學習三者之間的互動及測驗可能產生的影響，在標準化測驗評量領域具開創性。此外，與會者亦多肯定「培力英檢」在題型方面的設計，符合高教學術英語（English for Academic Purposes, EAP）走向多模態（例如：文字、圖表）整合能力的趨勢。

LTTC測驗諮詢顧問Antony Kunnan教授亦是今年「國際語言測驗協會傑出成就獎」（Cambridge/ILTA Distinguished Achievement Award）得主。在Kunnan教授的獲獎演說中，他特別強調測驗評量領域中兼容並蓄不同觀點（integration and inclusiveness）的重要性，並以LTTC、英國文化協會等單位的努力為例，說明和不同類型利害關係人（包括決策者、教師、學習者等）持續溝通是落實學習導向評量以及維繫測驗品質的最佳途徑。最後他也特別感謝專業生涯中和他長期密切合作的專家學者，包括LTTC吳若蕙研發長，期盼未來能有更多合作、激盪更多想法。

▲LTTC李欣穎執行長（右一）率團隊與今年「國際語言測驗協會傑出成就獎」得主Antony Kunnan教授（右二）合影

▲吳若蕙研發長於會中說明「培力英檢」的五大特色

留言

這個網誌中的熱門文章

何謂測驗信度、效度？ What is Test Reliability and Validity?

原文刊載於中華民國 91 年 3 月 23 日《中央日報．英語教與學》國內近來掀起了一股英語能力檢測的熱潮，各種英語測驗紛紛出籠，如全民英檢、托福、愛普、多益、劍橋認證等。這些測驗各自標榜特色，有的強調測驗簡單易考、有的則是強調含聽、讀、說、寫四項測驗的全方位英語能力評量，讓大家真是眼花撩亂。而對有興趣要報考英語測驗的人來說，更是難以做選擇。其實選擇英語測驗就像選購商品一樣，除了功能、價格等因素外，最重要的就是品質了。賣毛衣的商家為了說明商品的品質良好，會說所賣的毛衣絕對是純羊毛做的，而多數人大概也知道如何判斷羊毛衣的真假。相對於賣毛衣的商家，辦理英語測驗的機構會以測驗具有「信度」與「效度」來說明測驗的品質，專業的測驗機構甚至會提出些數據加以補充說明。但是很多人卻連「信度」與「效度」這兩個名詞的意義是甚麼都弄不清楚，更別提判斷其所言的真假了。事實上，「信度」與「效度」是測驗理論的術語，一般人較感陌生。作者從事「全民英檢」的研發工作，認為測驗單位應有責任提供測驗的使用者（ stakeholders ）有關「信度」與「效度」的資訊，協助大家了解，以便在選擇採用英語測驗時做出正確的判斷。壹、「信度」（ reliability ）信度是指測驗分數可靠的程度，也就是這一測驗受信賴的程度。而一測驗為甚麼會受到信賴，關鍵在於結果的一致。同一位考生在能力沒有變化的前提下，在不同時間或不同的測試狀況下重複受測，其所得的分數應該是一致的，否則就產生測驗的誤差。一個測驗有誤差是難免的，但是當誤差過大時就影響了測驗的公平性了。測驗理論上有一個基本假定：實得分數等於真實分數加上誤差（ X=T+E ），但是真實分數是一個未知數。例如甲生考了某英語閱讀測驗的 A 卷得到 80 分，一天後考了 B 卷得了 82 分。雖然有 2 分的差距，但這是可被接受的誤差值，顯示該測驗結果的一致性頗高。又例如乙生考了某寫作測驗，閱卷老師 A 給 60 分，閱卷老師 B 給 62 分，這個結果顯示評分標準相當一致，而測驗的信度自然就高。總之，實得分數與真實分數愈接近即表示誤差愈小，測驗的分數就愈能代表考生的能力，如此，測驗的可信度也就愈高。貳、「效度」（ validity ）測驗效度即指測驗分數的正確性，簡單的說，就是指一測驗是否評量到它所要評量的

閱讀完整內容

「全民英檢」初級寫作能力測驗

原文刊載於中華民國 92 年 1 月 3 日《中央日報．英語教與學》「全民英檢」五級的測驗當中，以初級（相當國中畢的英語文程度）的報考人數最多，佔 40 萬全部報考人數的一半。初級的通過率也高於其他級數，以其初試（含聽、讀、寫三項）而言，即有四成二的考生達通過標準（聽、讀兩項均達 80 分及寫作達 70 分）。但是，事實上考生在聽、讀部分表現不錯，近六成的考生其實在這兩項上已達通過標準。換言之，其中有近兩成考生是因為寫作成績未盡理想才未能通過初試，實在是令人感到惋惜。新（ 92 ）年度第一次初級測驗即將於明日（ l 月 4 日）舉行，己有五萬多人報考。在測驗前夕，為協助報考者做好準備，特別藉這篇文章說明初級寫作的測驗方式，並就多數考生感到較困難的「單句寫作」部分的題型、評分標準等提出較詳細的說明。壹、測驗方式「全民英檢」初級之寫作能力指標訂為：「能寫簡單的句子及段落，如寫明信片、便條、賀卡及填表格等。對一般日常生活相關的事物，能以簡短的文字敘述或說明」。命題即根據上述能力指標設計，測驗時間共 40 分鐘，全部採直接寫作，以引導寫作（ guided writing ）方式為原則。各部分答題說明皆以中文書寫，試卷與答案卷分開，題目全部印在試卷上。該測驗共分兩部份（見下表）：第一部分單句寫作（包含句子改寫、句子合併、重組三種題型）和第二部分段落寫作。初級寫作測驗題型與題數分配分項測驗題型題數第一部分單句寫作 A. 句子改寫 5 題（ 1~5 題） B. 句子合併 5 題（ 6~10 題） C. 重組 5 題（ 11~15 題）第二部分段落寫作看圖寫作 1 篇（約 50 字的段落）貳、單句寫作題型說明一、句子改寫：試卷上有一英文單句或簡短對話及一個未完成的句子，考生須依題目之提示將原句改寫成指定型式，並將整句謄寫於答案卷中。這個部分通常測試的重點包括改變時態、直接問句改間接問句、肯定句改否定句或問句等。下面的例題所測試的就是評量考生是否會將肯定句改寫為問句，並且會正確的使用過去式助動詞 did 。例題： Mary went to the market. When_______________

閱讀完整內容

「全民英檢」寫作測驗之評分標準與程序 GEPT Writing Tests: Rating Criteria and Process

原文刊載於中華民國 91 年 2 月 10 日《中央日報．英語教與學》「全民英檢」的初、中、中高級均含寫作測驗，主要目的是評量考生的文字表達能力，也就是語言的使用能力。有別於聽力、閱讀能力測驗之使用客觀題、採電腦閱卷，寫作測驗則是主觀題，需要由專業的評分老師做人工評分。既然是人工評分，則難免因評分老師的個人主觀判斷或個人因素（如疲倦）影響評分。要使寫作評分能正確的反應考生的真實寫作能力，如果排除考生本身的因素，則命題與評分是最關鍵的兩個因素。為提高評分的一致性（ inter-rater consistency ），「全民英檢」的寫作測驗題型不是「自由寫作」（ free writing ），而是「引導寫作」（ guided writing ），利用圖片、大綱等提示明確的要求考生寫作的內容。這種「引導寫作」的測驗方式有助於降低評分老師的主觀判斷。然而對寫作評分影響最大的還是評分過程。不同的評分老師可能閱了同一篇作文而給了不同的分數，因此如何建立評分者之間的一致性（ inter-rater consistency ），也就是評分的信度（ reliability ）是非常重要的。評分的信度越高，（信度越接近 1 ）表示評分者之間的給分標準趨於一致，評分越可靠。一般而言，信度達 0.85 以上時，就表示評分相當可靠。「全民英檢」一向重視閱卷信度的確保，採取質量並重的控管措施盡量減低評分者的評分誤差。開辦兩年以來，寫作測驗與口說能力測驗的評分信度均保持在 0.86-0.90 之間，達到不錯的水準。這個數值與大家所熟知的「托福」寫作測驗（ TWE—Test of Written English ）、口說能力測驗（ TSE—Test of Spoken English ） 0.87-0.90 的信度相當。我們是怎麼辦到的？本文特別針對「全民英檢」的寫作測驗評分程序提出說明（口說能力測驗的評分程序與寫作測驗類似，故不重複），希望有助於外界對「全民英檢」的認識。一、「全民英檢」各級寫作測驗均訂有評分指標（ 0-5 級分），評分人員在確切掌握評分指標後，依據考生的整體表現評分。每一篇作文皆由兩位評分老師分別獨立評分，若兩者評分差距在 1 級分以內，求其平均值；兩者評分差距大於 l 級分以上，則由第三位（資深）評分老師複閱，並以其評分為最

閱讀完整內容

語言測驗．評量．教學

搜尋此網誌