Інтегрований підхід до оцінювання рівня сформованості іншомовної комунікативної компетентності за допомогою штучних нейронних мереж анотація




Сторінка1/9
Дата конвертації11.02.2018
Розмір1,3 Mb.
  1   2   3   4   5   6   7   8   9
УДК 378.14

Ім’я автора видалено у зв’язку з анонімністю процедури рецензування. (ред)


ІНТЕГРОВАНИЙ ПІДХІД ДО ОЦІНЮВАННЯ РІВНЯ СФОРМОВАНОСТІ ІНШОМОВНОЇ КОМУНІКАТИВНОЇ КОМПЕТЕНТНОСТІ ЗА ДОПОМОГОЮ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ
Анотація. У статті розглядається метод визначення інтегральної оцінки рівня сформованості іншомовної комунікативної компетентності слухачів групою експертів у процесі комплексного тестування з іноземної мови. Використання математичних методів та сучасних спеціалізованих програмних засобів під час проведення комплексного тестування слухачів, значно вдосконалюють експертні методи, зокрема у напрямку підвищення ступеню достовірності оцінювання. Задіяння можливостей програмного аналітичного середовища, що реалізує моделювання нелінійного узагальнення на основі штучних нейронних мереж, підвищують точність оцінювання та дозволяють у подальшому ефективно використовувати накопичений у моделі досвід компетентних експертів.
Ключові слова: експертне оцінювання; медіана Кемені; коефіцієнт конкордації; штучна нейронна мережа.

1. ВСТУП

Постановка проблеми. Питання покращення якості тестування з іноземних мов, а отже і підвищення надійності отриманих результатів оцінювання рівня сформованості іншомовної комунікативної компетентності (ІКК) слухачів безпосередньо впливає на вдосконалення процесу навчання іноземних мов.

Експертні методи, що застосовуються під час проведення комплексного тестування слухачів з іноземної мови, постійно удосконалюються, зокрема завдяки все зростаючому використанню математичних методів та спеціалізованих програмних засобів. В будь-якому випадку експертне оцінювання рівня сформованості ІКК слухачів – це процес вимірювання, або процедура порівняння рівня сформованості ІКК слухачів за обраними покажчиками/ознаками (результатами комплексного тестування). З огляду на проблему, яка досліджується, найбільший інтерес становлять два етапи: отримання експертних оцінок та оброблення отриманих даних.

Математично-статистичні методи оброблення експертних оцінок необхідно застосовувати у всіх випадках, коли вихідні дані є результатами роботи експертних комісій, і потрібно знайти обґрунтовану узгоджену думку групи експертів для представлення заключних результатів з високим ступенем достовірності.

При цьому інтуїтивно прийнятним виглядає вимога стабільності на певному інтервалі часу сформованої авторитетними експертами цільової функції оброблення результатів комплексного тестування, яка у більшості випадків матимете нелінійний характер.



Аналіз останніх досліджень і публікацій. Питання теорії та практики, пов’язані з типовими стадіями експертного оцінювання, а саме з методами оцінювання узгодженості інформації від групи експертів, а також з моделюванням процесу її оброблення висвітлено в працях багатьох дослідників, зокрема С. Д. Бєшелєва [1], О. І. Орлова [6], С. П. Хабарова [8].

Над теоретичними аспектами сучасних технологій збору даних і аналізу структурованої інформації (Data Mining) і їх практичним застосуванням працювали такі зарубіжні та вітчизняні фахівці як Дж. Гінтон [10], П. Ройяс [11], П. Д. Васерман [12], Д. К. Монтгомері [5], В. М. Лазарєв, О. П. Свиридов [4], Л. Н. Ясницкий [9], І. П. Гайдишев [2], М. Б. Паклін, В. І. Орєшков [7] та інші.

Проте інтегроване застосування деяких математично-статистичних методів з їх програмними реалізаціями для оброблення групових експертних оцінок рівня сформованості ІКК слухачів за результатами комплексного тестування ще недостатньо досліджено.

Мета статті. Метою цієї статті є обґрунтувати інтегрований підхід оброблення інформації під час експертного оцінювання рівня сформованості ІКК слухачів за результатами комплексного тестування, що передбачає підвищення достовірності групової оцінки і точності функції оцінювання на основі застосування методу медіани Кемені та штучних нейронних мереж.

Для досягнення цієї мети слід оцінити надійність і переваги запропонованого інтегрованого підходу, що реалізує зазначені методи за допомогою сучасних інформаційних технологій.



2. РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ

Ефективність використання результатів експертного оцінювання рівня сформованості ІКК слухачів за результатами комплексного тестування цілковито визначається формуванням групи експертів (членів екзаменаційної комісії) з метою отримання від них об’єктивних оцінок та залежить від застосовуваної методики їх подальшого оброблення з метою отримання інтегральної оцінки рівня сформованості ІКК слухачів.



В більшості випадків екзаменаційні комісії під час приймання екзамену з іноземної мови складаються з 3-5 членів (експертів). Кожний з експертів оцінює рівень сформованості ІКК за певним аспектом і виставляє свою оцінку (бал). Виникає необхідність у попередньому обробленні отриманої від експертів інформації. Задля цього можливо використати підхід, коли слушно застосовувати метод медіани Кемені разом із обчисленням коефіцієнта конкордації групи експертів, що дозволить зменшити розмірність вектора вхідних даних до прийнятної величини для подальшого оброблення.

Наступним важливим завданням для формування інтегральної оцінки є оброблення індивідуальних оцінок слухачів, отриманих за кожний аспект ІКК (за окремий тест). Переважна кількість прикладних задач обчислення комплексного результату, які розв’язуються методом математичного моделювання, зводяться до знаходження певної складної функції, яка здійснює багатовимірне перетворення вектору вхідних параметрів у вектор вихідних параметрів. Універсальним інструментом побудови цієї функції є нейромережеві технології.

Загальна ідея інтегрованого підходу до оцінювання рівня сформованості ІКК слухачів за результатами комплексного тестування з використанням методу медіани Кемені та штучних нейронних мереж представлена на рис. 1.

Слухачі під час комплексного тестування (декілька тестів) демонструють свій рівень ІКК, що оцінюється групою експертів (екзаменаторами) з виставленням кожним з них оцінки за певною шкалою вимірювання. Використовуючи можливості програмної надбудови AtteStat, на основі матриць результатів по кожному з тестів обчислюється коефіцієнт конкордації даної групи експертів та за його значенням робиться висновок щодо узгодженості їх оцінок. У разі необхідності приймаються рішення щодо проведення коректування складу групи. Також матриці результатів використовуються у якості вхідних даних для визначення за допомогою метода медіани Кемені експерта зі складу групи, оцінки якого будуть вважатися остаточними за відповідний тест.



Рис. 1. Структура інтегрованого підходу оцінювання рівня сформованості ІКК за результатами комплексного тестування

Вихідний масив оцінок цього етапу оброблення подається на вхід моделі, реалізованої за допомогою штучної нейромережевої технології у середовище Deductor Studio Academic. З цією моделлю завчасно проводилось навчання та тестування на основі репрезентативних вибірок еталонних прикладів результатів комплексного тестування з іноземної мови, які надавались авторитетними експертами. Це дозволяє говорити про достатньо об’єктивну процедуру формування інтегрованої оцінки рівня сформованості ІКК слухача, яка може бути задіяна по мірі необхідності протягом тривалого періоду часу.

Розглянемо стисло основні аспекти щодо використання спеціалізованих програмних продуктів AtteStat та Deductor Studio Academic для вирішення завдань запропонованого інтегрованого підходу.

Програма аналізу даних AtteStat призначена для професійного статистичного оброблення даних і виконана у вигляді надбудови до електронних таблиць Microsoft Excel під управлінням ОС Microsoft Windows.

У програмному забезпеченні застосовуються різні методи оброблення експертних оцінок, з поміж яких задіяно метод отримання колективної думки – медіана Кемені, та метод дослідження узгодженості думок експертів – коефіцієнт конкордації. Методи, які застосовують у цьому програмному забезпеченні, розраховані на оброблення вихідної матриці певної структури.



Медіана Кемені – це вибір узгодженої думки експертів, коли матриця опитування експертів є ранжируваннями. Нехай матриця опитування має розміри n строк на m стовбців, де n – кількість об’єктів, m – кількість експертів. Запишемо задану множину ранжирувань у вигляді . Нехай d(P, Pi ) – відстань між довільним ранжируванням P і ранжируванням Pi, i=1, 2,…, m. Тоді ранжирування P, що належить до множини заданих ранжирувань і задовольняє вираз:

(1)

називається медіаною Кемені.

Відстань між ранжируваннями k и l визначається за такою формулою:

(2)

де – елементи матриць відносин часткового порядку ранжирувань k и l, відповідно, які автоматично обчислюються програмою на підставі матриці опитування експертів.

За визначенням медіана Кемені знаходиться лише серед ранжирувань, заданих матрицею опитування, що аналізується. Розв’язанням, таким чином, буде ранжирування, зроблене одним з експертів, при цьому програма додатково вказує номер цього експерта.

Приклад результатів обчислення експертних оцінок за медіаною Кемені для матриці опитування експертів (табл. 1) наведено на рис. 2.



Таблиця 1

Матриця опитування експертів




Експерт_1

Експерт_2

Експерт_3

Експерт_4

Експерт_5

Тест_1

4

3

3

3

4

Тест_2

5

5

5

4

3

Тест_3

4

5

4

5

4


  1   2   3   4   5   6   7   8   9


База даних захищена авторським правом ©uchika.in.ua 2016
звернутися до адміністрації

    Головна сторінка