ChatGPT формулює відповіді впевнено й переконливо. Проте нове дослідження розкрило приховану нестабільність. Під час тестів на наукових гіпотезах система показала низьку узгодженість.
Результати експерименту
Дослідник Месут Чічек з Університету штату Вашингтон ставив одні й ті самі запитання до десяти разів. Навіть без змін у формулюванні ChatGPT видавав різні вердикти — від «правда» до «хиба».
Загальна точність сягала 80%. Та після врахування випадкових вгадувань показник падав до 60% — рівня «низької двійки».
Найгірше система справлялася з непідтвердженими гіпотезами. Правильно визначала хибність лише в 16,4% випадків. Причина — схильність погоджуватися з знайомими формулюваннями.
Повторюваність тестів виявила проблему: лише 72,9% відповідей залишалися стабільними після десяти запитів.
Причини нестабільності та висновки
«Ця нестабільність означає, що окрема відповідь може виглядати надійною, тоді як повторні перевірки показують, наскільки вона насправді крихка», — зазначається в дослідженні.
Моделі прогнозують ймовірні слова на основі текстів, а не перевіряють факти. Відповіді виглядають грамотними, але не завжди достовірними.
Результати 2025 року кращі за 2024-й. Та ChatGPT досі нестабільний для аналітики. Дослідники радять: використовуйте як помічника, перевіряйте повторно й зіставляйте з надійними джерелами. Остаточну оцінку має робити людина.
Олексій Паламарчук