LLM·HAL: инструментальный анализ и снижение галлюцинаций в языковых моделях

Автор: Мырзаш Ильяс Манасулы

Организация: КАРТУ

Населенный пункт: Республика Казахстан, г. Караганда

В статье исследуется феномен галлюцинаций больших языковых моделей (LLM) — генерации фактически недостоверной информации, представленной с высокой степенью уверенности. Проведена систематизация типов галлюцинаций: intrinsic (внутренние противоречия с контекстом) и extrinsic (генерация ложных сведений, отсутствующих во входных данных). Рассмотрено влияние масштабирования параметров на точность по бенчмарку TruthfulQA, а также эффективность методов снижения галлюцинаций: RLHF, RAG, Self-CheckGPT, IDK-policy. В рамках исследования разработан интерактивный аналитический инструмент LLM·HAL на Python/Tkinter, реализующий визуализацию данных по пяти тематическим вкладкам. Результаты показывают, что комбинированное применение методов снижает долю ошибок с 32% до 4%.