大規模言語モデル (LLM) における「幻覚 (hallucination)」と呼ばれる現象について考察しています。この現象は、モデルが自信を持って誤った情報を生成することを指し、OpenAIの最新研究論文がその原因と評価方法の改善を提案しています。資料は、現在のトレーニングと評価の仕組みが、不確実性を認めるよりも推測を報酬として与えているため、幻覚が継続していると主張しています。
