Улучшит ли масштабирование социальное моделирование с LLM? Исследование 85 моделей

Stanford / Columbia / Tsinghua

исследования официальный 1 ист. ~1 мин

Эмпирическое исследование с использованием 85 трансформерных моделей объёмом до 70B параметров по трём семействам задач: моделирование мнений, поведенческое моделирование и продольное прогнозирование. Масштабирование в целом помогает для хорошо представленных популяций, но систематически не улучшает калибровку когнитивных предубеждений человека — например, неприятия риска; для недопредставленных демографических групп прирост существенно ниже.

Почему это важно

Чёткий эмпирический вывод о том, что масштаб не устраняет ошибки калибровки предубеждений или точность для групп меньшинств в социальном моделировании — важное ограничение для растущей области применения LLM в качестве заменителей респондентов опросов.

Важность: 2/5

Исследование 85 моделей (Stanford/Columbia/Tsinghua), выявляющее пределы масштабирования для социального моделирования и калибровки предубеждений

scaling benchmark evaluation reasoning alignment bias

Источники

официальный Will Scaling Improve Social Simulation with LLMs? (arXiv)