Доброчанька 12/05/2022 (Mon) 01:40 No.989 del
## Ответы
> уверен ты не думал
Это распространённая ошибка. Такие аргументы (что языковая модель может стать платформой, на которой исполняется ИИ с агрессивным ресурсно-ориентированным поведением) не новы.
https://www.greaterwrong.com/posts/kpPnReyBC54KESiSn/optimality-is-the-tiger-and-agents-are-its-teeth
https://www.gwern.net/fiction/Clippy

На это отвечают
https://aiimpacts.org/counterarguments-to-the-basic-ai-x-risk-case/
https://plakhov.livejournal.com/232174.html

В целом похоже, что ai alignment очень прост и почти всё можно сделать без end to end reinforcement learning, функций полезности и прочей дрочки на KPI. Что заставляет в очередной раз задуматься, что главная опасность исходит от людей.
https://medium.com/@307th/what-happened-to-ai-learning-games-from-pixels-8c90fe127d7a

https://arxiv.org/abs/2211.03540 – более фундаментальный безопаснический подход

> что-то там про парсинг латеха
Я думаю это решаемо через что-то вроде

Message too long. Click here to view full text.