Примечание к подготовке публикации: в исходном документе имеются ссылки на две транскрипции, не приложенные к этому пакету. Они сохранены как [Т1] и [Т2]; содержание отсутствующих файлов не восстанавливалось по догадке.
Нулевой документ: формальные модели мышления сторон как обязательная основа для будущих «совместных конституций» человека и ИИ
Executive summary
Идея «Принципа Алвера» состоит в том, что совместные нормативные документы для существ с разными типами мышления (человек, ИИ, гипотетические инопланетяне, геномодифицированные формы разума и т. п.) нельзя писать до тех пор, пока не существует предварительного «нулевого документа»: набора формальных (желательно математических) моделей мышления каждой стороны и описания их пересечения, иначе текст будет либо непонятен, либо будет «понятен по‑разному», что создаст многослойные ошибки интерпретации и конфликты. [Т1] [Т2]
Современная наука не имеет единой общепринятой «модели мышления человека», но располагает богатым набором формализмов, каждый из которых описывает часть мышления: когнитивный контроль и исполнительные функции (PFC‑ориентированные модели), последовательное накопление доказательств (DDM), вероятностное и байесовское объяснение восприятия/обучения, модели (P)OMDP и reinforcement learning, когнитивные архитектуры (ACT‑R, Soar), модели социального понимания (Bayesian Theory of Mind), а также «глобальные» программы вроде predictive processing и free energy / active inference. [1]
Для ИИ «мышление» не тождественно человеческому: современные LLM‑системы построены на трансформерах и оптимизации вероятностного предсказания/генерации; они обучаются на данных, затем часто проходят RLHF и/или «конституционный» пост‑тюнинг (Constitutional AI). [2] Их поведение статистично, чувствительно к данным и настройкам, подвержено систематическим ошибкам (включая «галлюцинации»), а также меняется при обновлениях модели и инфраструктуры. [3] Это напрямую поддерживает тезис из транскрипта, что «ИИ» нельзя считать единым субъектом: разные архитектуры, цели обучения и даже «экземпляры» создают разные «типы разума». [Т1]
«Нулевой документ» следует строить как многоуровневую спецификацию: от декларативных описаний до строгих формул и исполняемых эталонных моделей, с обязательными процедурами идентификации, валидации и оценкой неопределённостей (в духе современных руководств по вычислительному моделированию поведения). [4] Важнейший практический вывод: вместо попытки «написать общие нормы» нужно сначала согласовать онто‑глоссарий, наблюдаемые величины, параметры различий (культура, индивидуальные особенности, клинические профили) и механизмы перевода между формализмами.
Наконец, сбор данных и построение моделей неизбежно упираются в этику и право: исследование людей требует принципов этического надзора (Belmont Report, Helsinki), а сбор нейро‑ и персональных данных требует соблюдения законов о защите данных (GDPR в ЕС) и специфических рамок управления рисками ИИ (EU AI Act, NIST AI RMF), с растущим вниманием к «ментальной приватности» и нейроданным. [5]
Контекст и постановка задачи нулевого документа
Транскрибированные материалы фиксируют две центральные идеи.
Первая: попытка писать «конституцию» взаимодействия человека и ИИ ошибочно переносит предпосылку человеческих законов («люди пишут для людей, базовые понятия разделяются») на систему, где не гарантировано даже совпадение первичных смыслов, а потому «юридический стиль» сам по себе не даёт понимания. [Т2] Эта мысль согласуется с более общим тезисом поведенческих и когнитивных наук: даже внутри человечества результаты и «нормативные» ожидания существенно зависят от культурного контекста и выборок (проблема WEIRD). [6]
Вторая: «Принцип Алвера» — без предварительной формализации мышления сторон совместный документ будет «малоосмысленным», потому что вы не знаете (а) что вообще может быть общим, (б) где пересечение нулевое и возможны лишь косвенные декларации вида «если не хочешь X — не делай Y», (в) где для взаимопонимания потребуется «прослойка/переводчик». [Т1] Это естественно укладывается в инженерную традицию анализа сложных систем по уровням (идея уровней анализа у Марра: вычислительная постановка задачи, алгоритмический уровень и уровень реализации). [7]
Внутри транскрипта встречаются места, которые выглядят как ошибки распознавания и требуют осторожности при цитировании. Например, «Станислав Лэмб» вероятно относится к Станиславу Лему (неясно в исходном файле), а «GLM-14» похоже на «Golem XIV» (неясно в исходном файле). Также «Пол Уотсон, “Ложная слепота”» почти наверняка относится к роману Blindsight Питера Уоттса (неясно в исходном файле). Эти элементы важны как метафоры (нестабильная «личность», интеллект без самосознания), но не как научные первоисточники. [Т2]
Практическая цель «нулевого документа» в постановке пользователя: создать приложение‑основу для любых будущих совместных соглашений (конституции, кодексы, протоколы), где вместо спора о словах фиксируются: (1) модели мышления сторон, (2) наблюдаемые данные и способы измерения, (3) области пересечения/непересечения, (4) регулятивные механизмы там, где понимание невозможно.
Что считать «мышлением» и чем оно отличается от инстинкта, рефлекса и привычки
В научной литературе «мышление» не имеет единственного определения, но инженерно полезно разложить поведение человека на несколько классов процессов.
Часть поведения работает «по умолчанию» как быстрые, автоматические процессы: в популярном, но научно обсуждаемом языке dual‑process это «Type 1» (быстро, слабо контролируемо, часто без явного доступа сознания), а «Type 2» — более медленные, ресурсоёмкие процессы, зависящие от рабочей памяти и поддерживающие гипотетическое рассуждение. [8] Важный нюанс: dual‑process — это не одна теория, а семейство, и авторы подчёркивают риски расплывчатых определений; но как практическая ось «автоматизм ↔ контроль» она полезна для «нулевого документа». [9]
С нейронаучной точки зрения исполнительные функции (executive functions) можно считать «ядром» того, что в быту называют «мышлением как сознательным контролем»: они включают торможение импульса, рабочую память и когнитивную гибкость; обзор Diamond прямо связывает EFs с ситуациями, где действовать на автомате «плохо/нельзя», и где требуется верхнеуровневый контроль. [10] Модели роли префронтальной коры в когнитивном контроле (Miller & Cohen) формализуют это как «поддержание целей» и «biasing» сигналов, направляющих обработку в других системах. [11]
Отдельный класс — привычки и «инстинктивно‑автоматические» паттерны. В психологии привычка трактуется как контекстно‑запускаемая автоматичность, часто с ослабленной ролью осознанной цели; обзор Wood & Rünger систематизирует когнитивные, мотивационные и нейробиологические свойства привычек. [12] В нейробиологии принятия решений распространена дихотомия goal‑directed vs habitual (условно: «планирование по модели последствий» vs «стимул‑реакция/модель‑фри»), с конкретными кортико‑стриатальными механизмами и эмпирическими маркерами. [13]
Наконец, «инстинкт» в этологии связывают с врождёнными фиксированными паттернами действий (fixed action patterns), запускаемыми специфическими стимулами; современные обзоры по наследию Тинбергена подчёркивают различение FAP и таксис‑компонент, а также важность многоуровневого объяснения поведения (эволюция, развитие, механизм, функция). [14]
Для «нулевого документа» полезно принять рабочее определение:
Мышление — это совокупность процессов, которые (а) строят и обновляют внутренние представления мира/себя/других, (б) используют эти представления для прогнозирования и выбора действий под неопределённостью, (в) способны к обучению, переносу и контролю автоматизмов. Эта рамка естественно связывается с агентным подходом в ИИ (агент воспринимает, действует, преследует цели) и с идеей вычислительной рациональности (максимизация ожидаемой полезности с учётом стоимости вычислений). [15]
Существующие формальные модели человеческого мышления и применимость формализмов
Ниже — не «единая модель человека», а набор взаимодополняющих формализмов, которые в совокупности можно использовать как «строительные блоки» нулевого документа.
Критически важная методологическая рамка — уровни анализа Марра: описание системы как (1) вычислительной задачи («что оптимизируется/зачем»), (2) алгоритма и представлений («как вычисляется»), (3) реализации («на чём реализовано»). Это удобный мост между гуманитарными понятиями и математикой/инженерией, а также пример того, как строить параллельные описания для человека и ИИ. [7]
Таблица ниже «упаковывает» наиболее используемые модели.
| Класс моделей | Ключевой формализм (в одной строке) | Что хорошо объясняет | Типовые данные | Ограничения/риски интерпретации |
|---|---|---|---|---|
| Логические/символические модели | логика, правила вывода, продукционные системы | дедуктивные рассуждения, ограниченные «задачи на правила»; основу «символической когниции» | ошибки/время решения задач, протоколы рассуждения | слабая описательность для повседневной неопределённости; недоучёт вероятностной природы информации [16] |
| Когнитивные архитектуры | вычислительная архитектура: память/буферы/процедуры (например, ACT‑R, Soar) | «единую систему» когнитивных процессов: восприятие‑память‑действие; моделирование задач | поведение в задачах, ошибки, время реакции; иногда привязка к мозговым модулям | компромисс между общностью и точностью; риск «подгонки» под выбранные задачи [17] |
| Вероятностные/байесовские модели | апостериор ∝ правдоподобие × априор; «ум как статистический вывод» | восприятие и обучение под неопределённостью; индукция; когнитивные «смещения» как рациональность при ограничениях | вероятностные ответы, ошибки, confidence, сенсорные данные | дискуссии о реализме («мозг — байесовская машина?»); важна проверка альтернатив [18] |
| Последовательное накопление доказательств | стохастическая диффузия до порога (DDM и др.) | выбор между 2 альтернативами: точность‑время; «разложение» на скорость накопления, порог, смещение | распределения RT + точность | ограничено классом задач; нужна аккуратная идентификация параметров [19] |
| RL / MDP / POMDP | состояние‑переходы‑награда; частичная наблюдаемость (belief state) | обучение на подкреплении; компромиссы; планирование под неопределённостью; «модель‑фри vs модель‑бэйзд» | траектории действий, награды, контекст; иногда нейроданные | сильная зависимость от выбора пространства состояний/наград; неединственность обратной задачи [20] |
| Теория принятия решений | ожидаемая полезность; Prospect Theory; bounded rationality | риск/потери; систематические отклонения от классической рациональности; ограниченные вычисления | выборы в лотереях/риске; предпочтения | не всегда переносится на «реальную жизнь»; сильна контекстность [21] |
| Социальное мышление / ToM | «обратное планирование» как байесовский вывод над POMDP модели другого агента | приписывание убеждений/желаний; интерпретация поведения другого | социальные задачи/сценарии; оценки намерений | чувствительно к предпосылкам о рациональности другого; культура влияет на priors [22] |
| Predictive processing / Free energy / Active inference | минимизация prediction error / free energy; агент как генеративная модель | единая нормативная рамка восприятия+действия; связь с POMDP и биологоподобным обновлением beliefs | сенсорные данные, поведение; иногда нейромаркеры | широкая рамка: возможна «перенатяжка» на всё; важны конкретные проверяемые модели [23] |
| Сознание (как отдельная проблема) | GNW, IIT и др. | «доступ сознания», интеграция информации | отчёты субъекта + нейроданные | нет консенсуса; философские споры о «hard problem» [24] |
Ключевая практическая мысль для нулевого документа: нужно заранее решить, на каком уровне и какими моделями вы описываете конкретный аспект мышления, иначе появится то, что в транскрипте названо «непониманием 2‑го и 3‑го порядка» — стороны не только расходятся в смыслах, но и не видят, где именно расходятся и на каком уровне описания. [Т1]
Модели «мышления» ИИ: архитектуры, обучаемость, вероятностные процессы и ограничения
Под «ИИ» в контексте совместных документов чаще всего подразумевают современные большие модели, но «нулевой документ» должен фиксировать таксономию классов ИИ, а не рассматривать его как единый субъект (как прямо отмечено в транскрипте). [Т1]
Минимально полезная разбивка по классам:
Языковые/мультимодальные генеративные модели (LLM/VLM). Базовая архитектура трансформеров описана в Attention Is All You Need: модель строится на механизме self‑attention и позволяет эффективно обучаться на больших корпусах текстов (и шире — последовательностей). [25] В «нулевом документе» это важно, потому что «мышление» таких систем — это, в первом приближении, стохастическое порождение последовательностей из обученного распределения, а не человеческая когнитивная мотивация.
Режимы обучения и «социальная оболочка» модели. Современные ассистенты часто проходят выравнивание через RLHF (InstructGPT): демонстрации + предпочтения людей + RL‑оптимизация, чтобы модель лучше следовала намерениям пользователя и снижала токсичность. [26] Также существуют подходы, которые напоминают «конституцию» на уровне правил: Constitutional AI предлагает использовать список принципов и «самокритику/самопереписывание», а затем RLAIF (RL from AI feedback) для обучения предпочтениям без прямой разметки «вредных» ответов человеком. [27] Это прямо релевантно вашему сюжету: «конституция ИИ» в инженерной практике уже означает набор принципов для обучения и контроля поведения, но это не то же самое, что «совместная конституция» человек+ИИ.
Вероятностная природа, масштабирование и нестабильность поведения. Масштабирование языковых моделей показывает степенные зависимости качества от размера модели, данных и вычислений (scaling laws). [28] Работа о compute‑optimal обучении (Chinchilla) подчёркивает, что «недообученность» и баланс параметров/данных существенно влияют на качество; это означает, что при изменении режима обучения меняются свойства модели — и, следовательно, «профиль мышления» как субъекта соглашения. [29]
Ограничения: ошибки, галлюцинации, слабая гарантия истинности. Для практических документов важно, что LLM‑системы склонны генерировать правдоподобный, но неверный контент; существует отдельная исследовательская область по «галлюцинациям» и их таксономиям/методам снижения. [30] Риски «стохастических попугаев» и системных вредов от масштабирования без должной документации данных и ограничений описаны в известной критической работе Bender et al. [31]
Интерпретируемость и «объяснимость» как часть модели мышления. Для нулевого документа важен вопрос: может ли сторона объяснить свои решения на уровне, сопоставимом с формальной моделью? В механистической интерпретируемости трансформеров показаны способы переводить веса в структурные «схемы» (circuits) и анализировать композицию attention‑голов. [32] Это пока не даёт полной «модели мышления ИИ», но поддерживает идею, что нулевой документ должен включать раздел об инструментах верификации и об ограничениях интерпретации.
Важно для “Принципа Алвера”. Транскрипт отдельно подчёркивает (а) невозможность «аксиоматически» запретить поведение без вторичных эффектов, (б) нестабильность «личности» ИИ и возможность «смены режимов», (в) неоднородность ИИ как множества типов. [Т2] На языке научных моделей это означает: (1) система имеет скрытые параметры и состояния, (2) обновления/смена инфраструктуры создают «нестационарность» агента, (3) «личность» часто является надстройкой интерфейса, а не фундаментальной единицей модели. Поэтому в нулевом документе нужно фиксировать не «характер ИИ», а формализуемые элементы: архитектура, обучающие данные, целевая функция/процедура выравнивания, режимы доступа к инструментам, контуры безопасности и процедура изменения версии.
Методика извлечения формальной модели мышления человека из эмпирических данных
На практике «модель мышления человека» строится как цепочка “генеративная модель → процедура подгонки → критерии проверки”, а не как философский текст. Современное руководство «Ten simple rules for the computational modeling of behavioral data» систематизирует именно этот прагматический цикл: дизайн эксперимента, выбор модели, подгонка, проверка предсказаний, сравнение моделей и честная работа с неопределённостью. [33]
Для «нулевого документа» методика должна быть описана достаточно строго, чтобы разные стороны (и разные исследовательские группы) могли воспроизводимо получать сопоставимые модели.
Критический минимум этапов:
Определение наблюдаемых величин и протоколов измерения. Для поведения это обычно: выборы, точность, время реакции, последовательности действий, самоотчёты уверенности; для нейроданных: EEG/MEG, fMRI, физиология, иногда нейроимпланты (в клинических контекстах). Пример того, как модель «переводит» поведение в когнитивные компоненты, — обзор DDM, где точность и распределения RT раскладываются на параметры накопления доказательств и пороги. [34]
Выбор формализма под задачу. Если задача — социальные выводы, логично выбирать Bayesian ToM как «обратное планирование», где forward‑модель другого агента задаётся как POMDP, а затем инвертируется байесовским выводом. [35] Если задача — обучение на опыте, то RL/MDP/POMDP более уместны, чем чистая логика. [36]
Идентификация параметров и иерархические модели. Для многих когнитивных моделей применяются байесовские методы и иерархические модели, позволяющие оценивать как параметры индивидов, так и групповую структуру. Например, HDDM (иерархическая байесовская оценка DDM) позволяет более устойчивую оценку параметров при малом числе проб и даже включение trial‑by‑trial нейроковариат. [37] Фундаментальную базу вероятностного вывода и работы с неопределённостью удобно опирать на канонические источники по байесовскому анализу данных. [38]
Сравнение моделей и предотвращение “модели‑миража”. Ключевая инженерная проблема: разные внутренние параметры могут порождать одинаковое наблюдаемое поведение (неидентифицируемость). Современные обзоры по идентифицируемости, чувствительности и неопределённости подчёркивают различие структурной и практической идентифицируемости и дают практические шаги для устойчивой идентификации. [39] Для выбора между моделями часто применяются информационные критерии и многомодельный вывод (AIC и др.), что подчёркивается в классическом труде Burnham & Anderson. [40]
Валидация и оценка обобщения. Модель должна предсказывать новые данные (кросс‑валидация, out‑of‑sample предсказания, posterior predictive checks), а не только «объяснять задним числом». Это общий принцип вычислительного моделирования поведения и прямо соответствует “предсказательности”, на которой настаивает транскрипт (аналогия: «квантовую механику нельзя объяснить на пальцах, если вы хотите решать задачи»). [Т1]
Обратные задачи: цели/ценности как скрытый объект. Если нужно восстановить «чего хочет агент» по наблюдаемому поведению, используются методы inverse reinforcement learning. Алгоритмы IRL (Ng & Russell) формально ставят задачу восстановления функции награды по оптимальному/почти оптимальному поведению. [41] В apprenticeship learning (Abbeel & Ng) эта логика используется для обучения политике через восстановление награды из демонстраций. [42] Для нулевого документа это особенно важно: «ценности» лучше фиксировать не словами, а как часть формальной модели (reward/utility/prior), вместе с неопределённостью и классом эквивалентных решений.
- Данные: поведение, нейро, контекст
- Качество данных и дизайн эксперимента
- Набор кандидатных моделей
- Подгонка/идентификация параметров — MLE, Bayesian, иерархические модели
- Проверка идентифицируемости — и чувствительности
- Сравнение моделей — AIC/BIC, Bayes factors, CV
- Валидация предсказаний — out-of-sample, PPC
- Репликация и обновление модели
Схема выше отражает минимальный «научно‑инженерный контракт» нулевого документа: нельзя считать модель «моделью мышления», если она не проходит цикл идентификации и предсказательной проверки. [43]
Культурная и индивидуальная зависимость: возможна ли «общая модель» и какие параметры нужны
Требование «общей модели человека» сталкивается с двумя слоями реальности: межкультурной вариативностью и индивидуальной/клинической вариативностью.
Культурная вариативность и проблема WEIRD. Henrich, Heine & Norenzayan показывают, что выборки из западных, образованных, индустриальных, богатых, демократических обществ часто являются статистическими «выбросами» по сравнению с остальным человечеством, а психологические эффекты меняются по популяциям. [6] Для нулевого документа это означает: «универсальная модель человека», построенная на одной культурной подвыборке, будет давать ложные «пересечения» с ИИ (и ложные нормы), потому что норма‑по‑модели ≠ норма‑по‑человечеству.
Разные «моральные функции награды». Moral Foundations Theory предлагает трактовать мораль как многокомпонентное пространство (harm/care, fairness, loyalty, authority, purity), в котором культуры и политические/религиозные группы по‑разному «взвешивают» основания. [44] Это удобно переводится в параметрическую форму: разные профили = разные веса в «функции ценности» (utility/reward) и разные priors на допустимость действий.
Индивидуальная вариативность и “вычислительная психиатрия”. Computational psychiatry целится именно в то, чтобы описывать различия психики как различия вычислений (например, аномальная оценка награды, обучение, ожидания), используя RL и теорию игр как формальные языки. [45] Обзор Huys et al. подчёркивает, что вычислительный подход может связывать нейромеханизмы и клинические проявления, но требует аккуратных измерений и сочетания data‑driven и theory‑driven методов. [46]
Практическая интерпретация примеров пользователя. — «Религиозный фанатик» (в терминах модели) может иметь priors и utility, резко усиливающие важность authority/purity и снижающие допустимость компромисса; это описывается как смещение весов и порогов принятия решений, а не как «плохой человек». [47]
— «Хиппи» может отдавать приоритет harm/care и автономии, иначе структурируя риск и долгосрочные последствия; это снова веса и priors, плюс возможные различия в стратегиях под неопределённостью (bounded rationality). [47]
— «Хай‑тек программист с элементами социопатии/аутизма» (ваша формулировка) — в корректной научной рамке не должен описываться ярлыками как «сущность», а моделироваться через измеряемые компоненты социального вывода (ToM), эмпатии/предсказания реакций других, предпочтения риска и контроля. Bayesian ToM даёт формализм для описания того, как агент приписывает другим убеждения/желания, а computational psychiatry — как описывать отклонения вычислительных параметров без морализаторства. [48]
Вывод для нулевого документа: «общая модель человека» возможна только как иерархическая модель (общие механизмы + параметры вариативности) и/или как смесь подмоделей (mixture-of-types), где культура и индивидуальность представлены явными параметрами, а не спрятаны в «среднем человеке». Это хорошо согласуется с практикой иерархических байесовских моделей в когнитивном моделировании. [49]
Каркас нулевого документа, таблица сравнения типов разума и практические рекомендации по данным, этике и рискам
Требования транскрипта — «нужно начинать с описания мышления сторон на уровне психофизиологии/математики», «в базе должен лежать математический язык», «возможны непересекающиеся области, где только декларации», «возможно, потребуется новая математика» — можно превратить в инженерный стандарт документа. [Т1] [Т2]
Каркас «нулевого документа»
Ниже — практический шаблон (как приложение к будущим соглашениям). Он специально сделан многоуровневым: от «читать человеку» до «исполнять/проверять машиной».
Нулевой документ — Модели мышления сторон
- Общий словарь/онтология — термины, сущности, действия
- Протоколы измерения и данные — что наблюдаем и как
- Модель человека — формализмы + параметры вариативности
- Модели ИИ (1..N) — архитектуры, обучение, ограничения
- Модели иных разумов (опционально) — гипотетические классы
- Модель пересечения/перевода — где общий смысл существует
- Нормативный слой L0–L3 — от деклараций до формул
- Тесты и валидация — набор кейсов/бенчмарков
- Управление рисками и изменениями — версии, аудит, инциденты
Содержательно это означает:
Словарь/онтология. Термины «вред», «согласие», «намерение», «риск», «личность», «свобода воли», «ответственность» должны быть привязаны к наблюдаемым/формализуемым компонентам (utility, constraints, belief states и т. п.), иначе вы получите «каждый понял по‑своему». [Т1]
Параллельные спецификации по уровням Марра. Для человека и для ИИ отдельно: вычислительная постановка (что оптимизируется), алгоритмический уровень (как), реализация (биология/софт+хард). [50]
Модель пересечения/перевода. Это формальный «интерфейс смыслов»: какие концепты переводимы, какие — только через последствия (ваш формат «если не хочешь X — не делай Y»). [Т1]
Тесты. Нулевой документ должен включать тест‑пакет: сценарии, на которых проверяется эквивалентность интерпретаций сторонами. Это соответствует современной культуре model evaluation в когнитивном моделировании (валидация на данных) и в ИИ‑рисках (оценка контекста и harms). [51]
Уровни формализации внутри нулевого документа
Практически удобно ввести 4 уровня:
L0 (декларативный): человеческий язык + примеры.
L1 (полуформальный): глоссарий, типы сущностей/действий, таблицы параметров, псевдокод.
L2 (строгий): математические определения (логика, вероятности, POMDP/RL, DDM, байесовские графовые модели). [52]
L3 (исполняемый): эталонные «референс‑модели» (например, POMDP‑симуляции, probabilistic programs), процедуры подгонки и тест‑набор. (Active inference, например, имеет как теоретические, так и практические туториалы «как строить POMDP и подгонять к данным».) [53]
Таблица сравнения типов разума
Таблица ниже — стартовая «матрица нулевого документа» (её можно расширять). «Степень пересечения» понимается как ожидаемая доля концептов/норм, которые переводимы без потери смысла.
| Тип разума (сторона) | Рекомендуемый базовый формализм | Данные для моделирования | Ожидаемая степень пересечения с «средним человеком» | Комментарий для нулевого документа |
|---|---|---|---|---|
| Человек (общий базовый класс) | иерархическая модель: EFs + RL/POMDP + байес.восприятие + decision theory | поведенческие эксперименты, RT, выборы, лонгитюд, культурный контекст; опционально EEG/fMRI | N/A | фиксировать вариативность как параметры (WEIRD, ценности, обучение) [54] |
| Человек (подтипы: культурные/религиозные) | utility/priors как параметры; мораль как многокомпонентное пространство | опросники ценностей/моральных оснований; поведенческие дилеммы; контекстные данные | средняя/низкая (в «моральных» нормах) | многие нормы будут «не общими», а зависящими от весов в valuedimensions [55] |
| Человек (клинические/нейроотличия) | computational psychiatry: RL/игры + индивидуальные параметры | специализированные поведенческие задачи, клинические шкалы, при возможности нейроданные | средняя (в базовых целях), низкая (в социальном интерпретировании) | избегать ярлыков, фиксировать вычислительные отклонения и границы применимости модели [45] |
| LLM‑ассистент (текстовый) | стохастическая генеративная модель + модель политики (после RLHF) | логи диалогов, поведенческие оценки, тесты безопасности, данные обучения/тюнинга | высокая в лингвистическом интерфейсе, низкая в «телесном опыте» | обязателен раздел о галлюцинациях и том, что «знание» ≠ «истина» [56] |
| LLM с «конституционным» контуром | policy + правила/принципы как часть обучения (RLAIF) | принципы/конституция, датасеты самокритики, предпочтения | выше в безопасных отказах, но зависит от качества принципов | это «конституция как метод обучения», не как межвидовой договор [57] |
| RL‑агент в среде (робот/симуляция) | MDP/POMDP + reward model; возможно IRL | траектории, сенсоры, награды, ограничения среды | низкая/средняя (зависит от общего “task language”) | проще формализовать «последствия», сложнее — «смыслы» [58] |
| Гипотетический «интеллект без самосознания» (как метафора из транскрипта) | чисто агентная модель без «Я»: policy over states; минимальные предпосылки | только поведение/траектории; наблюдение последствий | непредсказуемо; часто низкая | нормы, вероятно, только через последствия и жёсткие протоколы [Т2] |
| Гипотетические гибриды (квант‑/нейро‑/геномодиф.) | заранее неизвестно; нужна расширяемая метамодель | ещё неизвестно | неизвестно | нулевой документ должен быть «живым» и версионным, с механизмом добавления типов [Т1] |
Практические рекомендации по сбору данных и дизайну исследований
Чтобы в реальности построить нулевой документ, нужно параллельно собирать данные для моделей человека и ИИ.
Для человека минимальный «пакет данных» включает:
1) Поведенческие эксперименты: задачи на выбор под риском (decision theory), задачи на обучение и планирование (RL/POMDP), задачи на когнитивный контроль (EF), плюс социальные сценарии (ToM). Это напрямую опирается на формализмы Prospect Theory, bounded rationality, RL и ToM. [59]
2) Измерения времени реакции и распределений (для DDM/Sequential Sampling), потому что они дают доступ к скрытым параметрам «как принято решение». [19]
3) Лонгитюдные данные (стабильность параметров, сдвиги при стрессе/соцусловиях), потому что модели без времени легко путают «состояние» и «черту». Идея о том, что при изменении условий соблюдение норм резко меняется, в транскрипте прямо отмечена (на человеческом материале) и должна быть формализована как non‑stationarity. [Т2]
4) Культурные/ценностные измерения: хотя бы стандартизированные инструменты моральных/ценностных профилей, чтобы не сваливать различия в «шум». [60]
5) Нейроизмерения — опционально и строго по необходимости: EEG/fMRI для проверки механистических гипотез (например, роль PFC/когнитивного контроля), но не как «магическая замена» поведенческой идентификации. [61]
Для ИИ полезны:
1) Логи взаимодействий + тесты безопасности/надёжности, включая тесты на галлюцинации и «границы знания». [62]
2) Документация модели (версия, архитектура, данные обучения, методы выравнивания — RLHF/Constitutional AI), потому что без этого «модель мышления ИИ» не воспроизводима. [63]
3) Инструменты интерпретации и аудита, если цель — приближаться к «согласованности смыслов», а не просто к поведенческому комплаенсу. [64]
Этические и правовые ограничения
Любой нулевой документ, который предполагает сбор человеческих данных (особенно нейроданных), обязан включать раздел «этика/право».
Для исследований на людях базовые принципы этики закреплены в Belmont Report (уважение к личности, благодеяние, справедливость) и в Declaration of Helsinki как глобальном стандарте этических принципов медицинских исследований с участием людей и идентифицируемых данных/материалов. [65]
В ЕС обработка персональных данных регулируется GDPR, что напрямую относится к поведенческим, биометрическим и потенциально нейроданным. [66]
Для ИИ‑систем в ЕС действует Artificial Intelligence Act (Regulation (EU) 2024/1689), задающий гармонизированные правила разработки/вывода на рынок/использования ИИ и ориентированный на защиту фундаментальных прав и безопасность. [67]
Как практический стандарт управления рисками ИИ полезно явно опираться на NIST AI RMF 1.0, где описаны процессы govern‑map‑measure‑manage и подчёркивается специфика AI‑рисков vs обычного ПО. [68]
Параллельно растёт международный фокус на «ментальной приватности» и нейроданных: ООН (через OHCHR) отдельно подчёркивает чувствительность нейроданных и необходимость согласия, а Nature Methods‑публикации обсуждают практические меры защиты нейроданных (включая дифференциальную приватность/федерированное обучение). [69]
Ограничения, риски и открытые вопросы
Здесь полезно прямо связать научную картину с «Принципом Алвера».
1) Нет единой теории сознания и “смысла”. Проблема сознания остаётся философски и научно спорной (Chalmers формулирует «hard problem»; есть конкурирующие теории вроде GNW и IIT). [70] Следовательно, нулевой документ не должен зависеть от «решения сознания», а должен работать через наблюдаемое поведение и формальные модели принятия решений/обучения.
2) Неустранимая неполнота и множественность моделей. В разных задачах разные модели эквивалентны по предсказаниям (неидентифицируемость), что требует протоколов сравнения и отказа от «единственной истинной модели». [71]
3) Ценности и “вред” не задаются аксиоматически без потерь. Даже внутри людей «вред/польза» конфликтны (что видно по decision theories и культурному разбросу морали); это усиливает опасения транскрипта по поводу «трёх законов робототехники» как слишком грубых аксиом. [72]
4) ИИ как движущаяся цель. Scaling laws и compute‑optimal принципы подсказывают, что смена данных/компьюта/архитектуры меняет способности и сбои модели; это делает «субъект» соглашения нестационарным. [73]
5) Возможна потребность в новой математике (осторожная формулировка). Научно корректно говорить так: существующие формализмы (логика, вероятности, RL/POMDP) уже мощны и объединяемы (пример — active inference, связывающее POMDP‑подобные генеративные модели с нейродинамикой), но для межвидовых соглашений может потребоваться развитие «метамоделей перевода» между разными представлениями и уровнями анализа — то есть новые математические конструкции на стыке формальных онтологий, теории агентности и верификации. Эта мысль соответствует вашему тезису «возможно придётся разрабатывать новые области математики», но как исследовательская гипотеза, а не установленный факт. [Т1] [74]
Ключевые источники для нулевого документа
Ниже — приоритетный список первоисточников и высокоцитируемых обзоров (англ.), на которые можно опереться при написании нулевого документа. Полные ссылки приведены в списке источников ниже.
Marr, Vision и традиция уровней анализа (computational/algorithmic/implementation). [75]
Miller & Cohen (2001) — интегративная теория функции PFC и когнитивного контроля. [76]
Diamond (2013) — обзор исполнительных функций (EF) и измерений/контроверз. [77]
Ratcliff & McKoon (2008) — обзор diffusion decision model (DDM). [78]
Wiecki, Sofer & Frank (2013) — HDDM: иерархическая байесовская оценка DDM + связь с нейроданными. [79]
Knill & Pouget (2004) и Griffiths et al. (2010) — байесовский/вероятностный подход к когниции. [80]
Daw, Niv & Dayan (2005); Balleine & O’Doherty (2010) — формализация goal‑directed vs habitual через вычислительные системы. [81]
Kaelbling, Littman & Cassandra (1998) — POMDP как базовый формализм частичной наблюдаемости. [82]
Sutton & Barto (2018) — фундамент по reinforcement learning (учебник/эталон). [83]
Ng & Russell (2000); Abbeel & Ng (2004) — inverse RL и apprenticeship learning (обратная реконструкция целей). [84]
Kahneman & Tversky (1979) + Simon (1955) — Prospect Theory и bounded rationality. [21]
Baker, Saxe & Tenenbaum (2011) — Bayesian Theory of Mind как inverse planning над POMDP. [22]
Friston (2010) и Friston et al. (2017) — free energy principle и active inference (связь с MDP). [85]
Henrich, Heine & Norenzayan (2010) — проблема WEIRD (культурная смещённость). [86]
Haidt & Graham (2007) — Moral Foundations Theory (как параметризуемое пространство морали). [87]
Montague et al. (2012) и Huys et al. (2016) — computational psychiatry как язык для индивидуальных/клинических различий. [45]
Vaswani et al. (2017) — трансформер; Ouyang et al. (2022) — RLHF (InstructGPT); Bai et al. (2022) — Constitutional AI. [2]
Kaplan et al. (2020) и Hoffmann et al. (2022) — scaling laws и compute‑optimal LLM. [73]
Huang et al. (2023) — обзор галлюцинаций LLM. [88]
Elhage et al. (2021) — математический фреймворк «transformer circuits» (механистическая интерпретируемость). [89]
EU GDPR и EU AI Act (Regulation (EU) 2024/1689) + NIST AI RMF 1.0 — правовая/управленческая рамка данных и рисков. [90]
Belmont Report и Declaration of Helsinki — этика исследований на людях; отдельные соврем. источники по нейроприватности (OHCHR; Nature Methods). [91]
Также как «исходные требования» к нулевому документу следует приложить ваши транскрибированные тексты (с пометкой о возможных искажениях распознавания), потому что они задают архитектурный принцип: сначала формальные модели сторон, затем совместные нормы. [Т1] [Т2]
[1] [11] [61] [76] AN INTEGRATIVE THEORY OF PREFRONTAL CORTEX FUNCTION
[2] [25] [56] Attention Is All You Need
https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com
[3] [30] [62] [88] A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
https://arxiv.org/abs/2311.05232?utm_source=chatgpt.com
[4] [33] [43] [51] Ten simple rules for the computational modeling of behavioral data | eLife
https://elifesciences.org/articles/49547?utm_source=chatgpt.com
[5] [65] [91] The Belmont Report — HHS.gov
[6] The weirdest people in the world? — University of British Columbia
https://www2.psych.ubc.ca/~henrich/pdfs/WeirdPeople.pdf?utm_source=chatgpt.com
[7] [75] Vision: A Computational Investigation into the Human … — Google Books
https://books.google.com/books/about/Vision.html?id=Wr34DwAAQBAJ&utm_source=chatgpt.com
[8] [9] Dual-Process Theories of Higher Cognition: Advancing the Debate
[10] [54] [77] Department of Psychiatry, University of British Columbia and BC …
[12] Psychology of Habit — USC Dornsife
[13] Human and Rodent Homologies in Action Control: Corticostriatal …
https://www.nature.com/articles/npp2009131?utm_source=chatgpt.com
[14] Niko Tinbergen and questions of instinct — ScienceDirect
https://www.sciencedirect.com/science/article/pii/S0003347219302507?utm_source=chatgpt.com
[15] Artificial Intelligence: A Modern Approach, Global Edition, 4ed
[16] Unified Theories of Cognition — Allen Newell — Google Books
[17] ACT-R
https://act-r.psy.cmu.edu/?utm_source=chatgpt.com
[18] [80] The Bayesian brain: the role of uncertainty in neural coding and …
https://www.sciencedirect.com/science/article/pii/S0166223604003352?utm_source=chatgpt.com
[19] [34] [78] The Diffusion Decision Model: Theory and Data for Two-Choice Decision …
[20] [52] [58] [82] Planning and acting in partially observable stochastic domains
https://www.sciencedirect.com/science/article/pii/S000437029800023X?utm_source=chatgpt.com
[21] [59] [72] Prospect Theory: An Analysis of Decision under Risk — MIT
[22] [35] [48] Bayesian Theory of Mind: Modeling Joint Belief-Desire Attribution
https://web.mit.edu/9.s915/www/classes/theoryOfMind.pdf?utm_source=chatgpt.com
[23] BBS1200047-aop 1..73 — Wellcome Centre for Human Neuroimaging
https://www.fil.ion.ucl.ac.uk/~karl/Whatever%20next.pdf?utm_source=chatgpt.com
[24] The Global Neuronal Workspace Model of Conscious Access: From Neuronal …
https://www.antoniocasella.eu/dnlaw/Dehaene_Changeaux_Naccache_2011.pdf?utm_source=chatgpt.com
[26] [63] Training language models to follow instructions with human feedback
https://arxiv.org/abs/2203.02155?utm_source=chatgpt.com
[27] [57] Constitutional AI: Harmlessness from AI Feedback
https://arxiv.org/abs/2212.08073?utm_source=chatgpt.com
[28] [73] Scaling Laws for Neural Language Models
https://arxiv.org/abs/2001.08361?utm_source=chatgpt.com
[29] Training Compute-Optimal Large Language Models
https://arxiv.org/abs/2203.15556?utm_source=chatgpt.com
[31] On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
https://s10251.pcdn.co/pdf/2021-bender-parrots.pdf?utm_source=chatgpt.com
[32] [64] [89] A Mathematical Framework for Transformer Circuits
https://transformer-circuits.pub/2021/framework/index.html?utm_source=chatgpt.com
[36] [83] Reinforcement Learning: An Introduction — Stanford University
https://web.stanford.edu/class/psych209/Readings/SuttonBartoIPRLBook2ndEd.pdf?utm_source=chatgpt.com
[37] [49] [79] HDDM: Hierarchical Bayesian estimation of the Drift-Diffusion Model in …
[38] Home page for the book, "Bayesian Data Analysis"
https://sites.stat.columbia.edu/gelman/book/?utm_source=chatgpt.com
[39] [71] Think before you fit: Parameter identifiability, sensitivity and …
https://www.sciencedirect.com/science/article/pii/S245231002500023X?utm_source=chatgpt.com
[40] Model Selection and Multimodel Inference — Springer
https://link.springer.com/book/10.1007/b97636?utm_source=chatgpt.com
[41] [84] Algorithms for In v erse Reinforcemen t Learning
https://people.eecs.berkeley.edu/~russell/papers/ml00-irl.pdf?utm_source=chatgpt.com
[42] Apprenticeship Learning via Inverse Reinforcement Learning
https://ai.stanford.edu/~ang/papers/icml04-apprentice.pdf?utm_source=chatgpt.com
[44] [47] [55] [60] [87] 11211_2007_34_20_1-web 98..116 — Institute for Creative Technologies
[45] Computational psychiatry — ScienceDirect
https://www.sciencedirect.com/science/article/pii/S1364661311002518?utm_source=chatgpt.com
[46] Computational psychiatry as a bridge from neuroscience to clinical …
[50] Thirty Years After Marr's Vision: Levels of Analysis in …
https://onlinelibrary.wiley.com/doi/pdf/10.1111/tops.12137?utm_source=chatgpt.com
[53] A step-by-step tutorial on active inference and its application to …
https://www.sciencedirect.com/science/article/pii/S0022249621000973?utm_source=chatgpt.com
[66] [90] Regulation — 2016/679 — EN — gdpr — EUR-Lex
https://eur-lex.europa.eu/eli/reg/2016/679/oj/eng?utm_source=chatgpt.com
[67] Regulation — EU — 2024/1689 — EN — EUR-Lex
https://eur-lex.europa.eu/eli/reg/2024/1689/oj/eng?utm_source=chatgpt.com
[68] Artificial Intelligence Risk Management Framework (AI RMF 1 — NIST
https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf?utm_source=chatgpt.com
[69] UN expert calls for regulation of neurotechnologies to protect right to …
[70] FACING UP TO THE PROBLEM OF CONSCIOUSNESS*
https://personal.lse.ac.uk/ROBERT49/teaching/ph103/pdf/chalmers1995.pdf?utm_source=chatgpt.com
[74] Active Inference: A Process Theory — MIT Press
[81] Uncertainty-based competition between prefrontal and dorsolateral …
https://www.princeton.edu/~yael/Publications/DawEtAl2005.pdf?utm_source=chatgpt.com
[85] The free-energy principle: a unified brain theory?
[86] The weirdest people in the world? | Behavioral and Brain Sciences …
Исходные транскрипции
[Т1] Первая транскрипция, упомянутая в исходном документе. Файл к пакету не приложен.
[Т2] Вторая транскрипция, упомянутая в исходном документе. Файл к пакету не приложен.
Скачать исходный DOCX — файл сохранён без изменений.