Искусственный интеллект

LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.

К сожалению, заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.

О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.

Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.

Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:

Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).

Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.

Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).

Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в \~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.

Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)

Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Отчет Apollo Research показал, что этот поезд уже ушел.

• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.

• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).

 

такие продукты, как Claude, AI Сopilot AI и Raycast AI стремительно ворвались в процессы разработки и существенно облегчили труд

раньше:
- братан, надо прилагу на питоне запилить
- ой нет, я питон не знаю

сейчас:
- братан, надо прилагу на питоне запилить
- я питон не знаю, подержи моё пиво

 

Не так бро,
Перефразируя фразу Гейтса из книги "Дорога в будущее"
Скоро останется два типа компаний, которые внедрили в свои бизнеса процессы нейросети и которых больше не существует.

То же самое касается специалистов. Многих, если не всех, специализаций

 

В оригинале Гейтс сказал "в будущем останется два типа компаний, у которых есть сайт и которых больше не существует"
Это на заре www ещё было

 

Куча это сколько сотен из миллионов, миллиардов?

Ты походу из тех, кто был за повозки, когда автомобили двигали?)

 

Например напилил декстопную прилу, пишет все созвоны рабочие, по итогу выдает транскрипцию и краткую выжимку из созвона, например

Разделим разговор на несколько ключевых тем:

1. Проблема с наложенным платежом в Европочте:
- Неправильное распределение суммы наложенного платежа при отправке нескольких коробок с одним заказом.
- Возможные решения: либо назначать всю сумму на одну коробку, либо делить между всеми коробками.
- Риски, связанные с частичной выдачей заказов и законодательными особенностями Европочты и Беларуси.

2. Частичная выдача и возвраты:
- Проблема частичной выдачи заказов, когда клиент может забрать только часть заказа.
- Вопросы возврата и как это отражается на стоимости доставки.
- Опыт работы с российской системой и как его можно применить для решения проблем в Беларуси.

3. Технические доработки для интеграции системы анализа разговоров:
- Идея протестировать систему, которая транскрибирует и анализирует разговоры, для упрощения рабочих процессов.
- Задачи по тестированию на нескольких компьютерах и анализ нагрузки на серверы.
- Обратная связь от команды о целесообразности внедрения такой системы.

4. Проблемы интеграции с Ozon:
- Неясность по поводу работы новой схемы взаимодействия с Ozon.
- Вопросы по отслеживанию заказов и взаимодействию с контактными данными клиентов.
- Трудности, связанные с интеграцией старой и новой схемы работы, и необходимость в тестировании.

5. Ошибки в системе передачи данных:
- Проблемы с периодическим сбоями системы передачи данных.
- Уверенность в том, что потерянных заказов нет, и при сбоях все заказы перевыгружаются.
- Необходимость в доработке системы, если сбои продолжатся.


Очень помогает потом вспомнить чё там было, если надо и тыкнуть носом кого нужно, если надо )

 

Я думал ты более прогрессивен

 

Это который?

 

Ты оплати его, ещё больше понравится
Лайфкак: у гпт просишь составить запрос для миджорни на англ
Кидаешь его в Мид
Профит )

 

api платная, да, всё платное) как бесплатно я не знаю, за бесплатно можно только *овна кусок получить

у тебя лекция длинная?

 

да, может
только покупать тебе его не надо, тебе надо закинуть денег на баланс опенАИ и там само будет списываться, в зависимости от типа модели, которую ты используешь
а их много, для транкрипции одна модель, для анализа текстового результата - другие модели (можешь сам выбирать при апи запросе)
ну и для работы по апихе тебе нужен внешний сервак