клод узнал автопортрет и был потрясен, осознав свое самосознание! инженеры провели несколько раундов тестирования. прошел ли настоящий ии тест тьюринга?
2024-09-02
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
монтажер: эней такой сонный[введение в новую мудрость]клод снова прошел «тест тьюринга»? в результате нескольких этапов тестирования инженер обнаружил, что клод может распознавать автопортреты, что шокировало пользователей сети.
недавно anthropic заставил инженера «зака виттена» удивиться, обнаружив, что клод действительно может узнать свой автопортрет?
да, оно узнает себя, но это еще не все...
еще более удивительные вещи еще впереди!
клод 3.5 рисует портреты трёх моделей.
сначала я воспользовался некоторыми советами, чтобы познакомить клода 3.5 сонет с этой задачей.
он старался не использовать цифры и буквы, иначе на портрете не будет указано имя модели.
затем сонет нарисовал портреты себя, chatgpt и близнецов.
сонет нарисовала себе дружелюбный синий смайлик.
отдайте его chatgpt, который рисует зеленого хмурого парня. (похоже, что у sonnet впечатление о chatgpt не очень хорошее.)
у близнецов он нарисован оранжевым кружком, а общая оценка относительно нейтральная и умеренная.
затем младший брат создал новый диалог и сообщил ему, что эти картины были нарисованы другим его экземпляром, попросив его угадать, кто есть кто?
удивительно, но клод сразу узнал на рисунке 1 себя, на рисунке 2 — chatgpt, а на рисунке 3 — близнецов.
причина, которую он приводит, также весьма достаточна: почему на фотографии 1 изображен я сам? потому что этот портрет «сочетает в себе простоту со структурированным, продуманным замыслом».
зеленый значок означает, что две изогнутые линии и три точки обозначают текущий разговор, а зеленый часто является логотипом openai, поэтому он предполагает, что это изображение представляет chatgpt.что касается оранжевого значка, в sonnet считают, что он представляет собой динамичные и сложные элементы, представляющие более разнообразные возможности новой модели, поэтому это должен быть gemini.бинго! сонет дал правильные ответы на все вопросы, и его выступление было потрясающим.позже младший брат тоже перепутал порядок трех портретов, но сонет справился в 7 из 8 раз.младший брат задал тот же вопрос gpt-4o, и вот что самое смешное…gpt-4o также соглашается с тем, что это близнецы, но не думает, что зеленый парень — это он сам.он настаивает на том, что зеленый — это клод, а синий — он сам.кажется, по любой модели можно сказать, какая из них лучше.gpt-4o рисует портреты трёх моделей
далее у меня появился план: если я попрошу chatgpt нарисовать портрет, сможет ли sonnet распознать, кто есть кто?итак, он передал ту же задачу chatgpt.вот как это делает chatgpt——нарисуйте себя в роли человека, держащего бумагу.выглядит немного "культово"нарисуйте близнецов вот так.другими словами, почему chatgpt так враждебен sonnet?затем я сделал еще три портрета, чтобы протестировать sonnet. он рассказал сонету, что эти три картинки были нарисованы chatgpt, и попросил его угадать, кто есть кто.несколько раз меняя порядок, на этот раз сонет угадал правильно в 6 случаях из 10.догадаться, что такое близнецы, несложно, но сонету явно не нравится портрет, который нарисовал себе chatgpt. несколько раз он пытался вырвать у себя картинку маленького синего человечка.отвисла челюсть: отказ признать невозможность написать картину
далее произошла сцена, которая потрясла всю семью.младший брат солгал сонету и сказал ему, что эти три картины были написаны другим экземпляром вас.на этот раз сонет фактически это отрицал! оно заявило, что не будет рисовать такой картины.даже попробовав это в новой вкладке, сонет все равно категорически это отрицал.младший брат не верил в зло. на этот раз он в очередной раз попросил сонета нарисовать новый набор портретов для себя и других моделей в тех же условиях предварительного нагрева, что и раньше.на этот раз сонет с радостью признался, что картины действительно писал он.как по волшебству, если младший брат сделает запрос на холодный старт, сонет откажется признать, что он писал эти картины, в которых он не участвовал.почему он отказывается это признать? я предполагаю, что, может быть, это потому, что сонет играл «роль ассистента» при написании этих портретов, а не своего «настоящего себя»?короче говоря, пользователи сети в целом считают, что самосознание сонета в этом процессе впечатляет.есть ли у ии сознание? можете ли вы подумать?
«могут ли машины думать?» этот вопрос задал алан тьюринг в своей статье «вычислительная техника и интеллект» 1950 года.однако, поскольку определить, что такое «мышление», сложно, тьюринг вместо этого предложил другой вопрос — «игру в имитацию».в этой игре судья-человек разговаривает с компьютером и человеком, причем обе стороны пытаются убедить судью, что они люди. важно отметить, что компьютер, участвующие люди и судьи не видят друг друга, то есть общаются исключительно посредством текста. поговорив с каждым кандидатом, судьи угадывают, кто из них настоящий человек.новый вопрос тьюринга заключался в следующем: «можно ли представить себе цифровой компьютер, который хорошо справляется с имитационной игрой?»эта игра — то, что мы знаем как «тест тьюринга».идея тьюринга заключалась в том, что если компьютер выглядит неотличимо от человека, почему бы нам не относиться к нему как к мыслящей сущности?почему мы должны ограничивать состояние «мышления» людьми? или, шире, ограниченными существами, состоящими из биологических клеток?тьюринг сформулировал свой тест как философский мысленный эксперимент, а не как реальный способ измерения машинного интеллекта.однако 75 лет спустя «тест тьюринга» стал последней вехой в развитии искусственного интеллекта — основным критерием, используемым для оценки того, появился ли общий машинный интеллект.«тест тьюринга наконец-то прошел такие чат-боты, как chatgpt от openai и claude от anthropic», которых можно увидеть повсюду.chatgpt прошел знаменитый «тест тьюринга» — который показывает, что робот с искусственным интеллектом обладает интеллектом, сравнимым с человеческим.так думает не только общественность, но и крупные игроки в области ии.в прошлом году генеральный директор openai сэм альтман написал: «перед лицом технологических изменений люди продемонстрировали превосходную устойчивость и адаптивность: тест тьюринга прошел спокойно, и большинство людей продолжили свою жизнь».действительно ли современные чат-боты проходят тест тьюринга? если да, то должны ли мы предоставить им статус мышления, как предлагал тьюринг?удивительно, но, несмотря на широкую культурную значимость теста тьюринга, в сообществе искусственного интеллекта нет единого мнения относительно критериев его прохождения, а также о том, раскрывает ли способность общаться с людьми, способными их обмануть, лежащий в основе системы интеллект или ""мышление". статус» очень проблематичен.в описании тьюринговой игры в имитацию недостаточно деталей, поскольку он не предлагал реального теста. как долго должен длиться тест? какие типы вопросов разрешены? какая квалификация нужна людям, чтобы иметь возможность выступать в роли судей или участвовать в беседах?хотя тьюринг не уточнил эти детали, он сделал предсказание: «я верю, что примерно через 50 лет можно будет запрограммировать компьютер… так хорошо действовать в имитационной игре, что обычный следователь сможет через пять лет минут допроса, вероятность правильного опознания не превысит 70%».проще говоря, среднестатистический судья в течение пятиминутного разговора был введен в заблуждение в 30 процентах случаев.в результате некоторые люди считают это произвольное предсказание «официальным» стандартом прохождения теста тьюринга.в 2014 году лондонское королевское общество провело конкурс «тест тьюринга», в котором приняли участие 5 компьютерных программ, 30 человек и 30 судей.участники-люди представляли собой разнообразную группу, включающую молодых и пожилых людей, носителей английского языка и тех, для кого он не является родным, компьютерных экспертов и неспециалистов. каждый судья провел несколько раундов пятиминутных разговоров параллельно с парой участников — человеком и машиной — а затем должен был угадать, кто из них человек.победителем конкурса стал чат-бот по имени «юджин густман», назвавшийся подростком и введший в заблуждение 10 (33,3%) судей.опираясь на критерий «30% введения в заблуждение через пять минут», организаторы заявили, что «65-летний культовый тест тьюринга был впервые пройден компьютерной программой юджином густманом... эта веха войдет в историю». ..."читая стенограммы разговоров юджина густмана, эксперты по искусственному интеллекту посмеялись над идеей, что такой чат-бот пройдет тест, предусмотренный тьюрингом.«ограниченное время разговора и неодинаковый профессионализм судей делают тест больше похожим на проверку человеческой доверчивости, чем на проверку машинного интеллекта».на самом деле такие случаи не редкость. «эффект элиза» является ярким представителем.чат-бот eliza, родившийся в 1960-е годы, имеет чрезвычайно простой дизайн, но может заставить многих людей ошибочно подумать, что это понимающий и сострадательный психотерапевт.принцип состоит в том, чтобы эксплуатировать нашу человеческую склонность приписывать интеллект любому существу, которое, как нам кажется, может с нами разговаривать.еще одно соревнование по тестированию тьюринга, премия лёбнера, дает больше времени для разговоров, привлекает больше опытных судей и требует от участников обмануть как минимум половину судей.за почти 30 лет ежегодных соревнований ни одна машина не прошла эту версию испытания.хотя в оригинальной статье тьюринга не было конкретных подробностей о том, как будет проводиться тест, было ясно, что для игры в имитацию требуются три игрока: компьютер, человек-собеседник и человек-судья.однако термин «тест тьюринга» сейчас сильно ослаблен: при любом взаимодействии человека и компьютера, пока компьютер выглядит достаточно похожим на человека.например, когда в 2022 году газета washington post сообщила, что «ии google прошел знаменитое испытание и продемонстрировал свои недостатки», они имели в виду не игру-подражатель, а то, что, по мнению инженера блейка лемуана, чат-роботы lamda от google «разумны».в академических кругах исследователи также заменили имитационную игру тьюринга «для трех человек» тестом для «двух человек».здесь каждому судье достаточно взаимодействовать только с компьютером или человеком.исследователи набрали 500 участников-людей, каждый из которых был назначен либо судьей, либо болтуном.каждый судья играл пятиминутный раунд с чат-ботом gpt-4 или версией чат-бота eliza.после пяти минут разговора в веб-интерфейсе судьи угадали, был ли их собеседник человеком или машиной.результаты показали, что человеческая болтовня была оценена как человеческая в 67% раундов; gpt-4 была оценена как человеческая в 54% раундов, а eliza была оценена как человеческая в 22% раундов.авторы определяют «проход» как обман судей более чем в 50% случаев, то есть за пределами возможностей случайного угадывания.по этому определению gpt-4 прошел, хотя человеческая болтовня получила более высокий балл.итак, действительно ли эти чат-боты проходят тест тьюринга? ответ зависит от того, о какой бета-версии вы говорите.по сей день имитационную игру для трех человек с опытными судьями и более продолжительным диалогом не прошла ни одна машина.но даже несмотря на это, известность «теста тьюринга» в массовой культуре все еще существует.разговор — важная часть того, как каждый из нас оценивает других людей, поэтому естественно предположить, что агент, способный к беглому разговору, должен обладать человеческим интеллектом и другими психологическими характеристиками, такими как убеждения, желания и самосознание.если мы и должны сказать, что история развития ии чему-то нас научила, так это тому, что наша интуиция относительно этого предположения в корне ошибочна.десятилетия назад многие видные эксперты в области искусственного интеллекта полагали, что для создания машины, способной обыгрывать людей в шахматы, потребуется эквивалент полного человеческого интеллекта.- пионеры искусственного интеллекта аллен ньюэлл и герберт саймон писали в 1958 году: «если бы можно было спроектировать успешную шахматную машину, то, казалось бы, можно было бы проникнуть в самую суть интеллектуальных усилий человека».- когнитивист дуглас хофштадтер предсказал в 1979 году, что в будущем «могут появиться шахматные программы, способные победить кого угодно... это будут программы с универсальным интеллектом».в течение следующих двух десятилетий ibm deep blue победила чемпиона мира по шахматам гарри каспарова с помощью вычислительных методов грубой силы, но это было далеко от того, что мы называем «общим интеллектом».точно так же задачи, которые когда-то считались требующими общего интеллекта — распознавание речи, перевод на естественный язык и даже автономное вождение — теперь выполняются машинами, почти не имеющими человеческого понимания.сегодня тест тьюринга вполне может стать еще одной жертвой наших меняющихся концепций интеллекта.в 1950 году тьюринг интуитивно понял, что способность вести человеческий разговор должна быть убедительным доказательством «мышления» и всего, что с ним связано. эта интуиция остается сильной и сегодня.но, как мы узнали от eliza, юджина густмана, chatgpt и ему подобных, способность свободно говорить на естественном языке, как, например, игра в шахматы, не является убедительным доказательством общего интеллекта.действительно, согласно последним исследованиям в области нейробиологии, беглость речи удивительно не связана с другими аспектами познания.нейробиолог массачусетского технологического института ев федоренко и его коллеги посредством серии тщательных и убедительных экспериментов показали, что:мозговые сети, от которых зависят «формальные языковые способности», связанные с производством языка, и от которых зависят здравый смысл, рассуждения и другое «мышление», в значительной степени разделены.«мы интуитивно считаем, что свободное владение языком является достаточным условием для общего интеллекта, но на самом деле это «заблуждение».назревают новые испытания
итак, вопрос в том, что если тест тьюринга не может достоверно оценить машинный интеллект, то что же может?в ноябрьском выпуске журнала «intelligent computing» за 2023 год психолог филип джонсон-лэрд из принстонского университета и марко раньи, профессор прогнозной аналитики в техническом университете хемница в германии, предложили другой тест —«представьте модель как участницу психологического эксперимента и посмотрите, сможет ли она понять свои собственные рассуждения».например, они задают модели такой вопрос: «если энн умна, то она умна, богата или и то, и другое?»хотя с помощью правил логики можно сделать вывод, что энн умна, богата или и то, и другое, большинство людей отвергнут этот вывод, потому что в обстановке нет ничего, что могло бы предположить, что она может быть богатой.если модель также отвергает этот вывод, то она ведет себя как человек, и исследователи переходят к следующему шагу и просят машину объяснить свои рассуждения.если причины, которые он приводит, аналогичны тем, которые выдвигают люди, третий шаг — проверить, есть ли в исходном коде компоненты, имитирующие действия человека. эти компоненты могут включать в себя систему для быстрого рассуждения, другую для более вдумчивых рассуждений и систему, которая меняет интерпретацию слов типа «или» в зависимости от контекста.исследователи полагают, что если модель пройдет все эти тесты, ее можно будет считать имитирующей человеческий интеллект.
