новости

илья еще раз предупреждает: парадигма ии изменится, и сверхинтеллектуальная безопасность станет самой важной

2024-09-07

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

рыба и овцы происходят из храма аофэй.

кубиты | публичный аккаунт qbitai

в компании работает всего 10 человек, и она уже привлекла начальное финансирование.1 миллиард долларов сша

такая потрясающая вещь может случиться толькоилья суцкеверпо кузову выглядит слегка «нормально».

илья, в то время, когда большие модели покоряют мир, его вклад признан достигающимизменить мируровень:

он является одним из трех авторов alexnet. после того, как его переманили в google вместе со своим наставником хинтоном, он принял активное участие в проекте alphago, который потряс мир.

в 2015 году он участвовал в основании openai и занимал должность главного научного сотрудника. chatgpt снова меняет мир, и его считают одной из ключевых фигур, стоящих за этим.

с ноября прошлого года и по настоящее время каждый шаг ильи выдвигался на первый план и привлекал внимание мирового технологического круга:

инициированный им внутренний конфликт в совете директоров openai выявил спор по поводу маршрута развития крупных моделей. после того, как в мае этого года он полностью расстался с openai, все ждут его следующего предпринимательского шага.

теперь пыль оседает. сам илья, который всегда был сдержанным, также поделился дополнительной информацией о своей компании ssi и своих взглядах на agi на данный момент.

в беседе с reuters илья ответил на шесть ключевых вопросов. ниже приведен оригинальный текст:

почему был создан ssi?

мы обнаружили «большую гору», которая немного отличается от моей предыдущей работы...как только вы достигнете вершины этой горы, парадигма изменится.…все, что мы знаем об искусственном интеллекте, скоро снова изменится.

в этот момент сверхразумные усилия по обеспечению безопасности станут критически важными.

нашим первым продуктом будет безопасный суперинтеллект.

до того, как появится сверхразум, будет ли выпущен ии, который будет таким же умным, как люди?

я думаю, что ключевой момент: безопасно ли это? является ли это силой добра в мире? я думаю, когда мы это сделаем, мир сильно изменится. поэтому сейчас довольно сложно дать четкий план того, «что мы собираемся делать».

что я могу вам сказать, так это то, что мир станет совсем другим. восприятие внешним миром происходящего в сфере ии кардинально изменится и станет трудным для понимания. это будет более напряженный разговор. это может зависеть не только от нашего решения.

как ssi определяет, насколько безопасен искусственный интеллект?

чтобы ответить на этот вопрос, нам необходимо провести несколько важных исследований. особенно, если вы, как и мы, думаете, что многое изменится... открывается много замечательных идей.

многие люди задумываются о том, какое тестирование необходимо провести для ии, когда он станет более мощным? это немного сложно, и предстоит провести много исследований.

я не хочу сказать, что сейчас есть четкий ответ. но это одна из вещей, которую нам предстоит выяснить.

о предположениях масштабирования и безопасности ии

все говорят о «гипотезе масштабирования», но все игнорируют один вопрос: что мы масштабируем?

огромным прорывом в глубоком обучении за последнее десятилетие стала конкретная формулировка предположения о масштабе. но оно изменится... и по мере его изменения возможности системы будут увеличиваться, а вопросы безопасности станут наиболее актуальными, и именно этим нам и нужно заняться.

будет ли ssi иметь открытый исходный код?

в настоящее время не все компании, занимающиеся искусственным интеллектом, и мы тоже открываем исходный код своей основной работы. но я думаю, что в зависимости от определенных факторов появится много возможностей для работы в области сверхразумной безопасности с открытым исходным кодом. может быть, не все, но некоторые наверняка.

мысли об исследованиях безопасности других компаний, занимающихся искусственным интеллектом

на самом деле, я очень высокого мнения об отрасли. я думаю, что по мере того, как люди будут продолжать добиваться прогресса, все компании поймут – вероятно, в разные моменты времени – природу проблем, с которыми они сталкиваются. так что мы не думаем, что никто другой не сможет это сделать, а то, что мы думаем, что можем внести свой вклад.

на что тратится один миллиард долларов?

наконец, добавьте некоторую справочную информацию помимо слов ильи.

новости о ssi были впервые опубликованы в июне этого года. цель очень ясна: сделать то, что илье не удалось сделать в openai: создать безопасный суперинтеллект.

в настоящее время в ssi работает всего 10 сотрудников. после сбора средств компания планирует использовать их для покупки вычислительной мощности и найма лучших специалистов.

тех, кто согласен с их идеями и морально готов к тому, что ии однажды превзойдет человеческий интеллект.

соучредитель дэниел гросс также рассказал, что они не уделяют слишком много внимания квалификации и опыту. вместо этого они часами проверяют, обладают ли кандидаты «хорошим характером».

что касается вычислительных мощностей, ssi планирует сотрудничать с производителями облачных технологий и компаниями-производителями чипов. пока не ясно, с какими компаниями сотрудничать и как сотрудничать.

помимо самого ильи, соучредителями ssi являются дэниел гросс и дэниел леви.

△слева: дэниел гросс справа: дэниел леви;

дэниел гросс окончил факультет компьютерных наук гарвардского университета и ранее был одним из партнеров y combinator. он также основал или участвовал в основании многих компаний, в том числе citrus lane, writelatex (позже переименованной в overleaf) и др.

журнал time 100 назвал его одним из «самых влиятельных людей в области искусственного интеллекта».

дэниел леви окончил факультет компьютерных наук стэнфордского университета и ранее возглавлял группу оптимизации openai.