Mistral выпустили свою первую модель, предзначенную для кодинга — Codestral. Модель обучена на более чем 80 языках программирования, имеет 22 млрд параметров и неплохо выглядит против CodeLlama и Llama 3 70B. Правда, практически её использование ограничено как необходимой мощностью компьютера для локального развертывания, так и странной лицензией, которая категорически и явно запрещает использование модели для любой коммерческой активности, включая “внутреннее использование сотрудниками в контексте бизнеса компании”.

Предполагают, что такой запрет вызван тем, что модель обучалась частично на контенте под копирайтом — короче, Mistral не готовы гарантировать лицензионную чистоту кода, который будет сгенерирован моделью.

Минюст США вместе с ФБР и международными партнерами накрыли крупнейший ботнет — 911 S5, — которая насчитывала более 19 млн ip-адресов, и арестовали её организатора — 35-летнего гражданина Китая Юньхэ Вана, — в Сингапуре.

Сеть развивалась с 2011 года через установку VPN, содержащих бэкдоры. Как установили правоохранительные органы, с помощью сети было подано десятки и сотни тысяч заявок на ссуды, программы помощи и страховки по безработицы. Всего, по данным следователей, администратор сети заработал 99 млн долларов, продавая доступ к ней.

Если администратор будет признан виновным, ему грозит до 65 лет в тюрьме. Минфин США при этом уже ввел санкции против него и нескольких доверенных лиц и организаций, которые были связаны с ним.

Тема откровений Хелен Тонер меня зацепила, так что ловите свежий выпуск подкаста — чуть подробнее, голосом и видео. Как обычно, на YouTube и везде, где вы слушаете подкасты.

Хелен Тонер, которая была членом совета директоров OpenAI и ушедшая в отставку спустя пару недель после попытки уволить Сэма Альтмана, пришла в подкаст TED AI и рассказала “всю правду”, как оно было. На самом деле нет, она рассказала, что совет директоров был создан для соблюдения миссии компании, а Сэм Альтман годами затруднял его работу, вводя его в заблуждение. Оказывается, о запуске ChatGPT совет директоров узнал из твиттера, про участие Сэма в OpenAI Startup Fund тот не сообщил совету, не давал точную информацию о процедурах безопасности, которые использовались в компании. Совет директоров долго обсуждал ситуацию, пока вдруг в октябре прошлого года, во время общения с менеджерами (these executives) двое из них вдруг начали говорить, что не могут доверять Сэму из-за токсичной атмосферы, которую тот создает. И они еще несколько недель посовещались и решили, что надо искать нового CEO. К сожалению, Сэм всех запугал, из-за чего вся компания его поддержала, да еще и было много неверных сообщений, поэтому Сэм вернулся, а совет директоров ушел. Хотя ведь Сэма уже увольняли из YCombinator, а до этого у него вообще никакого опыта не было.

В общем, мне нравится, как девушка себя закапывает.

Пусть Сэм искажал информацию о делах в компании, но ChatGPT был запущен в ноябре 2022-го года. Если это насторожило совет (а это практически единственный факт, приведенный Хелен), то почему понадобился год, чтобы отреагировать? Если они действительно долго (недели) обсуждали ситуацию с заменой CEO, то почему, только уволив Сэма, они начали лихорадочно искать ему замену? Наконец, кто виноват совету директоров, что во всей ситуации “there’s been a lot of misreporting on this”?

Я не питаю излишних иллюзий в части гениальности Альтмана как CEO — недавний казус со странным NDA это иллюстрирует, — но некомпетентность как минимум некоторых бывших участников совета директоров здесь просто выглядит максимально наглядно.

Масштабная утечка в Google — анонимный источник передал Рэнду Фишкину, известному западному оптимизатору, около 2500 страниц внутренней документации Google Search. Информация в утечке выглядит подлинной — некоторые бывшие сотрудники Google это подтвердили, — и противоречит некоторым публичным заявлениям компании.

Например, Google явно использует данные о поведении пользователей на сайтах, хотя компания последовательно отрицает использование поведенческих факторов для ранжирования в поиске. Google явно использует белые списки для определенных чувствительных тематик — например, для COVID-19, выборов или политики, — то есть даёт приоритет отобранным авторитетным источникам.

Судя по документации, снижается важность PageRank и текстов ссылок, но всё еще важны заголовки страниц. В качестве сигналов используются оценки асессоров через систему EWOK — впрочем, довольно утекала даже инструкция для таких асессоров.

В целом, для успеха в Google сейчас нужен узнаваемый бренд и высокий поведенческий спрос на сайт. Новым сайтам малого бизнеса сложно пробиться в топ, поскольку оптимизация отдельных страниц помогает слабо.

В общем, оптимизаторы есть? А если гугл найдет?

PayPal нашел для себя новое направление развития — рекламный бизнес. Если точнее, то платежный гигант планирует использовать накопленную за годы работы информацию о поведении своих пользователей для развития рекламных продуктов. Первый продукт — Advanced Offers, — запущенный в начале года, предоставляет возможность бизнесам, использующим PayPal для приема платежей, предлагать пользователям персонализированные скидки и акции.

Впрочем, теперь планы PayPal идут дальше — к продаже рекламы и информации для таргетинга тем компаниям, которые не принимают платежи через сервис. Для развития этого направления компания наняла на позицию SVP of Ads Марка Гретера, который до этого возглавлял подразделение Uber, занимающееся размещением рекламы.

Предвижу массовое бурление среди пользователей, конечно.

Ян Лейке, который недавно ушел из OpenAI, пожаловавшись напоследок на то, что его SuperAlignment Team не выделялись ресурсы для исследований, уже нашел новую работу — он займет примерно ту же позицию в Anthropic.

Его непосредственным руководителем будет Джаред Каплан, Chief Science Officer в Anthropic.

Вообще, Anthropic как-то разошелся в плане найма — за последние пару недель они наняли chief product officer, CFO и вот теперь обзавелись крутым специалистом в alignment. Правда, надо сказать, что это очень логичное событие, Anthropic вообще начались с того, что группа сотрудников OpenAI посчитали, что компания недостаточно занимается безопасностью AI и ушли заниматься достаточно. Так что сложно представить более подходящее сочетание.

Из хорошего — Anthropic много занимаются исследованиями и активно их публикуют, так что нам не придется в случае чего гадать, “что увидели ученые в новой модели”, как регулярно говорят про OpenAI.

OpenAI отменил действие NDA для бывших сотрудников — если помните, пару недель назад выяснилось, что форма NDA запрещала плохо отзываться сотрудникам даже после увольнения из компании вплоть до конца жизни под угрозой потери опциона, причем целиком, включая созревшую часть. Сэм Альтман прокомментировал тогда, что вообще не в курсе этого пункта и вообще компания ни разу не применяла его, но вот теперь бывшим сотрудникам направлены письма с освобождением от таких обязательств.

Собственно, Альтман еще, отвечая на вопрос, почему его подпись стоит под такими NDA, сказал, что мало ли что он вообще подписывает, чем вполне дорисовал образ организации — совершенно не удивительно теперь, как оказались возможными события ноября прошлого года.

Google построит первый оптоволоконный кабель, который пройдет по восточной части Африки и далее пересечет Индийский океан от ЮАР до Австралии.

Новая трасса начнется в Кении, пройдет через Конго, Руанду, Уганду, Замбию и Зимбабве — собственно, эта часть, включая окончание в ЮАР, практически закончена. Далее, от датацентра в ЮАР, который запущен в начале этого года, кабель под названием Umoja уже прокладывается до Перта в Австралии.

Африка вообще не страдает излишней коннективностью, прямо скажем, а активность ряда племен в районе Красного моря эту коннективность не улучшает. Поэтому альтернативные кабели —это хорошо, как ни посмотри.

Мы все уже привыкли к новостям, что AI будет обучаться на чьих-то текстах — кстати, на днях было сообщение, что OpenAI договорился с News Corp., империей Мэрдока. А вот, не угодно ли — Meta и Alphabet ведут переговоры с голливудскими студиями об использовании их контента для обучения AI генерации видео. Вроде бы OpenAI тоже с кем-то разговаривают.

Источники Bloomberg утверждают, что Disney и Netflix отказались лицензировать контент, но открыты к другим видам сотрудничества, а Warner Bros. Discovery готовы лицензировать, но не весь контент, а лишь отдельные направления.

Главное, чтобы отдельные представители технологических компаний не обратились к отечественному кинематографу — даже не представляю, как будет выглядеть AI, если его обучить в Болливуде.