О подходе Google к публикации исследований
Я понимаю беспокойство по поводу ухода Тимнита Гебру из Google. Своими исследованиями она много сделала для продвижения вперед в этой области. Я хотел поделиться электронным письмом, которое я отправил в Google Research, и некоторыми мыслями о нашем исследовательском процессе.
Вот электронное письмо, которое я отправил команде Google Research 3 декабря 2020 г.:
Всем привет,
Уверен, многие из вас видели, что Тимнит Гебру больше не работает в Google. Это трудный момент, особенно учитывая важные темы исследований, в которых она участвовала, и то, насколько глубоко мы заботимся об ответственных исследованиях ИИ как организация и как компания.
Поскольку в социальных сетях было много спекуляций и недопонимания, я хотел бы поделиться более подробной информацией о том, как это произошло, и заверить вас, что мы здесь, чтобы поддержать вас, когда вы продолжите исследование, в котором вы все участвуете.
Тимнит вместе с четырьмя другими сотрудниками Google, а также с некоторыми внешними сотрудниками написала документ, который должен был пройти наш процесс рецензирования (как в случае со всеми внешними документами). Мы одобрили десятки статей, которые Тимнит и/или другие сотрудники Google написали, а затем опубликовали, но, как вы знаете, статьи часто требуют внесения изменений в процессе внутреннего рассмотрения (или даже считаются непригодными для публикации). К сожалению, эта конкретная статья была опубликована только за день до крайнего срока — нам требуется две недели для такого рода рецензирования — и затем, вместо того, чтобы ждать отзыва рецензента, она была одобрена для публикации и отправлена.
Затем межфункциональная группа рассмотрела документ в рамках нашего обычного процесса, и авторы были проинформированы о том, что он не соответствует нашим требованиям для публикации, и получили обратную связь о том, почему. Она игнорировала слишком много соответствующих исследований — например, она говорила о воздействии больших моделей на окружающую среду, но игнорировала последующие исследования, демонстрирующие гораздо большую эффективность. Точно так же она выразила обеспокоенность по поводу предвзятости в языковых моделях, но не приняла во внимание недавние исследования, направленные на смягчение этих проблем. Мы признаем, что авторы были крайне разочарованы решением, которое мы с Меган в конечном итоге приняли, тем более что они уже представили статью.
Тимнит ответила электронным письмом, в котором требовала выполнить ряд условий, чтобы она могла продолжить работу в Google, включая раскрытие личности каждого человека, с которым мы с Меган разговаривали и консультировались в рамках обзора документа, и обратной связи. Тимнит написала, что если мы не выполним эти требования, она уйдет из Google до истечения срока контракта. Мы принимаем и уважаем ее решение уйти из Google.
Учитывая роль Тимнит как уважаемого исследователя и менеджера в нашей команде по этичному ИИ, мне очень жаль, что Тимнит дошла до того, что она так относится к работе, которую мы делаем. Мне также очень жаль, что сотни из вас только на этой неделе получили электронное письмо от Тимнит, в котором говорилось, что вы должны прекратить работу над важными программами DEI. Пожалуйста, не надо. Я понимаю разочарование по поводу темпов прогресса, но впереди у нас важная работа, и мы должны продолжать ее.
Я знаю, что мы все искренне разделяем стремление Тимнит сделать ИИ более справедливым и инклюзивным. Без сомнения, куда бы она ни отправилась после Google, она проделает отличную работу, и я с нетерпением жду возможности прочитать ее статьи и увидеть, чего она достигнет.
Спасибо за чтение и за всю важную работу, которую вы продолжаете делать.
— Джефф
Я также получил вопросы о нашем процессе исследования и обзора, поэтому я хотел поделиться здесь более подробной информацией. Я собираюсь поговорить с нашими исследовательскими группами, особенно с группой этического ИИ и многими другими нашими командами, занимающимися ответственным ИИ, чтобы они знали, что мы решительно поддерживаем эти важные направления исследований. И чтобы было ясно, мы глубоко привержены продолжению наших исследований по темам, которые имеют особое значение для индивидуального и интеллектуального разнообразия — от несправедливой социальной и технической предвзятости в моделях машинного обучения до нехватки репрезентативных обучающих данных и вовлечения социального контекста в системы ИИ. Эта работа имеет решающее значение, и я хочу, чтобы наши исследовательские программы проводили больше работы по этим темам, а не меньше.
В моем электронном письме выше я подробно рассказал о том, что произошло с этой конкретной бумагой. Но позвольте мне лучше понять общий процесс обзора исследований. Это больше, чем просто один утверждающий или непосредственные коллеги-исследователи; это процесс, в котором мы привлекаем широкий круг исследователей, социологов, специалистов по этике, консультантов по политике и конфиденциальности, а также специалистов по правам человека из Research и Google в целом. Эти рецензенты следят, например, за тем, чтобы опубликованное нами исследование рисовало достаточно полную картину и учитывало последние релевантные исследования, о которых нам известно, и, конечно же, чтобы оно соответствовало нашим Принципам искусственного интеллекта.
Эти процессы обзора исследований помогли улучшить многие из наших публикаций и исследовательских приложений. В то время как более 1000 проектов ежегодно превращаются в опубликованные статьи, есть также много проектов, которые не опубликованы. Это нормально, и мы по-прежнему можем продвигать конструктивные части проекта для информирования будущей работы. Есть много способов, как мы делимся нашими исследованиями; например публикация статьи, открытый исходный код или модели, данные или совместные работы, создание демонстраций, работа непосредственно над продуктами и т. д.
В этом документе рассмотрены обоснованные опасения, связанные с большими языковыми моделями, и на самом деле многие группы в Google активно работают над этими проблемами. Мы привлекаем авторов, чтобы убедиться, что их вклад в работу, которую мы делаем, и я уверен, что это окажет положительное влияние на многие из наших исследований и усилий по разработке продуктов.
Но в самой статье было несколько важных пробелов, из-за которых мы не могли указать на нее принадлежность к Google. Например, в него не вошли важные выводы о том, как сделать модели более эффективными и на самом деле снизить общее воздействие на окружающую среду, а также не были учтены некоторые недавние работы Google и других организаций по смягчению предвзятости в языковых моделях. Выделение рисков без указания методов, позволяющих исследователям и разработчикам понять и смягчить эти риски, не помогает в решении этих проблем. Как всегда, отзывы о бумажных черновиках, как правило, делают их сильнее, когда они в конечном итоге появляются.
У нас есть большой опыт публикаций, которые бросают вызов статус-кво — например, только за последний год у нас было более 200 публикаций, посвященных ответственной разработке ИИ. Вот лишь несколько примеров исследований, в которых мы занимаемся решением сложных проблем:
• Measuring and reducing gendered correlations in pre-trained NLP models
• Evading Deepfake-Image Detectors with White- and Black-Box Attacks
• Extending the Machine Learning Abstraction Boundary: A Complex Systems Approach to Incorporate Societal Context
• CLIMATE-FEVER: A Dataset for Verification of Real-World Climate Claims
• What Does AI Mean for Smallholder Farmers? A Proposal for Farmer-Centered AI Research [forthcoming]
• SoK: Hate, Harassment, and the Changing Landscape of Online Abuse
• Accelerating eye movement research via accurate and affordable smartphone eye tracking
• The Secret Sharer: Evaluating and Testing Unintended Memorization in Neural Networks
• Assessing the impact of coordinated COVID-19 exit strategies across Europe
• Practical Compositional Fairness: Understanding Fairness in Multi-Component Ranking Systems
Я горжусь тем, что Google Research обеспечивает гибкость и ресурсы для изучения многих направлений исследований. Иногда эти направления перпендикулярны друг другу. Это по дизайну. Обмен различными точками зрения, даже противоречащими друг другу, полезен для науки и общества. Это также хорошо для Google. Этот обмен позволил нам не только решать амбициозные задачи, но и делать это ответственно.
Наша цель — конкурировать с рецензируемыми журналами по строгости и вдумчивости в том, как мы рецензируем исследования перед публикацией. Чтобы дать представление об этой строгости, этот пост в блоге фиксирует некоторые детали в одном аспекте обзора, когда тема исследования имеет широкие социальные последствия и требует особого обзора Принципов ИИ — хотя это не полная история того, как мы оцениваем все наши исследования, статья дает представление о деталях:
https://blog.google/technology/ai/update-work-ai-responsible-innovation/
Мы активно работаем над улучшением наших процессов проверки документов, потому что знаем, что слишком много сдержек и противовесов могут стать громоздкими. Мы всегда будем уделять первоочередное внимание тому, чтобы наши исследования были ответственными и качественными, но мы работаем над тем, чтобы сделать процесс как можно более упорядоченным, чтобы проводимые у нас исследования приносили больше удовольствия.
И последнее важное замечание: мы оцениваем содержание исследования отдельно от того, кто его проводит. Но для того, чтобы наши исследования отражали в первую очередь широкий спектр глобального опыта и точек зрения, мы также стремимся к тому, чтобы Google Research был местом, где каждый сотрудник Google может проявить себя наилучшим образом. Мы прилагаем все усилия, чтобы улучшить репрезентативность и инклюзивность в Google Research, потому что мы знаем, что это приведет к более качественным исследованиям и лучшему опыту для всех здесь.