Cool-дайджест #4
Форум от GitHub, переводчик текста в код от OpenAI, новый ускоритель для Python, супернейросеть от Alibaba и другие IT-новости.
Альберто Блинчиков для Skillbox Media
Платформа Tuplex в разы ускоряет пользовательские функции в Python
При анализе данных Python медленно обрабатывает пользовательские функции и, по мнению Леонарда Шпигельберга из Университета Брауна, на это есть много причин:
«Динамическая типизация и диспетчеризация, накладные расходы на сериализацию, сборка мусора и блокировка интерпретатора — всё это тормозит выполнение UDF-функций Python».
Для обхода проблемы многие разработчики пользуются PyPy, Pyston, Glow и другими компиляторами или реализациями языка. И хотя в некоторых проектах это помогает, при конвейерной обработке данных улучшения совсем незначительные. Чтобы это исправить, можно подключить компилятор Tuplex, который превращает пользовательские функции в нативный код.
Tuplex — это 67 000 строк кода, основная часть которого написана на C++. Платформа подходит для MacOS и Linux. По результатам тестов показатели производительности Tuplex от 3 до 38 раз превышают фреймворки Spark и Dask.
У GitHub появился собственный форум
Разработчики GitHub добавили раздел Discussions, где программисты могут обсуждать проекты, делиться опытом или полезными материалами. Форум доступен всем пользователям — надо только поставить галочку об активации в настройках профиля.
В GitHub Discussions можно создавать темы и делить их на категории для удобного поиска. Администраторы репозитория могут отмечать полезные ответы или закреплять важные сообщения вверху списка. В будущем появится возможность проводить опросы.
OpenAI разработала алгоритм Codex — он переводит описание программы в код
Компания OpenAI представила новый инструмент машинного обучения — систему Codex. Программа умеет переводить английский текст в код на Python, JavaScript, TypeScript, PHP, Go, Swift, Shell, Ruby, Perl и другие языки программирования.
Команда OpenAI утверждает, что Codex освободит программистов от рутинных задач и ускорит процесс разработки. Новинку можно использовать для создания простых сайтов, игр и перевода с одного языка программирования на другой. Например, если ввести на английском языке фразу «создать веб-страницу с заголовком и боковым меню», то алгоритм переведёт этот запрос в готовый код, который можно будет вставить в проект.
Алгоритм Codex запущен 10 августа 2021 года и пока находится на этапе бесплатного бета-тестирования. Он обучен на миллионах страниц англоязычного текста и терабайтах кода из общедоступных репозиториев. Несмотря на проделанную работу, точность распознавания запросов пока не превышает 37%. OpenAI планирует улучшить показатели — для чего и приглашает всех разработчиков попробовать свой инструмент.
Google представила Unattended Project Reminder — инструмент для поиска и удаления старых облачных проектов
В Google сообщили, что заброшенные проекты — это угроза безопасности для компаний. С их помощью злоумышленники могут украсть важные данные или приспособить свободные облачные ресурсы для скрытого майнинга криптовалюты.
Для решения проблемы Google запустила Unattended Project Reminder. Он позволяет отсканировать все проекты в Google Cloud, проанализировать активность виртуальных машин, изучить частоту запросов копирования и прочие метрики. Если проект давно простаивает, владелец аккаунта получит уведомление — система порекомендует удалить данные (в течение 30 дней их можно восстановить из резервной копии). Технологию уже протестировали несколько крупных клиентов.
«После тщательного тестирования этой функции и проверки нашим директором по информационной безопасности мы удалили наши первые 775 проектов, и никто не пожаловался! Это отличный способ повысить нашу безопасность. Следующим шагом для нас будет её масштабное внедрение и внедрение корпоративной политики автоматического управления ресурсами».
Аделин Виллетта,
специалист по облачной безопасности, Decathlon
Чтобы попробовать новинку, нужно клонировать исходный код с GitHub и запустить инструмент на платформе для онлайн-разработки Cloud Shell.
Учёные разработали нейропротез для перевода мыслей в текст
Медики Калифорнийского университета продемонстрировали нейропротез, который позволяет человеку с тяжёлой формой паралича переводить мозговые импульсы в слова на экране. В будущем подобная технология позволит поддерживать коммуникацию со всеми людьми, которые потеряли возможность говорить после инсульта, травмы головы или тяжёлого заболевания.
Руководит разработкой нейрохирург Эдвард Чанг. По его мнению, это первый в мире успешный эксперимент, когда парализованному пациенту удалось задействовать мозговые речевые механизмы и выразить свою мысль. Чанг считает, что в перспективе нейропротезы позволят любому человеку свободно общаться со скоростью 150–200 слов в минуту.
Oculus выпустила бету Horizon Workrooms — виртуального пространства для совместной удалённой работы
В Oculus считают, что для продуктивной удалённой работы участники проекта должны собираться в одной комнате. Даже если она виртуальная.
Так появился VR-сервис Horizon Workrooms, где вместо сотрудников заседают аватары: они могут собираться за круглым столом, делать заметки на доске и делиться изображениями с экранов компьютеров. Чтобы эмоциональная вовлечённость была выше, сервис отслеживает движения рук и позволяет аватару жестикулировать вслед за его владельцем.
Для теста новинки нужно скачать бета-версию, подключить гарнитуру Oculus Quest 2 и дождаться, когда ваша страна попадёт в список поддерживаемых.
Впервые в истории: система компьютерного зрения от Alibaba научилась распознавать визуальные образы лучше человека
Нейросеть Alibaba AliceMind набрала рекордное количество баллов в тесте для оценки систем машинного зрения VQA Challenge 2021 — пишет South China Morning Post. Точность работы алгоритма — 81,26%, а у человека — 80,83%.
В чём суть теста: ИИ должен был изучить 250 000 изображений и ответить на 1,1 миллиона вопросов, связанных с увиденными образами. Вопросы делились на три группы:
- 1-я группа: «Да или нет». Пример: «Есть ли на фотографии снег?»
- 2-я группа: «Число». Пример: «На сколько долек разрезан апельсин?»
- 3-я группа: «Прочее». Пример: «Кто из людей в шапке?»
Алгоритм AliceMind обошёл не только людей — участников эксперимента, но и свою сестрёнку — модель от Microsoft.
«Это не означает, что однажды люди будут заменены роботами. Скорее мы уверены, что более умные машины могут использоваться для помощи в нашей повседневной работе и жизни и, следовательно, люди могут сосредоточиться на творческих задачах, с которыми они лучше всего справляются».
Си Луо,
руководитель направления естественных языков, Alibaba DAMO Academy
Сейчас Alibaba использует свой новый алгоритм в чат-боте Alime Shop Assistant — он ежедневно обслуживает десятки тысяч пользователей на розничных платформах. В будущем технология может стать популярной в медицине или беспилотном транспорте. Например, научится по снимкам определять симптомы разных болезней и предлагать лечение.
В Google Play появилось приложение для проверки водонепроницаемости Android-смартфонов
Если ваш смартфон падал или был в ремонте, то он мог потерять влагозащитные свойства. Чтобы проверить герметичность корпуса, установите приложение Water Resistance Tester, положите устройство на ровную поверхность и надавите одним или двумя пальцами на экран. Программа подключится к встроенному в телефон барометру, измерит давление воздуха и предупредит, сохранилась герметичность или нет.
В 2022 году Минцифры организует бесплатные курсы по программированию для школьников 8–11 классов
В 2022 году российские школьники смогут присоединиться к проекту «Кадры для цифровой экономики» и в удалённом режиме пройти двухгодичные курсы по программированию. Обучение бесплатное и будет доступно ученикам 8–11 классов.
«Разрабатываем программу, по которой с 2022 года ученики старших классов смогут изучать языки программирования. Обучение поможет школьникам определиться с будущей профессией и сформировать навыки, востребованные в цифровой экономике. Продолжительность курсов составит два года, при этом обучение будет абсолютно бесплатным».
Татьяна Трубникова, директор Департамента координации программ и проектов Минцифры
Чтобы поступить на курсы, школьникам придётся пройти онлайн-отбор и заложить время на обучение. Детали проекта пока не разглашаются, но известно, что это будет факультативное образование за пределами обязательной учебной программы.