Category: it

Category was added automatically. Read all entries about "it".

Ну вот, мы и подошли к святая святых... тайне за семью печатями.

Оригинал взят у ajbolit444 в Ну вот, мы и подошли к святая святых... тайне за семью печатями.
Тухес...
Замечательно. Вот и подошли к Сути. Вся планета, по факту... оценена, занесена в реестр, и продана. Кому...? Вопрос риторический. Бангстерам, со штаб-квартирой в Швейцарии. Государства, Народы, Люди... всего лишь статисты-потребляди, на этом празднике жизни. И что самое грустное, жрут гады в три горла... а толку от них никакого, одна суета и раздражение... Короче, должно остаться 500 млн. "Болливар, не выдержит двоих..." (с)

Полностью тут - https://cont.ws/@ajbolit444/679642
Buy for 10 tokens
Buy promo for minimal price.

Лекция "Машинный интеллект 2019"






Вот программа, это просто заголовки слайдов (значения всех умных слов там разъяснялись "на пальцах" и примерах, а математики и программирования не было вообще):

1. Интеллект: машинный и биологический
Будущее уже здесь, только оно неравномерно распределено. Откуда взялся человеческий интеллект? Искусственный интеллект: "то, что компьютеры пока не умеют делать". В чём суть сегодняшнего прорыва в машинном интеллекте? Всё быстро. Глубокое обучение: глубокие абстракции. Почему только сейчас? Тезис Sutton, 13 марта 2019. Сингулярность. Примеры сегодняшнего (а не будущего). NLP — обработка естественного языка. Goal: capuchin-like. Скорость исследований: растёт по закону Мура. Как устроены исследования. Ловкость, embodied intelligence. Заземление/grounding и embodied intelligence. Творчество и соревновательность (adversarial architectures). Open endedness. Там нет "интеллекта", в чём тогда крутость? Как относиться к AGI. Принципиальная схема киберличности. Киберличность и работа с вниманием. Роботы заберут работу? Чьи это виртуальные ассистенты? Adversarial attacks, deepfakes и так далее. Нейтральность технологий.

2. Интеллект-стек
Системные уровни интеллект-стека. Эмерджентность. Стек платформ машинного интеллекта. Платформы машинного обучения. Главный алгоритм. Альтернативный стек глубокого обучения. Малая связность: ключ к развитию и совершенствованию. Метафоры жизненного цикла "компетенции" (в том числе машинной). Языковые модели. Загон данных (data wrangling), сантехника данных (data plumbing). Проблема innate priors. Моделирование, программирование, проектирование, онтологизирование, формализация — это всё одно. Машинное обучение и уровень когнитивной архитектуры. Перспективы.

3. Применения
Мечты человечества (как оценивать прогресс?). Деятельностный кругозор ("как устроена жизнь"): применения AI везде, где есть применение людей. Инвестиции в AI. Forbs: обзор 50 AI startups (17 cентября 2019). Сегодняшний фронтир: автомобили. Инвестиции сегодня, результаты завтра. Что дают дешёвые качественные камеры? Ножиданные виды сервиса и слежку. Машинный перевод. Офисный ИскИн, который построил Джек. Научные открытия. Интернет вещей (IoT), BigData и AI, тесно связанные с предсказательной аналитикой. Робототехнические заводы (тёмные фабрики). Корпусная инженерия. Код и AI модели как ещё один тип медиа: магазины и облака. Взять идеи из машинного интеллекта в педагогику. Основные проблемы. Цикл жизни инженерных технологий: пример AI. Дилемма инноватора.

В ШСМ я эту кругозорную лекцию повторю 3 ноября 2019, http://system-school.ru/machine

Моя личная проблема тут в том, что слайды для повтора придётся перетряхнуть ещё раз: в этой предметной области происходит по два прорыва в неделю, и за три недели с сегодняшнего дня до лекции какие-то слайды могут оказаться уже неактуальны. Мы живём в удивительное время, лекция как раз об этом. Всё быстро.

Машинный интеллект/мышление, искусственное обучение, машинное обучение, искусственный интеллект



Слово "искусственный" уже нужно опускать рядом со словом "интеллект", а вместо слова "интеллект" можно писать слово "мышление" -- не слишком искажая смысл. Это как с "электронной почтой" -- сегодня другой уже, по факту, и не бывает, да и почта сменилась на чатики.

Сегодняшний человеческий интеллект не живёт без компьютерных моделей, доступного из любого телефона Гугля и чатиками с другими интеллектами, машинными и не очень. Дикарский интеллект -- это ведь не интеллект вовсе, а не-дикари сегодня уже киборги насквозь: сращены со своими смартфонами, корпоративными информационными системами и прочей вчера ещё нежитью, а сегодня буквально частями тела и мозга. Вот это всё вместе и есть сегодняшний "интеллект", сегодняшнее "мышление" в их машинном и человечьем винегрете. И даже не винегрете (где всё варится по отдельности, а потом смешивается), а сборной солянке (где всё проваривается вместе). Современные компьютерные приложения очень даже учитывают особенности человечьих мозгов (спросите у маркетологов и игроделов), а человечьи мозги очень даже учитывают особенности сегодяшних программ (спросите у себя, как ваши мозги вообще добрались до этого текста, чтобы его прочесть. Нашли ведь как-то?). И да, машинный интеллект и машинное обучение (внутри которого сидит обучение репрезентациям, а внутри которого сидит глубокое обучение) -- это одна и та же традиция, эпистемологическая. Где важна не мысль, а "как узнали". Обучились! С учителем, или без, или самообразованием -- это уже второй вопрос.

Уследить за всем, что происходит в области исследования интеллекта aka мышления уже нельзя, никакие одни мозги, даже поддержанные компьютерами, с этим не справятся. Но можно выделить некоторые точки особого внимания в происходящем: сдвиги понимания, приводящие к сдвигам в планах, приводящие к сдвигам в делах. И получается так, что на какие-то прорывы в чисто человеческом мышлении уже надежд нет, результаты в этой сфере более чем умеренные уже довольно долго: сильно умней не станешь, гениев на потоке не научились производить. Поэтому основные прорывы идут в сфере машинного интеллекта, пока ещё не совсем слившегося с интеллектом человека. Хотите стать таким умным, чтобы проектирование в машиностроении ускорить вдвое? Используйте AI, как это делают в General Elecric -- https://www.forbes.com/sites/jeremybogaisky/2019/03/06/general-electric-ge-artificial-intelligence/#1d66173ad881 (там использовали "машинную интуицию", т.е. нейронные сети, чтобы аппроксимировать точные вычисления -- и в результате сократили время, потребное на моделирование в миллионы раз, получив в итоге проект дизельного двигателя с 7% экономией топлива. И это не важно, что нейронная сеть была всего лишь "аппроксиматором". Обучение было примерно таким же, каким раньше учили операторов доменной печи: замечать разные мелочи, и действовать "по интуиции"). Этих "применений искусственного интеллекта" уже столько, что за ними следить совершенно неинтересно. Примерно как "применения электричества в промышленности и в быту": в 1919 году отдельно отслеживать такие новости уже было бессмысленным, а в 2019 году даже думать о таком, как чём-то особенном, странно. Вот в 2019 году отслеживать "применения искусственного интеллекта" стало бессмысленным. Это уже как электричество: используют все, это перестало быть новостью. Вот получение термоядерного электричества, или дешёвые батареи, или дешёвая фотовольтаика -- это новости. Производство дешёвого электричества -- новости до сих пор. Так что "производство машинного интеллекта" будет новостями и много позже того, как использование машинного интеллекта перестало быть новостью.

1. Основная битва происходит в области скорости, с какой происходит мышление. И человечье мышление тут не на фронтире, ибо проектируют тут уже не столько человечьи интеллекты, сколько машинные интеллекты:

1.1. Алгоритмы мышления. Всё должно быть точнее при заданной скорости, или быстрее при заданной точности, а ещё лучше -- и быстрее и точнее. Поиск нейроархитектур тут только одно из направлений, но немаленькое: https://www.automl.org/automl/literature-on-neural-architecture-search/ (и там, например, достижения типа Evolved Transformer, https://arxiv.org/abs/1901.11117, At big model size, the Evolved Transformer is twice as efficient as the Transformer in FLOPS without loss in quality. At a much smaller - mobile-friendly - model size of ~7M parameters, the Evolved Transformer outperforms the Transformer by 0.7 BLEU on WMT'14 English-German. Ещё пример -- ускорение алгоритмов, использовавшихся для сверхчеловеческого уровня игры в Go, чтобы такие эксперименты были доступны не только гигантам рынка типа DeepMind или Facebook: https://arxiv.org/abs/1902.10565,
Like AlphaZero and Leela Zero, a popular open-source distributed project based on AlphaZero, our bot KataGo only learns from neural net Monte-Carlo tree-search self-play. With our techniques, in only a week with several dozen GPUs it achieves a likely strong pro or perhaps just-super-human level of strength. Compared to Leela Zero, we estimate a roughly 5x reduction in self-play computation required to achieve that level of strength, as well as a 30x to 100x reduction for reaching moderate to strong amateur levels.

1.2. Компьютерное железо. Тут совпало, что приказал долго жить закон Мура, и одновременно потребовались ускорители для алгоритмов машинного обучения -- при этом спрос оказался главным образом на ускорение вычислений для deep learning алгоритмов (прежде всего свёрточных нейронных сетей). Поэтому инвестиции пошли не только в альтернативные CPU на разной архитектуре, но и в эти самые ускорители. Основной сюжет тут в том, что алгоритмов искусственного интеллекта оказывается множество, и непонятно, какие из них поддерживать аппаратно (вплоть до аналоговых вычислений, очень быстрых, но и самых ограниченных алгоритмически). Поэтому за обычными цифровыми компьютерами тут приоритет: их легко перестраивать на самые разные алгоритмы -- дифференцируемое программирование, эволюционные вычисления, символьные вычисления и всё остальное (помним про no free lunch theorem -- что нет универсального алгоритма. Идеальный для одного класса задач алгоритм будет ужасен для другого класса задач, и наоборот).

Наиболее легко делать ускорители класса "мозг насекомого", для computing at the edge -- то есть всякие микроустройства. И их уже тьма, самой разной архитектуры, ключевая их характеристика -- экономия электроэнергии. Производительность минимальная, но всё лучше, чем у CPU. Последняя новинка -- Google начал продавать за $150 Coral Dev Board на базе Edge TPU чипа -- https://venturebeat.com/2019/03/06/google-begins-selling-the-150-coral-dev-board-a-hardware-kit-for-accelerated-ai-edge-computing/. Все сравнения этого компьютера -- что это аналог Raspberry Pi, только для искусственного интеллекта. И таких крошечных компьютеров много, например Intel Movidius Myriad VPU 2 -- https://www.movidius.com/myriad2.

Для ускорителей побольше всё не так быстро, но тоже весело: квантовые компьютеры, мемристорная память, универсальные GPU, ещё более универсальные FPGA, не слишком универсальные TPU, инициативы не только NVIDIA, Intel, Google, Microsoft, новичков с valuation 1.7М типа Graphcore, и даже начинающий разработку своих чипов Facebook -- будет весело. А нейроморфные компьютеры пока "не взлетели", уж больно они неуниверсальны получаются.

Вот эти железо и алгоритмика решают всё. Дешевизна интеллекта решается именно в этом месте. А дорогой интеллект -- его мало, это и не интеллект вовсе. Интеллект должен быть дешевле грибов! И он будет дешевле грибов!

2. Переход от мантры "обучение без учителя" (unsupervised learning) как ключевого в машинном интеллекте к "самообучению" (self-supervised learning) и предсказаниям, как ключевому: изменилась "метафора торта" у Yan LeCun, в феврале вышла вторая версия (первая версия -- 2016 год, совсем недавно!) -- https://syncedreview.com/2019/02/22/yann-lecun-cake-analogy-2-0/ (больше ссылок см. в первом абзаце https://ailev.livejournal.com/1466364.html). По факту это переход к использованию моделей языка, моделей мира, дающих возможность предсказывать прошлые и будущие состояния.

3. Интеграция символьных и коннективистских представлений, канемановских "системы 1" и "системы 2". По этой линии свежие выступления Yoshua Bengio, особенно его выступление в университете Синьхуа 7 ноября 2018г, https://medium.com/syncedreview/bengio-at-tsinghua-university-on-maturing-deep-learning-and-babyai-aa0be56e4098 (вот слайды -- http://www.iro.umontreal.ca/~bengioy/talks/MSR-Beijing-Tsinghua-7nov2018.pdf) и недавно опубликованное интервью https://syncedreview.com/2019/02/16/yoshua-bengio-on-ai-priors-and-challenges/. Тут всё, как мы любим:
-- необходимость разбираться с символьными вычислениями
-- связь абстракций и формального выражения (у меня ведь давно было в to do про "распутать ортогональность абстрактности и формальности/символьности" -- вот эти материалы Bengio как раз касаются этой темы. Я только в августе последний раз писал про активную гибридизацию нижних уровней интеллект-стека, https://ailev.livejournal.com/1442172.html). Сюда же -- сюжет о "дифференцируемом всём", https://ailev.livejournal.com/1464563.html
-- внимание как способ работы с абстракциями. Память и внимание. Помним, что абстракции -- это то самое representation learning. А модели выражаются в терминах абстраций.
-- внимание и сознание (по той же линии рассуждений, что Attention schema theory -- https://ailev.livejournal.com/1193568.html)
-- символьность как отражение мира (а не только текстов), grounding
-- символьность как коммуникация
-- важность работы с причинностью. При этом проблема объяснения (explanation) оказывается частью проблемы работы с причинностью. И тут с объяснениями не всё так однозначно, я потерял ссылку на исследование Майкрософта, которое показало в эксперименте, что если дать объяснение работы нейросетки, то люди при работе с такой "понятной" сеткой делают больше ошибок!
-- модели мира и предсказания: виртуальные простые миры как "тренировочные" перед переходом к более сложным для обучения мирам.

Откуда берутся priors? Я уже много раз писал, что из культуры -- чем закончилась человечья эволюция, тем и начнётся эволюция машинизированного человечества, модели AI будут учиться на образцах текущей культуры, а не с полного нуля. И Bengio полностью эту точку зрения подтверждает.

Тут важно, чтобы наши курсы методологических дисциплин не противоречили представленным тут state-of-the-art идеям о мышлении -- поэтому мы будем проверять явно, насколько содержание курсов по плану в "Курс научного мышления -- в середине целого ряда методологических курсов" https://ailev.livejournal.com/1466364.html соответствует этим представлениям. Пока это всё совместимо с тем, что а рассказываю в книжке "Визуальное мышление" и по факту даётся в нынешнем курсе онтологики, но есть и много интересных поворотов мысли, которые нужно как-то осмыслить. Мне эти работы по машинному интеллекту важны тем, что они:
-- общие для человечьего и машинного интеллектов
-- дают некоторый способ думать об окружающем мире, о науке (моделировании мира).
-- дают идеи для выстраивания обучения людей, и выстраивания их симбиоза с умной нежитью

4. Мысль всегда распределена среди агентов. Поэтому многоагентность, где все агенты участвуют в общей эволюции -- это наше всё. Никакой интеллект/мышление не живёт в одиноком мозгу. Последние исследования OpenAI бьют в эту точку, например A Massively Multiagent Game Environment https://blog.openai.com/neural-mmo/, или с чуть менее выраженной мультиагентностью, но с тем же акцентом на куррикулум/развитие Unity Tower Environment: https://github.com/Unity-Technologies/obstacle-tower-env.

Тут всё кипит и бурлит, причём есть общий признак: при слове "агент" появляется слово "среда" (environment), в которой этот агент/агенты действуют. И по факту простая задача моделирования агента сводится к моделированию виртуального и моделированию этого мира внутри агента (или их сети). Вот эта смена акцента с развивающегося "агента" или "множества агентов" на "агенты в развивающемся мире" -- вот это новое. См. подробней в "Open-endedness: понятие шире, чем эволюция" -- https://ailev.livejournal.com/1463013.html

5. Искусственный интеллект поднимает кучу старых вопросов, которыми начинают заниматься всё новые и новые люди:
-- вопросы того, что такое "человек" и даже "человечество". Ибо всякие идеи научных фантастов о том, что уважать нужно разум, а не биологическое оформление разума, вдруг начинают быть не совсем фантастическими.
-- возврат к идеям эволюции и развития, но на новой понятийной базе (open-endedness): https://ailev.livejournal.com/1463013.html
-- идеи социализма (например, возврат к идеям коммунизма в форме "работать будут роботы, и они должны наработать нам на потребности, а мы будем работать по возможности. А кому будут принадлежать эти роботы? Государству, которое нас должно теперь всем обеспечить по тем самым потребностям! Начнём с безусловного базового дохода, и без этих ваших трюков с бюджетом и льготами, просто гоните деньги на бочку").
-- этика, ибо требуется объяснить идеи этики вроде как "тупой машине". А тупая машина не требует "объяснений", но выучивает этику как общепринятые правила поведения -- мораль. И мораль оказывается всё время не слишком этичной, когда её начинают пробовать на прочность. Это я о проблеме bias в искусственном интеллекте: мы не можем научить компьютер быть лучше, чем мы сами -- примерно так же, как мы не можем научить наших детей быть лучше, чем мы сами. А ещё военные применения AI. А ещё регуляторные вопросы -- например, можно ли использовать малоинвазивные методы лечения рака роботами (FDA говорит, что риски непонятны, поэтому рисковать нельзя -- https://edition.cnn.com/2019/03/01/health/fda-warning-robotic-surgery-mastectomy/index.html).
-- политическая система, правоприменение и вообще жизнь во времена, когда можно легко сгенерировать фейки. Это вообще отдельная проблема, "производство правдоподобной лжи в промышленных масштабах" (про "кадавра, неудовлетворённого графомански", я уже писал -- https://ailev.livejournal.com/1465347.html, и про AI Калашникова, которым дикари уже вооружились -- https://ailev.livejournal.com/1465183.html).
-- ... такого сорта вопросов огромное количество, и даже интересно, сколько свежеиспечённых "специалистов по социальным наукам" найдут себе рабочие места, обсуждая их, уж как могут. Про социальные сети, в которых каждый может выступить экспертом по этике или политике, особенно, когда речь идёт о присущем нежити интеллекте, я вообще молчу: о чём говорить, если не об этом? О том, должно ли правительство бороться с грядущим глобальным потеплением, или грядущим малым ледниковым периодом? Нет, обсуждать себе подобных, а хоть и неживых, гораздо интереснее!

Но есть в этой области "нового мировоззрения" и "неполитические" идеи, которые достаточно мощны, чтобы на них обратить внимание. Так, обучение искусственных мозгов должно быть авторским: если учить не на безымянных примерах разных учителей, а на подписанных этими учителями примерах разметки данных, то тогда можно будет придавать больше веса разметке данных от уникальных людей, которые обладают интуицией получше. Поэтому все данные в мире хорошо бы иметь подписанными, кто их произвёл -- это ведь даёт "слабое свидетельство по Байесу" в части доверия к этим данным, что может быть учтено алгоритмом обучения, Who said what: Modeling individual labelers improves classification -- https://ai.google/research/pubs/pub46497. То есть требования цитирования имени того, кто произвёл тот или иной факт -- это важное требование, и оно мало имеет отношения к "признанию заслуг", но больше к оценке правдоподобия представленных фактов. Имена производителей фактов оказываются нужными, авторство важно.