Category: it

Category was added automatically. Read all entries about "it".

Ну вот, мы и подошли к святая святых... тайне за семью печатями.

Оригинал взят у ajbolit444 в Ну вот, мы и подошли к святая святых... тайне за семью печатями.
Тухес...
Замечательно. Вот и подошли к Сути. Вся планета, по факту... оценена, занесена в реестр, и продана. Кому...? Вопрос риторический. Бангстерам, со штаб-квартирой в Швейцарии. Государства, Народы, Люди... всего лишь статисты-потребляди, на этом празднике жизни. И что самое грустное, жрут гады в три горла... а толку от них никакого, одна суета и раздражение... Короче, должно остаться 500 млн. "Болливар, не выдержит двоих..." (с)

Полностью тут - https://cont.ws/@ajbolit444/679642
Buy for 10 tokens
Buy promo for minimal price.

Лекция "Машинный интеллект 2019"






Вот программа, это просто заголовки слайдов (значения всех умных слов там разъяснялись "на пальцах" и примерах, а математики и программирования не было вообще):

1. Интеллект: машинный и биологический
Будущее уже здесь, только оно неравномерно распределено. Откуда взялся человеческий интеллект? Искусственный интеллект: "то, что компьютеры пока не умеют делать". В чём суть сегодняшнего прорыва в машинном интеллекте? Всё быстро. Глубокое обучение: глубокие абстракции. Почему только сейчас? Тезис Sutton, 13 марта 2019. Сингулярность. Примеры сегодняшнего (а не будущего). NLP — обработка естественного языка. Goal: capuchin-like. Скорость исследований: растёт по закону Мура. Как устроены исследования. Ловкость, embodied intelligence. Заземление/grounding и embodied intelligence. Творчество и соревновательность (adversarial architectures). Open endedness. Там нет "интеллекта", в чём тогда крутость? Как относиться к AGI. Принципиальная схема киберличности. Киберличность и работа с вниманием. Роботы заберут работу? Чьи это виртуальные ассистенты? Adversarial attacks, deepfakes и так далее. Нейтральность технологий.

2. Интеллект-стек
Системные уровни интеллект-стека. Эмерджентность. Стек платформ машинного интеллекта. Платформы машинного обучения. Главный алгоритм. Альтернативный стек глубокого обучения. Малая связность: ключ к развитию и совершенствованию. Метафоры жизненного цикла "компетенции" (в том числе машинной). Языковые модели. Загон данных (data wrangling), сантехника данных (data plumbing). Проблема innate priors. Моделирование, программирование, проектирование, онтологизирование, формализация — это всё одно. Машинное обучение и уровень когнитивной архитектуры. Перспективы.

3. Применения
Мечты человечества (как оценивать прогресс?). Деятельностный кругозор ("как устроена жизнь"): применения AI везде, где есть применение людей. Инвестиции в AI. Forbs: обзор 50 AI startups (17 cентября 2019). Сегодняшний фронтир: автомобили. Инвестиции сегодня, результаты завтра. Что дают дешёвые качественные камеры? Ножиданные виды сервиса и слежку. Машинный перевод. Офисный ИскИн, который построил Джек. Научные открытия. Интернет вещей (IoT), BigData и AI, тесно связанные с предсказательной аналитикой. Робототехнические заводы (тёмные фабрики). Корпусная инженерия. Код и AI модели как ещё один тип медиа: магазины и облака. Взять идеи из машинного интеллекта в педагогику. Основные проблемы. Цикл жизни инженерных технологий: пример AI. Дилемма инноватора.

В ШСМ я эту кругозорную лекцию повторю 3 ноября 2019, http://system-school.ru/machine

Моя личная проблема тут в том, что слайды для повтора придётся перетряхнуть ещё раз: в этой предметной области происходит по два прорыва в неделю, и за три недели с сегодняшнего дня до лекции какие-то слайды могут оказаться уже неактуальны. Мы живём в удивительное время, лекция как раз об этом. Всё быстро.

Машинный интеллект/мышление, искусственное обучение, машинное обучение, искусственный интеллект



Слово "искусственный" уже нужно опускать рядом со словом "интеллект", а вместо слова "интеллект" можно писать слово "мышление" -- не слишком искажая смысл. Это как с "электронной почтой" -- сегодня другой уже, по факту, и не бывает, да и почта сменилась на чатики.

Сегодняшний человеческий интеллект не живёт без компьютерных моделей, доступного из любого телефона Гугля и чатиками с другими интеллектами, машинными и не очень. Дикарский интеллект -- это ведь не интеллект вовсе, а не-дикари сегодня уже киборги насквозь: сращены со своими смартфонами, корпоративными информационными системами и прочей вчера ещё нежитью, а сегодня буквально частями тела и мозга. Вот это всё вместе и есть сегодняшний "интеллект", сегодняшнее "мышление" в их машинном и человечьем винегрете. И даже не винегрете (где всё варится по отдельности, а потом смешивается), а сборной солянке (где всё проваривается вместе). Современные компьютерные приложения очень даже учитывают особенности человечьих мозгов (спросите у маркетологов и игроделов), а человечьи мозги очень даже учитывают особенности сегодяшних программ (спросите у себя, как ваши мозги вообще добрались до этого текста, чтобы его прочесть. Нашли ведь как-то?). И да, машинный интеллект и машинное обучение (внутри которого сидит обучение репрезентациям, а внутри которого сидит глубокое обучение) -- это одна и та же традиция, эпистемологическая. Где важна не мысль, а "как узнали". Обучились! С учителем, или без, или самообразованием -- это уже второй вопрос.

Уследить за всем, что происходит в области исследования интеллекта aka мышления уже нельзя, никакие одни мозги, даже поддержанные компьютерами, с этим не справятся. Но можно выделить некоторые точки особого внимания в происходящем: сдвиги понимания, приводящие к сдвигам в планах, приводящие к сдвигам в делах. И получается так, что на какие-то прорывы в чисто человеческом мышлении уже надежд нет, результаты в этой сфере более чем умеренные уже довольно долго: сильно умней не станешь, гениев на потоке не научились производить. Поэтому основные прорывы идут в сфере машинного интеллекта, пока ещё не совсем слившегося с интеллектом человека. Хотите стать таким умным, чтобы проектирование в машиностроении ускорить вдвое? Используйте AI, как это делают в General Elecric -- https://www.forbes.com/sites/jeremybogaisky/2019/03/06/general-electric-ge-artificial-intelligence/#1d66173ad881 (там использовали "машинную интуицию", т.е. нейронные сети, чтобы аппроксимировать точные вычисления -- и в результате сократили время, потребное на моделирование в миллионы раз, получив в итоге проект дизельного двигателя с 7% экономией топлива. И это не важно, что нейронная сеть была всего лишь "аппроксиматором". Обучение было примерно таким же, каким раньше учили операторов доменной печи: замечать разные мелочи, и действовать "по интуиции"). Этих "применений искусственного интеллекта" уже столько, что за ними следить совершенно неинтересно. Примерно как "применения электричества в промышленности и в быту": в 1919 году отдельно отслеживать такие новости уже было бессмысленным, а в 2019 году даже думать о таком, как чём-то особенном, странно. Вот в 2019 году отслеживать "применения искусственного интеллекта" стало бессмысленным. Это уже как электричество: используют все, это перестало быть новостью. Вот получение термоядерного электричества, или дешёвые батареи, или дешёвая фотовольтаика -- это новости. Производство дешёвого электричества -- новости до сих пор. Так что "производство машинного интеллекта" будет новостями и много позже того, как использование машинного интеллекта перестало быть новостью.

1. Основная битва происходит в области скорости, с какой происходит мышление. И человечье мышление тут не на фронтире, ибо проектируют тут уже не столько человечьи интеллекты, сколько машинные интеллекты:

1.1. Алгоритмы мышления. Всё должно быть точнее при заданной скорости, или быстрее при заданной точности, а ещё лучше -- и быстрее и точнее. Поиск нейроархитектур тут только одно из направлений, но немаленькое: https://www.automl.org/automl/literature-on-neural-architecture-search/ (и там, например, достижения типа Evolved Transformer, https://arxiv.org/abs/1901.11117, At big model size, the Evolved Transformer is twice as efficient as the Transformer in FLOPS without loss in quality. At a much smaller - mobile-friendly - model size of ~7M parameters, the Evolved Transformer outperforms the Transformer by 0.7 BLEU on WMT'14 English-German. Ещё пример -- ускорение алгоритмов, использовавшихся для сверхчеловеческого уровня игры в Go, чтобы такие эксперименты были доступны не только гигантам рынка типа DeepMind или Facebook: https://arxiv.org/abs/1902.10565,
Like AlphaZero and Leela Zero, a popular open-source distributed project based on AlphaZero, our bot KataGo only learns from neural net Monte-Carlo tree-search self-play. With our techniques, in only a week with several dozen GPUs it achieves a likely strong pro or perhaps just-super-human level of strength. Compared to Leela Zero, we estimate a roughly 5x reduction in self-play computation required to achieve that level of strength, as well as a 30x to 100x reduction for reaching moderate to strong amateur levels.

1.2. Компьютерное железо. Тут совпало, что приказал долго жить закон Мура, и одновременно потребовались ускорители для алгоритмов машинного обучения -- при этом спрос оказался главным образом на ускорение вычислений для deep learning алгоритмов (прежде всего свёрточных нейронных сетей). Поэтому инвестиции пошли не только в альтернативные CPU на разной архитектуре, но и в эти самые ускорители. Основной сюжет тут в том, что алгоритмов искусственного интеллекта оказывается множество, и непонятно, какие из них поддерживать аппаратно (вплоть до аналоговых вычислений, очень быстрых, но и самых ограниченных алгоритмически). Поэтому за обычными цифровыми компьютерами тут приоритет: их легко перестраивать на самые разные алгоритмы -- дифференцируемое программирование, эволюционные вычисления, символьные вычисления и всё остальное (помним про no free lunch theorem -- что нет универсального алгоритма. Идеальный для одного класса задач алгоритм будет ужасен для другого класса задач, и наоборот).

Наиболее легко делать ускорители класса "мозг насекомого", для computing at the edge -- то есть всякие микроустройства. И их уже тьма, самой разной архитектуры, ключевая их характеристика -- экономия электроэнергии. Производительность минимальная, но всё лучше, чем у CPU. Последняя новинка -- Google начал продавать за $150 Coral Dev Board на базе Edge TPU чипа -- https://venturebeat.com/2019/03/06/google-begins-selling-the-150-coral-dev-board-a-hardware-kit-for-accelerated-ai-edge-computing/. Все сравнения этого компьютера -- что это аналог Raspberry Pi, только для искусственного интеллекта. И таких крошечных компьютеров много, например Intel Movidius Myriad VPU 2 -- https://www.movidius.com/myriad2.

Для ускорителей побольше всё не так быстро, но тоже весело: квантовые компьютеры, мемристорная память, универсальные GPU, ещё более универсальные FPGA, не слишком универсальные TPU, инициативы не только NVIDIA, Intel, Google, Microsoft, новичков с valuation 1.7М типа Graphcore, и даже начинающий разработку своих чипов Facebook -- будет весело. А нейроморфные компьютеры пока "не взлетели", уж больно они неуниверсальны получаются.

Вот эти железо и алгоритмика решают всё. Дешевизна интеллекта решается именно в этом месте. А дорогой интеллект -- его мало, это и не интеллект вовсе. Интеллект должен быть дешевле грибов! И он будет дешевле грибов!

2. Переход от мантры "обучение без учителя" (unsupervised learning) как ключевого в машинном интеллекте к "самообучению" (self-supervised learning) и предсказаниям, как ключевому: изменилась "метафора торта" у Yan LeCun, в феврале вышла вторая версия (первая версия -- 2016 год, совсем недавно!) -- https://syncedreview.com/2019/02/22/yann-lecun-cake-analogy-2-0/ (больше ссылок см. в первом абзаце https://ailev.livejournal.com/1466364.html). По факту это переход к использованию моделей языка, моделей мира, дающих возможность предсказывать прошлые и будущие состояния.

3. Интеграция символьных и коннективистских представлений, канемановских "системы 1" и "системы 2". По этой линии свежие выступления Yoshua Bengio, особенно его выступление в университете Синьхуа 7 ноября 2018г, https://medium.com/syncedreview/bengio-at-tsinghua-university-on-maturing-deep-learning-and-babyai-aa0be56e4098 (вот слайды -- http://www.iro.umontreal.ca/~bengioy/talks/MSR-Beijing-Tsinghua-7nov2018.pdf) и недавно опубликованное интервью https://syncedreview.com/2019/02/16/yoshua-bengio-on-ai-priors-and-challenges/. Тут всё, как мы любим:
-- необходимость разбираться с символьными вычислениями
-- связь абстракций и формального выражения (у меня ведь давно было в to do про "распутать ортогональность абстрактности и формальности/символьности" -- вот эти материалы Bengio как раз касаются этой темы. Я только в августе последний раз писал про активную гибридизацию нижних уровней интеллект-стека, https://ailev.livejournal.com/1442172.html). Сюда же -- сюжет о "дифференцируемом всём", https://ailev.livejournal.com/1464563.html
-- внимание как способ работы с абстракциями. Память и внимание. Помним, что абстракции -- это то самое representation learning. А модели выражаются в терминах абстраций.
-- внимание и сознание (по той же линии рассуждений, что Attention schema theory -- https://ailev.livejournal.com/1193568.html)
-- символьность как отражение мира (а не только текстов), grounding
-- символьность как коммуникация
-- важность работы с причинностью. При этом проблема объяснения (explanation) оказывается частью проблемы работы с причинностью. И тут с объяснениями не всё так однозначно, я потерял ссылку на исследование Майкрософта, которое показало в эксперименте, что если дать объяснение работы нейросетки, то люди при работе с такой "понятной" сеткой делают больше ошибок!
-- модели мира и предсказания: виртуальные простые миры как "тренировочные" перед переходом к более сложным для обучения мирам.

Откуда берутся priors? Я уже много раз писал, что из культуры -- чем закончилась человечья эволюция, тем и начнётся эволюция машинизированного человечества, модели AI будут учиться на образцах текущей культуры, а не с полного нуля. И Bengio полностью эту точку зрения подтверждает.

Тут важно, чтобы наши курсы методологических дисциплин не противоречили представленным тут state-of-the-art идеям о мышлении -- поэтому мы будем проверять явно, насколько содержание курсов по плану в "Курс научного мышления -- в середине целого ряда методологических курсов" https://ailev.livejournal.com/1466364.html соответствует этим представлениям. Пока это всё совместимо с тем, что а рассказываю в книжке "Визуальное мышление" и по факту даётся в нынешнем курсе онтологики, но есть и много интересных поворотов мысли, которые нужно как-то осмыслить. Мне эти работы по машинному интеллекту важны тем, что они:
-- общие для человечьего и машинного интеллектов
-- дают некоторый способ думать об окружающем мире, о науке (моделировании мира).
-- дают идеи для выстраивания обучения людей, и выстраивания их симбиоза с умной нежитью

4. Мысль всегда распределена среди агентов. Поэтому многоагентность, где все агенты участвуют в общей эволюции -- это наше всё. Никакой интеллект/мышление не живёт в одиноком мозгу. Последние исследования OpenAI бьют в эту точку, например A Massively Multiagent Game Environment https://blog.openai.com/neural-mmo/, или с чуть менее выраженной мультиагентностью, но с тем же акцентом на куррикулум/развитие Unity Tower Environment: https://github.com/Unity-Technologies/obstacle-tower-env.

Тут всё кипит и бурлит, причём есть общий признак: при слове "агент" появляется слово "среда" (environment), в которой этот агент/агенты действуют. И по факту простая задача моделирования агента сводится к моделированию виртуального и моделированию этого мира внутри агента (или их сети). Вот эта смена акцента с развивающегося "агента" или "множества агентов" на "агенты в развивающемся мире" -- вот это новое. См. подробней в "Open-endedness: понятие шире, чем эволюция" -- https://ailev.livejournal.com/1463013.html

5. Искусственный интеллект поднимает кучу старых вопросов, которыми начинают заниматься всё новые и новые люди:
-- вопросы того, что такое "человек" и даже "человечество". Ибо всякие идеи научных фантастов о том, что уважать нужно разум, а не биологическое оформление разума, вдруг начинают быть не совсем фантастическими.
-- возврат к идеям эволюции и развития, но на новой понятийной базе (open-endedness): https://ailev.livejournal.com/1463013.html
-- идеи социализма (например, возврат к идеям коммунизма в форме "работать будут роботы, и они должны наработать нам на потребности, а мы будем работать по возможности. А кому будут принадлежать эти роботы? Государству, которое нас должно теперь всем обеспечить по тем самым потребностям! Начнём с безусловного базового дохода, и без этих ваших трюков с бюджетом и льготами, просто гоните деньги на бочку").
-- этика, ибо требуется объяснить идеи этики вроде как "тупой машине". А тупая машина не требует "объяснений", но выучивает этику как общепринятые правила поведения -- мораль. И мораль оказывается всё время не слишком этичной, когда её начинают пробовать на прочность. Это я о проблеме bias в искусственном интеллекте: мы не можем научить компьютер быть лучше, чем мы сами -- примерно так же, как мы не можем научить наших детей быть лучше, чем мы сами. А ещё военные применения AI. А ещё регуляторные вопросы -- например, можно ли использовать малоинвазивные методы лечения рака роботами (FDA говорит, что риски непонятны, поэтому рисковать нельзя -- https://edition.cnn.com/2019/03/01/health/fda-warning-robotic-surgery-mastectomy/index.html).
-- политическая система, правоприменение и вообще жизнь во времена, когда можно легко сгенерировать фейки. Это вообще отдельная проблема, "производство правдоподобной лжи в промышленных масштабах" (про "кадавра, неудовлетворённого графомански", я уже писал -- https://ailev.livejournal.com/1465347.html, и про AI Калашникова, которым дикари уже вооружились -- https://ailev.livejournal.com/1465183.html).
-- ... такого сорта вопросов огромное количество, и даже интересно, сколько свежеиспечённых "специалистов по социальным наукам" найдут себе рабочие места, обсуждая их, уж как могут. Про социальные сети, в которых каждый может выступить экспертом по этике или политике, особенно, когда речь идёт о присущем нежити интеллекте, я вообще молчу: о чём говорить, если не об этом? О том, должно ли правительство бороться с грядущим глобальным потеплением, или грядущим малым ледниковым периодом? Нет, обсуждать себе подобных, а хоть и неживых, гораздо интереснее!

Но есть в этой области "нового мировоззрения" и "неполитические" идеи, которые достаточно мощны, чтобы на них обратить внимание. Так, обучение искусственных мозгов должно быть авторским: если учить не на безымянных примерах разных учителей, а на подписанных этими учителями примерах разметки данных, то тогда можно будет придавать больше веса разметке данных от уникальных людей, которые обладают интуицией получше. Поэтому все данные в мире хорошо бы иметь подписанными, кто их произвёл -- это ведь даёт "слабое свидетельство по Байесу" в части доверия к этим данным, что может быть учтено алгоритмом обучения, Who said what: Modeling individual labelers improves classification -- https://ai.google/research/pubs/pub46497. То есть требования цитирования имени того, кто произвёл тот или иной факт -- это важное требование, и оно мало имеет отношения к "признанию заслуг", но больше к оценке правдоподобия представленных фактов. Имена производителей фактов оказываются нужными, авторство важно.

Поразительная статистика об искусственном интеллекте

Оригинал взят у avroraiwa в Поразительная статистика об искусственном интеллекте
Поразительная статистика об искусственном интеллекте

По мере того, как развивается эра искусственного интеллекта, его способность изменить будущее получает противоречивые отклики. Сооснователь и председатель совета директоров Microsoft (NASDAQ: MSFT) Билл Гейтс называет искусственный интеллект «священным Граалем» мира компьютеров. Генеральный директор Tesla Илон Маск, в свою очередь, несколько апокалиптически смотрит на эту сферу жизни и связывает развитие искусственного разума с «пробуждением демона».
Collapse )

Советские Тьюринги

Оригинал взят у angels_chinese в Советские Тьюринги
Не, я, конечно, читал сейчас про Тьюринга, а все пишущие про Тьюринга напирают на его гейство сильнее, чем на его математику (что несправедливо, как мне кажется), но искать полез что-то математическое, word problem буквально, а наткнулся на статью с дивным, дивным названием "Пощечина Колмогорова Лузину", и полез в Вики. Ну и понеслась:

На отборочной комиссии отделения физико-математических наук Лузин выступил, нарушая предыдущие договоренности с речью: «Первый кандидат, важный для приложений — Петровский. Александров с ним сравниться не может». Далее, согласно мемуарам Сергея Новикова, после выборов Колмогоров подошел к Лузину и сказал: «Вы поступили непорядочно». Лузин ему ответил: «Я не могу терпеть оскорбления от женщины». Сергей Новиков упоминает, что об этом ему рассказал Людвиг Фаддеев, со слов его отца, Д. К. Фаддеева. После слов Лузина Колмогоров потерял контроль над собой, завизжал и дал Лузину пощечину.

Некоторые авторы предполагают гомосексуальность Колмогорова и пишут о его многолетних отношениях с академиком Павлом Сергеевичем Александровым.

Несмотря на то, что П. С. Александров был учеником Н. Н. Лузина и одним из членов Лузитании, во время травли Лузина (знаменитое дело Лузина) Александров выступил одним из активнейших его преследователей. В те годы попадание под сталинские репрессии практически гарантировало человеку лишение всех прав, а то и жизни. Лузин чудом избежал лагерей и даже остался членом Академии. Отношения между Лузиным и Александровым до конца жизни Лузина оставались очень натянутыми, и Александров стал академиком только после смерти Лузина.

Какой сюжет! Тут же всё, вот просто всё внутри. И сталинизм, и гомосексуализм, и отношения учителей-учеников - математическое "Табу" какое-то. Ну и где наши биографии и романы об этом обо всем? Где наш фильм "Игра в имитацию" с местным Бенедиктом Камбербэтчем в роли Колмогорова?

Чисто с литературной точки зрения - непаханное поле. Стыдно, товарищи писатели!