Мастера DELPHI, Delphi programming community Рейтинг@Mail.ru Титульная страница Поиск, карта сайта Написать письмо 
| Новости |
Новости сайта
Поиск |
Поиск по лучшим сайтам о Delphi
FAQ |
Огромная база часто задаваемых вопросов и, конечно же, ответы к ним ;)
Статьи |
Подборка статей на самые разные темы. Все о DELPHI
Книги |
Новинки книжного рынка
Новости VCL
Обзор свежих компонент со всего мира, по-русски!
|
| Форумы
Здесь вы можете задать свой вопрос и наверняка получите ответ
| ЧАТ |
Место для общения :)
Орешник |
Коллекция курьезных вопросов из форумов
KOL и MCK |
KOL и MCK - Компактные программы на Delphi
Основная («Начинающим»)/ Базы / WinAPI / Компоненты / Сети / Media / Игры / Corba и COM / KOL / FreePascal / .Net / Прочее / rsdn.org

 
Чтобы не потерять эту дискуссию, сделайте закладку « предыдущая ветвь | форум | следующая ветвь »

AlphaZero - как работает??


Mastic ©   (05.01.19 11:08

Есть кто-нибудь, кто сможет на пальцах объяснить принцип работы AlphaZero, которая вынесла даже Стокфиш?? Как я понял, там используются обучающиеся нейронные сети и не используется классический Шенноновский метод создания дерева перебора вариантов с минимаксом.


xayam ©   (05.01.19 11:16[1]

https://habr.com/post/343590/

используется метод поиска монте-карло
https://habr.com/post/282522/


ВладОшин ©   (05.01.19 17:23[2]

Стокфиш, на сколько знаю, последний раз играл версией 8.
Потом, достаточно сомнительно, что АльфаЗиро нашла все начала, которые в Рыбке заложены как библиотека дебютов.

Это ни в коем случае не сомнения, что Гугл сотворил сильнейшего игрока. Почему бы и нет, вполне мог. Но есть сомнения.

Во-первых, почему не с 10й версией играла, во-вторых дебюты. Шипов говорил, что некоторые идеи прямо вот-вот, последние разработки теории.
Т.е. допустим, что Альфа играет сильнее. Он сам додумал всю библиотеку?! Если бы он это сделал, имхо, он бы не проиграл ни разу. А он проигрывал, 6 поражений, 839 ничьих


xayam ©   (05.01.19 17:58[3]


> Во-первых, почему не с 10й версией играла

насколько я понял новая версия играла то ли с 9 то ли с 10-й версией.


xayam ©   (05.01.19 18:00[4]

кстати у меня антивирус находит вирус на офиц.сайте стокфиша для 10-й версии


ВладОшин ©   (05.01.19 19:19[5]

не, в декабре матч из 1000 партий против 8й версии был
Шипов еще говорил, что 10-ка некоторые моменты Альфы разгадала, когда он давал подумать ей


xayam ©   (05.01.19 19:32[6]

https://www.chess.com/ru/news/view/novaia-versiia-alphazero-razgromila-stockfish-v-matche-iz-1-000-partii
"В дополнительных матчах новая AlphaZero победила "последнюю разрабатываемую версию" Stockfish почти с тем же результатом, что и в матче со Stockfish 8. В окончательной версии статьи указано, что AlphaZero играла против последней разрабатываемой версии Stockfish на 13 января 2018, то есть, Stockfish 9."

вот написано что было сыграно сколько то партий с 9-ой версией с тем же результатом почти, правда без подробностей


ВладОшин ©   (05.01.19 20:09[7]

и там же

Партия 2 с анализом Stockfish 10:
Stockfish 8 vs. AlphaZero

Че пишут..


xayam ©   (05.01.19 20:18[8]


> Че пишут..

ну выходит с 9-й играл, а результата конкретного нет в виде партий не опубликовано,
хотя известно что альфа выиграла и по времени еще тоже выигрывает
при десятикратной разнице - значит и 10-ку обыграет скорей всего обыграет -
разница "в классе" слишком большая


ВладОшин ©   (05.01.19 21:13[9]

6 дек. 2018 - разгромила Stockfish8

AlphaZero играла против последней разрабатываемой версии Stockfish на 13 января 2018, то есть, Stockfish 9

- > 13 января 2018 - Stockfish 9

Что-то мне подсказывает, что январь идет перед декабрем.
т.е. разгромив в январе 9ку, в декабре стала играть с 8кой?

Сдается мне, что писатель статьи путается в показаниях. На кол, собаку!


xayam ©   (05.01.19 21:16[10]


> Сдается мне, что писатель статьи путается в показаниях

не принципиально, главное играла и с ней


ВладОшин ©   (05.01.19 23:15[11]

смотря как смотря )
Нейросеть это, конечно, гуд. Но без банального перебора и дебютов - о-оочень сомневаюсь что обошлось.
Еще раз, уточню: Не сомневаюсь, что AZ побил бы 8,9 и даже 10. Очень может быть. Почему бы и нет.
Но заявить, что перебор и дебюты не юзаются .. ну.. не знаю.


xayam ©   (06.01.19 00:36[12]


> что перебор и дебюты не юзаются

почему? перебор есть и алгоритм Monte-Carlo Tree Search они вроде как декларируют.
А дебюты выводятся нейросетью самообучением с нуля.
Почему это невозможно?


ВладОшин ©   (06.01.19 01:21[13]

Ну раз перебор есть, то ладно )
Не внимательно читал, значит

Дебюты.. черт его знает, на самом деле. Может и можно вывести. Я только сомневаюсь, что они будут похожи на "человеческие". Но, в принципе, они и не показали базу дебютов AZ, которую он сам вывел (якобы)

Одно из сомнений породил тот факт, что компьютер довольно часто ломал знаменитые задачи на мат в 4 и более ходов. Опровергал их, находил защиту.
По идее, он должен опровергнуть и дебют. На каком-нибудь 7-8-9 ходе наказать противника своей "новинкой". Ну, если он сам это все вывел, такое должно быть у него.


xayam ©   (06.01.19 02:43[14]


> По идее, он должен опровергнуть и дебют

не ну согласись в дебюте у людей сотни лет игр и всем понятные схемы
быстрейшего развития и атаки уже понятны любому кмс,
одной из "новинок" альфазеро на грани дебюта-миттельшпиля стала
активация чернопольного слона белых на диагонали а1-h8  и одновременная жертва пешки g2 с открытием вертикали g для ладьи и долговременным давлением на пункт g7
Эта тема во многих играх со стокфишем проскальзывает...


xayam ©   (06.01.19 04:14[15]


> одной из "новинок" альфазеро

еще он любит задвигать крайние пешки в совокупности с фигурным давлением по центру,
плюс очень любит "делать" белопольного слона черных "плохим", всячески ограничивая
собственными пешками


ВладОшин ©   (06.01.19 10:12[16]


> любит задвигать крайние пешки

ага, смотрел )


xayam ©   (07.01.19 17:02[17]


> ага, смотрел )

думаю если пересмотреть все партии альфазеро можно еще что-то найти -
так что новинки есть и стратегические в том числе


ВладОшин ©   (07.01.19 18:25[18]


> новинки есть и стратегические в том числе

Прям на 5-6-7 ходе не видал. Конечно, видал только те, которые Шипов показывал. Может и есть новинки, конечно.
Там предлагают скачать архив, вроде.. Но, боюсь, нашей квалификации не хватит оценить )
С др. стороны, думаю, что кто-то скачивал, смотрел.. Но не видал отзывов о новинках


xayam ©   (07.01.19 18:29[19]

имхо большинство новинок в миттельшпиле и игра в дебюте на ограничение,
так сказать сначала зажимает - потом добивание с огоньком :)


ВладОшин ©   (07.01.19 18:44[20]

Когда объясняют - да ). Становится понятно, как ловко зажимает )


xayam ©   (07.01.19 19:23[21]


> Становится понятно, как ловко зажимает

может через сто лет появиться программа которая нынешние в одном потоке будет
черными побеждать без особого напряга, вот тогда мы будем говорить ловко :)
Движки за последние годы сильно эволюционировали, но это не означает конец -
скорей только начало чего-то бОльшего. Существование такой программы как альфазеро
это только подтверждает. К тому же уже сейчас есть нейросеть для "обычного железа" -
http://lczero.org/ и она тоже не слабо прогрессирует. А что будет через 10 лет? 50? 100?

Я думаю человек на пороге создания искусственной жизни - не меньше.
Я не знаю как насчет души у этой всей машинерии, но факт остается фактом -
программы развиваются и пока конечно не дошли до полностью автономного саморазвития,
но все предпосылки к этому имеются... Я боюсь за то, что разработчик такой программы в
конечном счете ошибётся в постановке цели для машины и тогда возможны нехорошие
сценарии или более того такой разработчик сможет запрограммировать так что, цели
будут выбираться динамически и абстрактно, тогда уже такую программу можно будет
назвать разумной, а это проблема... Проблема отношений между искусственным и естественным.
На эту тему у человечество огромное количество фантастических книг, чаще с апокалиптическим
сюжетом. И на этом будет учиться машина? Человек сейчас мало что может дать своему ребенку,
тому приходится все постигать на собственном опыте. А что человек может дать машине?
В большинстве только негативную информацию, коей на просторах интернета достаточно.
Другой вопрос что целью должно стать поиск чего-то положительного, но сие сложно
запрограммировать динамической постановкой целей, если вообще такая задача будет стоять...


ВладОшин ©   (07.01.19 19:47[22]


> xayam ©   (07.01.19 19:23) [21]


не.. как-то ты мрачен ))
Изобретатель топора примерно так же, наверное, был. Можно хату срубить, а можно и соседу по черепушке двинуть.
Смотря в чьи руки попадет..


ВладОшин ©   (07.01.19 19:59[23]

Кстати, надо глянуть прогноз производительности железа. Гугл легко может позволить себе Альфу, никаких сомнений. Но, вроде, это экстенсивный путь. Они там нагородили кучу серверов, конечно, у них все будет ok..
А вот такое, что бы под столом стояло и было сравнимой мощности?
Пока, на сколько опять же помню, достигнут предел (практически). Ждем революцию )


xayam ©   (07.01.19 20:02[24]


> Смотря в чьи руки попадет..

проблема в том что в данном случае у нас разумный (читай неконтролируемый) топор


ВладОшин ©   (07.01.19 20:11[25]

ну.. у  этого умника есть розетка )


xayam ©   (07.01.19 20:20[26]


> ну.. у  этого умника есть розетка )

ключевое слово - ПОКА есть :)


xayam ©   (07.01.19 20:22[27]

тем более проблемой может стать не сама розетка,
а то что она охраняема самим ИИ и его
сподвижниками :)


xayam ©   (07.01.19 20:25[28]


> xayam ©   (07.01.19 20:20) [26]
> > ну.. у  этого умника есть розетка )
> ключевое слово - ПОКА есть :)

или более того розеток может быть миллион и отключение всех
будет равносильна отказу от электричества для всего человечества :)


ВладОшин ©   (07.01.19 21:12[29]

SkyNet? )
Далеко нам до этого, все же. Не разделяю оптимизма про ИИ. Создадут максимум эксперта в одном направлении. Картинки распознавать, в шахматы играть.
Ну да, или планировать ядерные удары максимальной эффективности

могут соединить несколько направлений.

Но вот что бы прям вот такой разум, который бы начал розетки защищать и Т-800 печатать для поиска и убийства Била Гейтса 2.0 - не, для такого мы еще долго не будем готовы, имхо
хотя.. для некоторых Т-800 надо вызвать, 100%% ))


xayam ©   (07.01.19 22:35[30]


> SkyNet? )

а что не веришь? Но всё к этому идёт...
Не знаю сколько на это понадобиться лет, но если вектор развития сохранится,
то я оцениваю максимально - 100 лет и если человечество к тому времени
не погибнет во вспышке ядерного взрыва, то будет и такая проблема как дополнение к
остальным...


ВладОшин ©   (07.01.19 23:20[31]

Опасность есть. Но больше, думаю, опасность в ошибке в коде, чем, что ИИ САМ решит поработить всех.
Т.е. скорее кто-то посадит AV и он запустит все ракеты, чем он осознанно запустит все ракеты. Еще и потому, что человечество было бы идиотами, если бы отдало под контроль ИИ все, без возможности остановить в любой момент через какой-нить бэкдор


xayam ©   (08.01.19 00:57[32]


> если бы отдало под контроль ИИ все, без возможности остановить
> в любой момент через какой-нить бэкдор

думаю в случае реального ИИ бэкдор нереален, поскольку ИИ имел бы свои исходники
и переписал все без бэкдоров...


ВладОшин ©   (08.01.19 01:11[33]


> xayam ©   (08.01.19 00:57) [32]

Защелку ему тогда, как на дискетке )
Пока пимку не отодвинешь, фиг тебе а не запись. И все это в ядре. И граната привязана к пимпке, что бы не сдвинуть )


xayam ©   (08.01.19 01:55[34]

а копии делать тоже запретить? Где-то записывать должно быть разрешено,
иначе как творить :)


ВладОшин ©   (09.01.19 07:44[35]

На отдельный носитель творить будет. А ядро для модификации для самого ИИ закрыто


ВладОшин ©   (09.01.19 08:23[36]

Зацени )
Только что получилось сыграть на личесс )) (https://lichess.org)

https://cloud.mail.ru/public/N7kQ/qxZFNY25W
мат в 4 хода


xayam ©   (09.01.19 11:01[37]


> мат в 4 хода

это называется  - спертый мат

> На отдельный носитель творить будет

а если это будет программа? Можно будет запустить с носителя?


ВладОшин ©   (09.01.19 12:57[38]

Ну конечно
Как раньше дискеты работали, 3.5 которые
http://www.delphiplus.org/images/dvip02/dvip02-131.png
все читается, а писать нельзя пока защелку не сдвинешь. Вот ядро будет на таком носителе, а остальное на другом - там пусть переписывает


xayam ©   (09.01.19 16:36[39]


> Как раньше дискеты работали

да, но всегда можно перенести на другой носитель пишущий и такого ограничения не будет


Sha ©   (09.01.19 17:33[40]

оно возьмет контроль над роботом, который передвинет защелку )


ВладОшин ©   (09.01.19 22:44[41]


> xayam ©  

кстати, про обман или действительно ИИ )

Недавно статейка попалась, как нейронка из фотки со спутника и карты улиц  строила 3d вид этих улиц
Так эта коза построила такие мелочи, что ее проверили тут же.
И выяснилось, что она (или программист?) пользовались доп.данными ) Что-то там тихо ей рисовали, незаметно, заранее.
Потому что она там в одном месте столб нарисовала. А на корте его нет, и со спутника не видать, что это столб. В общем, спалилась на мелочи.
Вот что-то мне подсказывает, что Альфе тоже немного помогли )


ВладОшин ©   (09.01.19 22:48[42]


> оно возьмет контроль над роботом, который передвинет защелку
> )


Все ходы записаны!
>> граната привязана к пимпке

т.е. растяжка стоит.
Отключить нельзя, граната выведена во внутрь. Как ядро переписывать.. хм.. придумал! -  Никак! )


Sha ©   (10.01.19 09:28[43]

> ВладОшин ©   (09.01.19 22:48) [42]

оно возьмет контроль над пылесосом,
которым удаляют пыль в системном блоке,
он обезвредит гранату и передвинет защелку

или аккуратно распилит корпус

или дырочку просверлит

или или


xayam ©   (10.01.19 12:08[44]


> Sha

хотел услышать твое мнение об этом -
http://www.delphimaster.ru/cgi-bin/forum.pl?id=1546676061&n=3


Sha ©   (10.01.19 13:14[45]

твоя вторая гипотеза равносильна проблеме Гольдбаха, так что извиняй


xayam ©   (10.01.19 15:21[46]


> Sha ©   (10.01.19 13:14) [45]
> твоя вторая гипотеза равносильна проблеме Гольдбаха, так
> что извиняй

то что равносильна я и сам понимаю.
А почему график такой возрастающий?


Sha ©   (10.01.19 18:06[47]

чисто умозрительно: чем больше K, тем больше у него вариантов оказаться точно посередине между двумя простыми


xayam ©   (10.01.19 20:47[48]


> чисто умозрительно

вопрос как это доказать?
я думаю ответ никто не знает конечно :)


Sha ©   (10.01.19 21:37[49]

никто не знает, как доказать, что есть хотя бы 1 вариант )


xayam ©   (11.01.19 18:24[50]


> никто не знает, как доказать, что есть хотя бы 1 вариант
> )

ну если доказать что есть асимптота снизу существует, то хотя один вариант существует :)


manaka ©   (11.01.19 19:13[51]


> xayam ©   (10.01.19 12:08) [44]


xayam ©   (08.01.19 02:03) [16]
вот "остается" доказать что нижняя граница стремиться к какой-то возрастающей ассимптоте и считай гипотеза доказана.


Как все просто на самом деле! А матерые математики всего мира чешут репу годами )))


Mystic ©   (17.01.19 14:39[52]

BTW, на TCEC LeelaZero (open source реализация по идеям AlphaZero) тоже обыгрывает Stockfish 8:
https://tcec.chessdom.com/


версия для печати

Написать ответ

Ваше имя (регистрация  E-mail 







Разрешается использование тегов форматирования текста:
<b>жирный</b> <i>наклонный</i> <u>подчеркнутый</u>,
а для выделения текста программ, используйте <code> ... </code>
и не забывайте закрывать теги! </b></i></u></code> :)


Наверх

  Рейтинг@Mail.ru     Титульная страница Поиск, карта сайта Написать письмо