Последние дни (2024-04-19)

Фраза "last days" (последние дни) также оказалась плодотворной в смысле галлюцинаций.

Занятно, что на портретную ориентацию двигатель выдал огромное количество очень интересных (и вовсе не жутких) портретов, преимущественно женских.

На ландшафтную... Там и собственно ландшафты, и, неожиданно, большое количество т.н. "body horror" — ужасы, опирающиеся на сцены жутких изменений тела и всевозможные уродства. Кто видел "The Thing" Карпентера, тот поймёт, о чём речь.

Но бывает и другое, и тоже не редкое, примеры выше.

===== Перейти к комментариям

Галлюцинации (2024-04-14)

Предыдущие опыты с "ультракороткими" описаниями дали интересные результаты. Обозначился ряд моделей, которые, если можно так сказать, очень эффектно галлюцинируют. А именно, выдают самые разные по направленности картинки в ответ на короткий запрос.

Дело, конечно, не в краткости определения, а в том, как тренировалась модель. Неожиданный всплеск "галлюцинаций" в ответ на описание "sound of silence", "звук тишины", объясняется именно этим: в рамках свободы творчества (коэффициента CFG) модель находит более или менее весомые цепочки ассоциаций, которые и разрастаются в очень странные картинки.

Чемпионы по части галлюцинирования, среди моделей на CivitAI:

LEOSAM's Hello World
Copax Art Brush
ICBINP ("I can't believe it's not photo" — "Поверить не могу, что это не фото")
Lah Mysterious
Epic Fantasy Vision

Составлять списки моделей в данном случае дело неблагодарное (очень уж быстро меняется ситуация в этой отрасли — SD 3 уже не за горами), но упомянутые модели с очень живым воображением также входят в список тех, что я отобрал для работы (куда входят также Proteus RunDiffusion, Crystal Clear Lightning, Cinematix, Lightning Bloom, Real Good Fast Pass, Realism from Hades, Real Vis, WLOP Style и Zavy Chroma, всего изучено 50+ моделей).

Ну а теперь сами картинки (все построены на модели LEOSAM's Hello World, легко найдёте на CivitAI).

===== Перейти к комментариям

Звук тишины (2024-04-07)

Песню "Звук тишины" ("Sound of silence") наверняка знают все, пусть даже не зная ни названия, ни исполнителя. Для архива: оригинальное исполнение (Simon & Garfunkel), исполнение Gregorian

В целом и общем короткие определения дают стохастические результаты. В данном случае на выходе есть несколько типичных результатов: лодки, река в лесу, река на фоне гор, портреты, дома и "всякое странное".

Текст определения: extremely detailed, oil painting, sound of silence, by Greg Rutkowski and Tyler Edlin

Сами картинки ниже. Заголовки условные, поскольку электронный художник именно так "увидел" звук тишины.

===== Перейти к комментариям

Дополненная реальность (2024-04-04)

Логично звучали вопросы, почему в предыдущем посте (см. ниже) итоговые картинки не имеют ничего общего с оригиналом. Ниже краткое пояснение.

В инструменте "img2img" (картинка в картинку) SD использует минимум два параметра, чтобы обозначить, насколько итоговая картинка близка к оригиналу. Первый уже известен, CFG, очень упрощая — насколько двигатель будет придерживаться описания, а насколько — следовать своей "фантазии" (чем выше коэффициент, тем более послушным будет двигатель).

Вторым, специфическим для "картинки в картинку", является т.н. коэффициент подавления шума (denoising strength), вещественное число от 0 до 1 (0: двигатель не участвует; 1: двигатель может вносить произвольные правки). Судя по сказанному ранее, "шумом" является исходная картинка.

Выяснилось, уже экспериментально, что важным фактором также является число шагов синтеза изображения. В предыдущем случае я использовал скоростную модель ("Lightning"); она характерна тем, что работает только с низкими коэффициентами CFG и с малым количеством шагов (и в среднем, даёт изображение худшего качества за счёт значительного увеличения скорости работы).

На этот раз взята модель типа SDXL (Juggernaut RunDiffusion), но не скоростная. Итоги см. ниже.

1. Обработка фотографии. Исходная картинка:

Текст определения (во что переделываем): extremely detailed, oil painting, close-up portrait of middle-aged wizard, calm smile, fantasy, majestic mansion in the background, by Tyler Edlin and Nick Avallone

Итоги ниже (числом обозначен коэффициент подавления шума, при прочих равных условиях).

При подавлении шума ниже 0.35 двигатель, по сути, себя почти не проявляет. Резкий скачок изменений происходит между 0.45 и 0.60. Всё, что выше — по сути, уже в чистом виде фантазия двигателя, ничем не похожая на оригинал (примерно так выглядят итоги работы со скоростными моделями).

2. Дополненная реальность. Исходная картинка (фото поблизости от места, где я живу):

Добавляем воздушный шар в небе (коэффициент 0.45):

Добавляем сторожевую башню (коэффициент 0.45):

Если поиграть определениями при диапазоне 0.4-0.5, вполне можно убедительно "дополнить реальность", внося минимальные искажения и порождая более или менее реалистичные новые подробности.

===== Перейти к комментариям

А у вас всё лицо зелёное! (2024-04-01)

У SD есть функция создания картинки на основе другой картинки. Признаться, я был бы рад прочесть сейчас длинную лекцию по использованию этого инструмента, но...

Так получилось, что просто захотелось посмотреть, насколько хороши будут производные картинки. Источником было фото меня любимого (но новоязе "селфи"), но первым же делом я применил к ней скоростную модель... и понял, что картинки замечательные (сами посмотрите), в т.ч. с точки зрения анатомии, но в качестве учебного материала ничего не стоят: у нейронки, в случае скоростных моделей, практически невозможно выставить настройки, при которых исходное изображение будет очень понемногу трансформироваться в считанное. В данном случае есть магическое значение соответствующего коэффициента (снятия шума, denoising strength: 0 - полное отсутствие свободы воли нейронки, 1 - максимальная свобода), что изменение даже в четвёртом знаке после запятой меняет картинку радикально (и не очень интересно).

Так что лекция будет потом.

В качестве иллюстрации: картинка ниже получена из той, что левая нижняя в коллекции выше, при изменении коэффициента с 0.75 до 0.74:

Польза, кстати, всё равно есть: можно генерировать аватарки, тоннами. И вполне себе приличные.

===== Перейти к комментариям

Персонажи: Тень

Соблазн начать, наконец-то, подбирать приемлемый облик для персонажей был давно. Теперь, когда с вычислительными мощностями всё приемлемо, задача вылилась в неожиданный аспект - найти и описание, и оптимальную модель для опытов.

Что ж, лиха беда начало.

1. Первое знакомство

Это Тень. В миру — Эсстер Аратрин ан эс Метуар, антагонист и протагонист "Ступеней из пепла", последовательно.

Эсстер появляется только в третьей (из трёх) частей книги, но при этом вызвала наибольшее количество обсуждений: и в связи со своей "должностью" — голос и воплощение подлинной Тени, Стража мрака, владычицы царства мёртвых и распорядителя их судеб (по принятым во множестве культур Шамтерана поверьям, Тень может возвращать умерших в царство живых, Средний мир, если те сами отыщут себе дорогу).

Воскресает после смерти (в книге — после ножевых и огнестрельных ранений, а также, в финале, после смерти от старости). Однажды (и она это знает) её призовёт на окончательную и бессрочную службу подлинная Тень, и отказаться не получится.

Умеет крайне быстро перемещаться в отсутствие света, её мышечная реакция превосходит реакцию обычного человека в несколько раз. Обладает рядом других черт, свойственных подлинной Тени — например, в состоянии подчинить почти кого угодно своей воле.

При всём этом, оказывается человеком чести и способным на самопожертвование — пусть даже с ужасными манерами, пренебрежением к правилам и стремлением делать всё по-своему.

Через три года после событий книги у Эсстер родилась дочь, Вессен (тоже, по иронии, выбравшая путь Тени — правда, уже технологическим вариантом, безо всякой мистики).

Не все, кому довелось увидеть Тень так близко, сумели потом поведать об этой встрече.

2. Подлинный облик

По книге, Тень с лёгкостью принимает произвольный облик (не уточняется, насколько она меняется внутри, если облик мужской). Тем не менее, с какого-то момента выглядеть самой собой стало для Эсстер привилегией: её первую госпожу раздражал и облик, и голос подлинной Эсстер.

Эсстер, невзирая на происхождение (прямая наследница малого дома в Тегароне, что само по себе даёт немалые привилегии и в стране, и среди другой родни), несмотря на хорошее образование, с самого начала пренебрежительно относится к правилам и законам, обожает авантюры. Что, собственно, и закончилось для неё потерей свободы.

Отрывок из книги:

— Вы всё знаете, — огорчилась Тень, отходя в сторону. — Зачем спрашивали?

— Только что догадался. А одежда, в гардеробе у Май — тоже ваша?

Тень хлопнула себя по лбу.

— Надо будет попросить, переодеться как-нибудь. Всё равно она ей мала. А мне хочется выглядеть красивой.

— Вы и так красивы. Очень красивы.

— Не я, а Госпожа. Сама я... вот, смотрите.

Тень отвернулась. Через некоторое время повернулась вновь. Худенькая, светлолицая. Веснушчатое круглое лицо, большие зелёные глаза, тонкие губы, рыжие лохмы — стожок сена на голове.

— Видите? Пугало...

Тень вновь отвернулась и через несколько секунд вернула облик Майтенаринн.

— Вы и сами красивы. Нет, правда. Кстати, можно попросить об одолжении?

3. Подлинная Тень

Подлинная Тень, владычица царства мёртвых и распорядитель судеб тех, кто умер, появляется в книге дважды. В третий раз её встретит уже Лас, в "Книге Снов". Поскольку в Тень, в той или иной мере, верит большинство населения планеты, вызвать Стража мрака, так сказать, в гости, получилось неожиданно легко. О последствиях, как водится, никто не думал.

Оба раза Эсстер служит обликом, вместилищем подлинной Тени. Во второй раз Страж мрака разрешила своему "агенту" услышать разговор.

Отрывок из книги:

— Май, Лас, — позвала Тень. Солнце уже село; Лас и Май сидели у небольшого розового куста, на поляне. Семь цветков светились в быстро наступающей темноте. — Идёмте, мы ждём вас. Скоро будет ужин.

Лас кивнула и встала, протянув руку Май. Та приняла, поднялась... оглянулась на Тень.

— Лас... похоже, у неё ко мне разговор. Извини.

Ласточка кивнула вновь и убежала.

Сумрак сгустился над Тенью.

— Госпожа, — Тень заговорила первой. Глаза её светились красным. — Я приняла ваше приглашение... из любопытства, не скрою. Появляясь здесь, Я нарушаю обещание не вмешиваться в дела Среднего мира. Но Меня так давно не приглашали от чистого сердца... Прошу вас впредь быть осмотрительнее, когда вы позволяете явиться подобным Мне.

Майтенаринн кивнула, хотя сохранять самообладание было непросто. Непросто было общаться со сгустком тьмы.

— Я, настоящая Тень, не имею права помогать вам непосредственно. Вы должны справиться сами.

— Понимаю и не прошу ни о чём.

— На прощание, Майтенаринн. Когда вы предстанете передо Мной, сочту за честь лично выбрать достойную вас дорогу. Но не торопитесь ко Мне, прошу вас.

— Прощайте, Страж мрака.

— До встречи, Майтенаринн. Та, что остаётся... будьте к ней снисходительны.

Интересующимся: изображения построены на моделях, последовательно: realismFromHades_XLLightning, realVisXLV4.0 _Lightning, proteusRunDiffusion_withclip. Вы легко найдёте их на CivitAI точка com.

===== Перейти к комментариям

Только о прекрасном (2023-03-24)

В день общенационального траура — только о мирном и прекрасном.

===== Перейти к комментариям

Протей и ворон

Стоило упомянуть в предыдущем выпуске, что модели часто меняются, как почти сразу же попалась на глаза модель «Протей» от компании RunDiffusion (угадайте, что именно она разрабатывает).

Ниже приведены некоторые пробники, которыми я проверяю теперь каждую модель. Общие параметры создания изображений такие:

Алгоритм сведения: DPM++ 2M Karras
Шагов: 30
Коэффициент CFG: 5
Пропуск CLIP: 2
Размер: 1216x832 (или наоборот)

Модель класса SDXL, но не скоростная, просчёт длится относительно долго. Во всех случаях ниже описание, с учётом рекомендаций на сайте, выглядит так:

extremely detailed oil painting, СЦЕНА, score_9, score_8_up, score_7_up, score_6_up, score_5_up, score_4_up

где «СЦЕНА» относится к собственно данной картинке. Т.е., это всё «картина маслом», что отражается на чёткости и технике. Об остальном судите сами.

Модель очень качественно работает во многих областях, как вы только что сумели увидеть. Даже без указания стиля художника и конкретной техники (понятно, что мышь стоило изобразить в мультипликационном стиле). Аниме, если что, модель тоже умеет.

Так что спасибо коммерческой компании за этот подарок сообществу.

Любопытно, кто сумеет хотя бы примерно угадать текстовое описание для изображения «Зеркало» (подсказка: там пять слов).

===== Перейти к комментариям

Орки, просто орки

В дополнение к предыдущему посту — коллекция разных пробников и невостребованных картинок с орками Варкрафта.

В первой картинке удалось совместить визуализацию двух игровых вселенных: "World of Warcraft" и "Amnesia: The Dark Descent".

Согласитесь, и мальчики, и девочки хоть куда!

===== Перейти к комментариям

Молниеносные орки

Кто посещает коллекцию моделей для SD на CivitAI, тот в курсе, что минимум раз в 2-3 месяца там происходит серьёзное обновление корпуса моделей. Конкретно сейчас появилось множество т.е. «Lightning»-моделей («lightning» — «молния»), относящихся к методике «дистилляции» моделей, после которой возможен просчёт картинок приемлемого качества за малое количество шагов. Как следствие, время просчёта может значительно сокращаться, в случае моей аппаратной части — до 5-6 раз по сравнению с оригинальной моделью.

Параллельно меня попросили просчитать несколько картинок с персонажами-орками (из вселенной Варкрафта, это существенно).

Ну, всё и заверте... Картинки вы можете посмотреть, нажав на соотв. ссылку в поле «Примечание» (буква обозначает пол персонажа). Орки-мужчины в тренировочном лагере, и орки-женщины на прогулке в лесу.

Скоростными являются только те перечисленные модели, у которых в названии есть соответствующая строка (Lightning).

Самыми быстрыми оказались Hello World, Real Vis и Realgood. Что до качества... Судить сложно, но я пока буду придерживаться, при прочих равных, RealVis, Juggernaut и Hello World.

===== Перейти к комментариям

С 8-м Марта!

Всех женщин поздравляю с международным женским днём 8-го Марта.

Пусть каждый день в вашей жизни будут любовь, счастье, удача и оптимизм — а в этот день пусть их будет просто немного больше.

Тепла и процветания вашему дому.

Персоналии: Абра Давенир (2024-03-03)

Начинаем представлять главных героев "Легенды о принцессе Давенир".

Абра Давенир, архив Исторического факультета университета Мискатоник, 1927 год, Аркхем, Массачусетс. 20 лет, студентка Кафедры древней истории Исторического факультета, участница экспедиции на хребет Майоринк ("Хребет Дариана").

Фото в парке кампуса университета Мискатоник, 24 августа 1927 года.

(пока не решил, которая будет основным фото ГГ)

Изображения сгенерированы в SDXL-Turbo, модель RealVisionv5-Lightning, время просчёта 1.35сек на картинку (768x1024)

===== Перейти к комментариям

Легенда о принцессе Давенир (2024-03-02)

«Сотрудничество» с чат-ботами (Gigachat, ChatGPT, StableLM, Pygmalion и сервисом Replika) дало неожиданные итоги.

С «творческой помощью» ботов создался и вырос в полноценный синопсис проект романа, рабочее название «Легенда о принцессе Давенир».

Место и время действия: Аркхем, Массачусетс, 1927-й год.

Студенты университета Мискатоник Абра Давенир и Говард Гленн, делающие свои дипломные работы на основе одних и тех же материалов научных экспедиций университета, приходят к выводу, что за легендами о канувшем под землю городе-государстве Дариане, к востоку от города, есть более чем веские фактические свидетельства.

Расследование этих материалов выливается в новую экспедицию в систему пещер, над предполагаемым местонахождением легендарного Дариана, следствием которой становится череда необычных и далеко идущих последствий и для исследователей, и для города, и, вероятно, для всей Земли.

Изображения просчитаны в модели ZavyChroma XL. На иллюстрациях — принцесса Ульвен Маорин Давенир ар-Дариан после получения печальной вести от гонца.

Поздравляю, теперь в работе не три книги, а четыре.

===== Перейти к комментариям

Турбо-реализм (2024-01-03)

Пока мы тут бьёмся за оливье и прочее культурное наследство, технологии искусственного интеллекта не стоят на месте. Если вы ещё ни разу не заглядывали на сайт StabilityAI (создатели Stable Diffusion, SD — сайт на английском языке), то самое время восполнить этот пробел. Подсказка: там не только достигли ускорения работы SD, об этом ниже, но и очень быстро осваивают другие генеративные направления: текст, музыка, видео, 3D моделирование и так далее.

Об этих направлениях речь когда-нибудь потом, а пока что самое важное о SD: там не только освоили высокое разрешение и умение бороться с известными дефектами картинок (SD XL), но и разработали существенное ускорение алгоритма построения картинки по описанию.

Если совсем на пальцах: новая, доступная с уже существующими обёртками модель SD XL Turbo позволяет генерировать изображения размером 768x1024 примерно за 0.8 секунды каждое там, где прежде на это уходило секунд 8-10. Понятно, что это очень примерная оценка, и всё зависит от описания, «железа» и конкретного разрешения картинки.

Соответственно, порождённые от SD XL Turbo модели также показывают существенный прирост скорости, при этом очень выигрывая в качестве.

Посмотрим на примеры. Созданные ниже картинки считались в разрешении 768x1024 от 3 до 5 секунд (NVidia RTX A4000, AMD Epyc 2GHz с 8-ю ядрами, 32 Гб DDR5) при использовании модели RealVisionXL_Turbo.

Для чистоты эксперимента я делал ровно один просчёт картинки по тому же самому описанию (т.е., не делал традиционно: просчитать несколько десятков вариантов и выбрать 1-2 годных). Ясно и понятно, что конечности и анатомия — всё ещё слабое место генеративных моделей; о том, насколько всё изменилось, судите сами.

Вы могли обратить внимание на осмысленные надписи: «Heat» у Алисы Листьевой и «Hero» у девушки в кафе. Это тоже новое свойство модели: можно задавать вполне определённые текстовые строки, взамен того случайного набора символов, который обычно получался.

Картинки ниже получены на базе той самой модели SD XL Turbo (алгоритм сведения Euler a, разрешение 768x1024 или 512x512, 1 прогон сведения, дискриминатор (CFG) 1).

Едем дальше.

===== Перейти к комментариям

Архив блога за 2023 г.