Como usar o ControlNet no SeaArt.AI para gerar imagens a partir de uma referência

Ao entrar no ControlNet ele apresenta-nos várias possibilidades de processamento

 da imagem nesta galeria, com uma breve explicação do que permitem fazer.

O ControlNet pode extrair informações como contornos, composição, postura de personagens e profundidade de imagens de referência fornecidas pelos usuários, aumentando consideravelmente a capacidade de controle de imagens geradas por IA, pois estamos a orientar uma base de trabalho que é uma imagem. Vamos entrar no site oficial do SeaArt.AI. Depois vamos entrar em AI Painting (Área de criação) e depois em CRIAR,  escolher ControlNet, no lado direito.

Examinemos as opções do lado direito.

 • Caixa de upload de imagem, ao centro- aqui, você pode fazer upload da imagem de referência de 3 maneiras diferentes: solte a imagem diretamente, clique para fazer upload e a partir do URL. Vou usar uma imagem minha, que estava na área pessoal.

•Modelo a escolher: a lista é vasta

•Modelo LoRa: vários podem ser usados e atribuido um peso variável à sua influência

• ControlNet - o interruptor para habilitar a função ControlNet é laranja e clicando nele abre um Menu:

 - Pré-processador - extrai as características da imagem da imagem de referência
 - Controlador de modo - equilibrado, maior força é dada à prompt, maior força é dada ao ControlNet (modelo e processador)

- Peso do Controlador- quanto maior o número escolhido, maior a força da imagem original.

Configurações básicas- as habituais

Configurações avançadas - são as habituais

Vejam. aqui já subi a minha imagem e houve alterações. A prompt aparece preenchida. 

Usei o Realistic para criar esta imagem, esperava que ele aparecesse selecionado, 

mas  não foi esse que apareceu. Vou escolher o RevAnimated. 

As dimensões também  foram preenchidas. Talvez seja bom manter as mesmas. (?)

Posso aceitar  a "leitura" que o AI fez ou ajustar a prompt. Vou ajustar, tem muita repetição.

Vejam isto. Curiosamente aparece a indicação "inspirado em John F. Peto" . Fui ver quem foi Peto e encontrei a sua foto. Ele foi um pintor de Filadélfia e morreu em 1907. Pedi um período histórico preciso, 1920, o AI não entendeu. Não é relevante que tenha falhado, a moda masculina manteve-se, mas podia ser. Eis Peto, sentado numa cadeira. Não esqueçam que os modelos treinaram em fotografias - e daí a grande polémica sobre os direitos dos autores -  e o que criam tem uma base algures.

Escolhi o hed_safe no ControlNet e quanto ao resto deixei como estava. 

Eis o resultado. A máquina porduz 4 imagens muito semelhantes mas refinadas. 

A coerência do assunto inicial é mantida. 

Agora acontece algo que não sei explicar. Voltei a subir a mesma imagem no ControlNet. Cliquei em Análise Inteligente para obter a Prompt. Algumas informações são diferentes daquilo que obtive anteriormente. Porquê? Será sempre assim?

De novo não aparece o modelo que usei para gerar a imagem, aparece este, AbissOrangeMix2- Hard + LoRa. A razão disso? Não faço ideia. Vou aceitar a sugestão e ver o que sai. Eis o resultado:

As imagens seguem todas esta tonalidade azulada mas duas não são 

coerentes nos detalhes. Esta foi a que resultou mais equilibrada. 

Comparem a diferenças deste par de imagens com a imagem original, de tom sepia.

Muito interessante, não é? Mas as mãos...

Mas, afinal, o que se propunha fazer o ControlNet hef_safe por mim escolhido?

Aqui está:

Vamos agora ver como se comporta o Reference Only que prometer gerar imagens similares aquela que eu subir quanto a personagens, papéis, objectos, e outros elementos. Este gatinho aparece em várias podes e sempre com a mesma capa de chuva amarela.

Agora, no Controlnet,  escolhi Reference-only. Subi uma imagem que gerei anteriormente: a imagem Rei Luis XVI a comer gelado. Descubro agora em quem o AI se inspirou para compôr o Rei: em diversos auto-retratos de pintores! Jean-Baptiste van Loo, John Singleton Copley, e outros. Que comédia! Apenas como curiosidade aqui fica o retrato que o pintor Antoine-François Callet pintou do rei:

E agora a versão que o AI nos deu de Luis XVI. 

Qual deles preferem?

LOL!

Vou deixar aqui as Prompts:

Rei Luis XVI de França, (((solo))) sentado à mesa, segurando um gelado na mão esquerda, artsation, pintura digital, high quality, 8k, 

Tive o cuidado de incluir a prompt negativa um extra a ver se deixam de aparecer colheres na boca!

lado a lado, duplicado, vários homens, rosto deformado, rosto mal desenhado,  sem colheres enfiadas na boca, mãos mal desenhadas, mãos mutantes, mais de cinco dedos na mão, dedos extra, membros amputados, braços extra, pernas extra,  desfigurado, deformado, má anatomia, baixo contraste, subexposto, superexposto, má arte, desfocado, rascunho, granulado, NSFW, nudes, nu, sexy,

Estou a usar o Modo Padrão e o Modelo RevAnimated.

A geração das imagens  é mais lenta do que habitual.

Apareceu um Controlador de estilo. Se a imagem de referência for muito rica em 

detalhes, creio que temos de aumentar a força do Control para que siga as referências.

Eis o resultado:

As colheres/palitos/cigarros deixaram de aparecer penduradas na boca do rei (LOL) mas, em contrapartida, o AI está com muita dificuldade em acertar no número de dedos que os humanos têm em cada mão! Hilário! Gostei que tivesse sugerido vários tipos de roupa, vários tipos de corte de cabelo, até a expressão mudou um pouco.

Decidi ainda testar o Scribble_head, mas usando um desenho que fiz talvez nos anos 90. Saquei-o de um blogue, com baixa resolução, ainda o levei ao Photoshop para aumentar o canvas e tornar o traço mais negro, pois mal se via. Depois subi no ControlNet sem saber bem o que esperar.  

Penso que usei o RevAnimated e um LoRA, mas não tomei nota, 

pelo que não vos posso dar essa informação.

Esta imagem foi a que gostei mais, mas é um pouco confusa para meu gosto.

Depois mudei os modelos para ver se conseguia um resultado mais clean.

Escolhi o RevAnimated+LoRA (Mas já não sei qual foi).

O resultado muda completamente e mudaria ainda se eu atribuisse mais ou menos 

peso ao LoRA, podia ficar aqui por horas a testar, a testar, isso é um problema!

Estas imagens não foram submetidas a nenhum upscale para melhorar a sua definição, 

são apenas prints que eu retiro da tela, não têm a qualidade que podiam ter. 

Decerto não as usarei e por isso não preciso de as "escalar" o que as tornaria públicas.

Eis o ControlNet que foi usado nos dois casos e a sua promessa.

Para o fim, escolho o OpenPose_full.  O que permite fazer? Manter a pose de uma personagem,

mas mudar o resto, o vestuário, o cenário, etc. 

Resta saber setambém mantém o mesmo rosto, como ali se vê, na imagem modelo.  

Esta foi a fotografia de referência. A cara do homem está tapada por uma máscara e daí talvez a dificuldade em criar feições definidas. As mãos também estão sofríveis. Não creio que tenha escolhido a foto ideal, mesmo se apenas queria fazer um teste!

Esta funcionalidade usa-se como as anteriores no ControlNet.

Escrevi a Prompt, depois os modelos, ajustei as configurações, etc.

A foto de referência foi encontrada via Pexles, um local onde podemos ir burcar fotografias

sem infringir direitos. Leiam sempre as licenças de utilização de fotos.

Espero tê-los conseguido entusiasmar com as potencialidades do ControlNet para a criação de imagens a partir de referências. Há mais para mostrar, mas por agora já chega!

Reparem que se eu treinar um modelo com os meus desenhos e pinturas e o subir no SeaArt.AI posso desenhar apenas um esboço, fotografar com o telemóvel esse esboço, subir no Controlnet, escolher o modelo treinado por mim e ferramenta adequada do Controlnet e  em segundos o trabalho fica pronto. As possibilidades são vastas e, neste caso, terei um enorme controlo sobre o que estou a produzir, ou seja, ganho um verdadeiro assistente AI para me ajudar no meu fluxo de trabalho. Se é possível obter algo com qualidade a toda a prova, coerência e sentido, só TESTANDO. Sigam este link para se juntarem a mim no SeaART.AI, vale a pena conhecer esta tecnologia.