No último ano numerosos eventos puideron gozar da tecnoloxía da compañía coruñesa ScanMeNow, proxecto que emprega unha cúpula con 105 cámaras sincronizadas e intelixencia artificial para crear modelos tridimensionais de persoas en apenas dous segundos, con aplicacións que van desde os eventos ata a produción virtual. Para saber máis desta iniciativa falamos cun dos seus fundadores, Manuel Meijide.
— Podes explicarnos de onde xurdiu a idea de ScanMeNow?
— ScanMeNow non nace dunha idea concreta, senón da nosa traxectoria. Levamos moitos anos traballando no ámbito da visualización e sempre buscamos afrontar novos retos. Hai un mapa medieval no que aparece a expresión latina hic sunt dracones («aquí hai dragóns»), que simboliza os territorios descoñecidos, e esa filosofía define moi ben a nosa forma de traballar. Interésanos chegar onde aínda existen limitacións e tratar de superalas, moitas veces recorrendo á imaxinación para compensar as restricións do hardware ou do software.
Estamos afeitos a ver infografías de edificios, escenarios, vehículos ou obxectos, pero o ser humano quedaba practicamente fóra dese ámbito. A razón é que, canto máis realista resulta unha representación dunha persoa, máis evidente se fai o chamado uncanny valley: se non reproduce exactamente a persoa real, provoca unha sensación de rexeitamento.
Os avances máis recentes en intelixencia artificial abriron a porta a afrontar ese desafío. A iso súmase a experiencia do meu socio, que leva anos traballando con vídeo volumétrico mediante outras tecnoloxías e conta coa maior biblioteca de personaxes en 3D e 4D do mundo. Comezamos a ver que existían os elementos necesarios para desenvolver unha solución sólida, totalmente fiel á realidade e, sobre todo, accesible. O noso obxectivo era democratizar esta tecnoloxía para que deixase de estar reservada ás grandes producións cinematográficas e puidese empregarse tamén desde un teléfono móbil convencional, sen necesidade de contar cun dispositivo de última xeración.
A evolución da tecnoloxía, a chegada da intelixencia artificial e técnicas como o Gaussian Splatting permitíronnos abordar este proxecto. Aínda que agora esteamos presentándoo ao mercado, levamos polo menos dous anos traballando intensamente no seu deseño e desenvolvemento.
— Cal é a implicación das distintas empresas? Trátase dunha joint venture ou dun proxecto completamente independente?
— Somos socios de dúas empresas principais e cada unha achega o seu know-how. Eles contribúen coa súa experiencia en escaneado volumétrico e nós cos desenvolvementos en intelixencia artificial, optimización gráfica e sistemas propios. O resultado é a integración de distintas tecnoloxías, moitas delas concibidas para usos diferentes, nunha única plataforma orientada a un mesmo obxectivo.
— En que consiste exactamente o dispositivo? Ese primeiro modelo baseado nunha cúpula de cámaras incorpora tamén hardware de procesamento?
— Detrás do sistema hai unha infraestrutura moi complexa que non se aprecia a primeira vista e que, de feito, foi a parte que máis tempo nos levou desenvolver. A cúpula fotográfica, coas súas cámaras e iluminación, é o elemento máis visible, pero detrás existe unha enorme cantidade de procesos. Todo o deseño estrutural, as certificacións, o hardware e o software son propios.
Quixemos crear unha solución totalmente independente de terceiros, porque iso permítenos evolucionar con liberdade. Hai que sincronizar 105 cámaras, que ademais non son equipos profesionais de miles de euros cada un, xa que iso dispararía o custo do sistema. Conseguimos que todas capten a imaxe cunha diferenza inferior a un milisegundo. Os datos almacénanse en microprocesadores integrados na propia cúpula e envíanse posteriormente a un servidor.
Desde o momento en que o usuario preme o botón ata que recibe a imaxe final, todo o proceso é completamente automático. Inclúe a limpeza dos datos xerados mediante Gaussian Splatting, a integración na escena definitiva e o resto das operacións necesarias, sen intervención humana. Ese era un requisito esencial para poder escalar a solución.
Na práctica, procesar 10.000, 20.000 ou 50.000 escenas non supón un problema para nós, máis alá da capacidade de procesamento, xa sexa na nube ou en infraestruturas locais.
Tamén dedicamos varios meses a desenvolver un sistema capaz de activar e desactivar automaticamente os nodos de procesamento na nube en apenas un segundo. Nun proxecto pequeno isto apenas ten impacto, pero cando se traballa con miles de escenas é imprescindible optimizar ese proceso para controlar con precisión os custos e escalar a infraestrutura ao número de nodos que sexa necesario. Na nube, iso non representa ningunha limitación.
— En principio, que parte do proceso se realiza na nube e cal se executa en local?
— En local limítase practicamente todo á captura das imaxes e á creación do proxecto da escena. A partir dese momento, todo o procesamento trasládase á nube, aínda que tamén pode realizarse en infraestruturas on-premise, segundo as necesidades de cada cliente.
Hai organizacións ás que non lles importa que os datos se procesen na nube, mentres que outras prefiren que nunca abandonen as súas instalacións. Un dos ámbitos nos que pensamos que esta tecnoloxía terá un gran percorrido nos próximos meses é o da seguridade. Ata agora era impensable crear un xemelgo dixital hiperrealista dunha persoa que ocupase apenas entre catro e cinco megabytes.
Este ano viaxamos un par de veces aos Estados Unidos e comprobamos que, cando accedes ao país, dispoñen de numerosos datos sobre ti, pero visualmente só gardan unha fotografía tomada cunha webcam. Se en apenas dous segundos es capaz de almacenar un xemelgo dixital completo dunha persoa ocupando só catro megabytes, ábrense posibilidades completamente novas.
En función do cliente, os usos tamén cambian. Nalgúns casos o obxectivo é simplemente mostrar unha escena en eventos, feiras, congresos ou oficinas de turismo. Noutros, como na produción virtual, o que buscan é integrar automaticamente ese modelo tridimensional no seu fluxo de traballo.
— Nas producións virtuais adoita ser necesario traballar con personaxes en movemento. Xa estades desenvolvendo esa capacidade?
— Si, e de feito xa a temos. Salvando as distancias, o proceso é semellante ao da fotografía e o vídeo. Un vídeo non deixa de ser unha sucesión de miles de fotografías. Aquí ocorre algo parecido: escálase un proceso moito máis complexo, pero a clave está en dispoñer dun pipeline adecuado.
Tamén xeramos vídeo. Non é un proceso inmediato, xa que require tratamento e procesamento, pero contamos con esa capacidade. O interesante é poder combinar ambas opcións.
Para o cine ou determinados eventos resulta imprescindible o vídeo. Pola contra, noutros casos, como un museo temático deportivo, pode ser moito máis eficiente combinar un personaxe cunha pequena animación mentres o visitante aparece como unha imaxe estática integrada na escena. Así, por exemplo, unha persoa pode escoller fotografarse no centro do campo dun estadio, na sala de trofeos ou no palco, acompañada do seu deportista favorito.
Se miles de visitantes tivesen que xerar escenas totalmente animadas, o custo sería enorme e o proceso resultaría pouco viable. En cambio, combinando elementos animados con outros estáticos conséguese practicamente o mesmo resultado cun esforzo moi inferior.
— Cara a onde estades orientando principalmente o negocio? Cara aos eventos de gran visibilidade ou a aplicacións máis discretas para empresas?
— Traballamos nas dúas direccións. A idea inicial era comezar polos eventos porque ofrecen unha gran visibilidade e permiten dar a coñecer a tecnoloxía. Pero, ademais, constitúen a mellor proba posible para comprobar como responde o sistema nun uso masivo.
Nun laboratorio ou nunha oficina todo parece funcionar perfectamente. O verdadeiro reto chega cando pasan pola instalación miles de persoas de perfís moi diferentes: nenos, persoas maiores, usuarios con distinta mobilidade ou con diferentes niveis de familiaridade coa tecnoloxía.
Esa experiencia serviunos para mellorar continuamente a interacción co usuario. Descubrimos que aspectos que para nós parecían evidentes non o eran para moita xente, especialmente para quen non está afeito a utilizar dispositivos móbiles. Esa aprendizaxe permitiunos simplificar o funcionamento e optimizar a experiencia de uso.
Ao mesmo tempo avanzamos noutras liñas de negocio, como a moda e o comercio polo miúdo. Xa colaboramos cunha gran marca internacional (situada moi preto de nós). Tamén vemos un enorme potencial nos museos, especialmente nos deportivos, así como nos grandes eventos relacionados co deporte.
Un dos nosos obxectivos é implantarnos nos Estados Unidos. Xa estivemos alí dúas veces este ano e volveremos antes de que remate. Alí o deporte vai moito máis alá do propio encontro. Un evento como a UFC convértese nunha experiencia de tres días en Las Vegas, durante os cales os asistentes buscan levar recordos exclusivos: carteis, sinaturas ou calquera outro elemento único.
Nese contexto, ofrecer unha experiencia personalizada encaixa perfectamente. Tamén vemos oportunidades en concertos, videoclips e producións cinematográficas. A incorporación da animación e dos contidos en 4D abre novas posibilidades e, ademais, continuamente aparecen novos casos de uso propostos polos propios clientes, que nos fan descubrir aplicacións nas que inicialmente non pensaramos.
O modelo de negocio tamén varía segundo o destino da instalación. Para eventos puntuais ofrecemos un servizo de alugueiro, mentres que museos, oficinas de turismo ou centros temáticos adoitan optar pola compra do sistema.
Os museos actuais xa non buscan que o visitante se limite a observar. O importante é participar na experiencia e, se ademais pode levar consigo un recordo personalizado, o valor multiplícase. Hai pouco estivemos no Real Madrid e comprobamos que o público quere precisamente iso: conservar unha lembranza na que o protagonista sexa el mesmo. Ter unha fotografía do estadio está ben, pero o realmente importante é aparecer nesa escena.
Paréceme comparable ao que ocorreu no seu momento coas fotografías das montañas rusas. A publicidade dos parques mostraba imaxes das instalacións, pero o que a xente acababa mercando era a fotografía tomada no instante exacto da baixada. Non destacaba pola súa calidade artística, senón porque recollía un momento único vivido por esa persoa. Iso é o que buscamos con ScanMeNow: crear experiencias irrepetibles que só poidan obterse estando presentes no lugar.
— Tedes previsto algún tipo de explotación comercial relacionada coa impresión 3D?
— É unha das liñas que estamos estudando, aínda que máis coa idea de buscar socios especializados que de asumila directamente nós. Iso si, non pensamos na impresión 3D convencional. Cos modelos que xeramos en ScanMeNow, capaces de reproducir con total fidelidade unha melena ou un tecido transparente, esa tecnoloxía non ofrece un resultado satisfactorio.
Como traballamos con Gaussian Splatting, xa estamos a manter conversas con distintas empresas para explorar unha impresión baseada nesta tecnoloxía. Aínda é un campo moi incipiente, pero permitiría conservar exactamente a mesma calidade que ofrece o modelo dixital.
Ademais diso, tamén estamos desenvolvendo aplicacións en realidade aumentada e realidade mixta, que permiten visualizar o personaxe en calquera espazo. A partir de aí ábrese un enorme abanico de posibilidades. Xa fixemos probas con lentes de realidade aumentada e, cando tes un avatar ao teu lado, resulta realmente complicado distinguir entre unha persoa real e unha recreación tridimensional.
O máis interesante é que permite vivir situacións imposibles doutro xeito: estar en lugares aos que nunca poderías acceder ou compartir espazo con persoas coas que nunca poderías coincidir. E, por primeira vez, o protagonista pasa a ser o usuario. Ata agora os recordos e os souvenirs situaban a persoa como un elemento secundario dentro da escena. Aquí sucede xusto o contrario.
Cando vou de vacacións gústame visitar lugares fermosos, pero o máis importante non é o lugar, senón con quen comparto esa experiencia. Iso reflíctese tamén no uso da plataforma. O 99 % das escenas que xeramos en ScanMeNow son fotografías de grupo. Case ninguén pide unha imaxe individual. Os nenos adoitan facerse unha foto cos pais e despois outra eles sós, pero o que realmente busca a maioría da xente é compartir ese momento cos demais.
— Comentabas antes a posibilidade de utilizar esta tecnoloxía en controis de seguridade.
— O noso obxectivo non é substituír os sistemas actuais de recoñecemento facial. O que facemos é capturar 105 imaxes de cada persoa. Esas fotografías serven para crear o modelo tridimensional, pero tamén poden empregarse en tarefas tradicionais de análise de imaxe, como xa se fai desde hai anos.
O seguinte paso consiste en desenvolver o concepto de xemelgo dixital para usos posteriores. Imaxina unha marca que inviste grandes cantidades nun patrocinio e só dispón dun deportista ou dunha celebridade durante dous ou tres días ao ano. Se nese tempo é posible crear un xemelgo dixital da persoa, con todas as garantías de seguridade, protección mediante blockchain e condicións de uso perfectamente definidas, as posibilidades multiplícanse.
En lugar de limitarse aos anuncios que poden gravarse durante esa breve colaboración, sería posible desenvolver campañas moito máis amplas nas que todos saian beneficiados: o protagonista, a axencia e a propia marca. Ese é o modelo de colaboración que buscamos, sempre aplicando o máximo rigor nun ámbito no que, lamentablemente, en moitas ocasións non se actuou coa responsabilidade necesaria.
— O sistema baséase actualmente nunha cúpula, pero sería posible aumentar o seu tamaño?
— Si. Todo o sistema é un desenvolvemento propio e xa estamos a traballar con clientes que necesitan espazos máis amplos para determinadas producións.
A cúpula actual deseñouse cun tamaño que permite transportala e instalala practicamente en calquera lugar, pero ao mesmo tempo ofrece espazo suficiente para grupos de seis ou sete persoas. Iso non impide que poidamos construír versións máis grandes.
Chegaron mesmo a propoñernos un pequeno túnel no que introducir un vehículo para xerar en apenas dous segundos un xemelgo dixital completo que puidese empregarse, por exemplo, na súa peritaxe.
Tamén estamos estudando versións reducidas de ScanMeNow destinadas á dixitalización de obxectos, como bolsos ou zapatos. A vantaxe de controlar tanto o hardware como o software é que podemos adaptar a tecnoloxía a cada aplicación sen depender de terceiros.
Sempre apostamos por empregar compoñentes relativamente sinxelos. Se utilizásemos cámaras profesionais de gama alta, o custo da instalación dispararíase ata varios millóns de euros, como ocorre con algúns sistemas fixos xa existentes, algo inviable para a maioría dos clientes.
Con todo, o resultado segue sendo plenamente válido. Hai que ter en conta que estamos a falar de 105 cámaras de 12 megapíxeles funcionando de maneira sincronizada, unha capacidade de captura máis que suficiente para obter un nivel de detalle extraordinario.
