Foi ótimo conversar com Aaron Kalb, co-fundador e chefe de produtos da Alation – uma plataforma de dados colaborativa empresarial que usa inteligência artificial (AI) e aprendizagem de máquinas (ML) para encontrar informações de valor e insights sobre metadados.
P: Quais são as chaves para obter informações de valor de metadados?
R: Comece por lidar com todos os seus ativos de dados. Muitas empresas não percebem onde residem todos os seus dados. À medida que os custos de armazenamento diminuem, o ruído dos dados prolifera e fica mais difícil encontrar o sinal. Os bons metadados abrem oportunidades para capacitar os funcionários para encontrar insights usando linguagem natural para tomar decisões empresariais mais informadas. Ajude seus funcionários a se concentrar em tarefas de nível superior versus coisas que um robô poderia fazer.
P: Quais são as mudanças mais significativas à medida que os metadados se expandem e evoluem?
R: as empresas estão começando a perceber quanto valor latente seus dados têm e expandiram sua visão de quais metadados são para incluir o contexto dos dados – quando e onde foi reunido e como as pessoas o usaram no passado. Ajudamos os clientes a analisar como os dados foram consultados e se juntaram. Este contexto fornece informações sobre as oportunidades futuras do que pode ser feito com os dados.
P: Quais são as soluções técnicas que você usa para analisar metadados?
A: o sucesso começa com a definição do problema do usuário e, em seguida, determina qual combinação de processamento de linguagem natural, aprendizado de máquina, AI inferencial ou mesmo crowdsourcing renderá o resultado desejado. É um processo de design antes do desenvolvimento.
P: Quais são os problemas do mundo real que você está ajudando seus clientes a resolver?
A: Como alocar o capital humano em uma enorme plataforma de comércio eletrônico com dez milhões de colunas de dados. Em uma pesquisa realizada, os resultados foram que centenas de tabelas de dados foram consideradas de igual importância e que havia uma única pessoa que era vista como perito residente. Nós entramos e realizamos uma análise profunda dos registros de consultas para ver a freqüência com que os dados foram usados e por quem. Identificamos 90 por cento das tabelas usadas por zero ou uma pessoa, os nove por cento que foram utilizados por duas a dez pessoas, e o um por cento utilizado por 11 ou mais pessoas, com o punhado superior usado muitas vezes mais do que os corredores – acima. Também identificamos peritos distintos para cada um dos conjuntos de dados. Este conhecimento permitiu que novos funcionários trabalhassem com dados para se orientar em uma semana versus seis meses.
P: Quais são os obstáculos mais comuns que você tem para ajudar os clientes a superar seus metadados?
R: mitigação de risco em indústrias altamente regulamentadas, como serviços financeiros e cuidados de saúde, onde possuem dados PII e PHI que não podem ser expostos. E otimização de receita em todos os lugares – ajudamos a fornecer uma visão de “olho de pássaro” dos dados e, em seguida, capacitamos os analistas de dados e cientistas a encontrar os dados que precisam através de pesquisas em linguagem natural enquanto protegem as partes confidenciais dos dados.
P: Qual o futuro do uso de AI em metadados?
R: Teremos sistemas que aprendem. Em indústrias altamente regulamentadas, como serviços financeiros e cuidados de saúde, a aprendizagem terá lugar dentro da empresa. Em outras indústrias, as empresas podem se beneficiar dos metadados uns dos outros. Os computadores já são capazes de fazer suposições educadas sobre se uma série de números são números de telefone, números de segurança social ou SKUs e melhorar com dados de treinamento e feedback humano. Estaremos aperfeiçoando a interação humana e informática para aprender mais rápido, estabelecendo decisões para os seres humanos que informem ao máximo os algoritmos e tenham impactos mais amplos.
P: Quais são as suas preocupações sobre a utilização de AI nos metadados?
A: uma preocupação é escolher cegamente uma técnica ao invés de usar a combinação certa para o problema em questão. A inteligência aumentada é muitas vezes superior à AI. Por exemplo, ao diagnosticar tumores, AI e humanos que trabalham de forma independente podem estar errados. Quando AI e humanos trabalham juntos, eles tendem a produzir resultados muito precisos. Outra preocupação é o treinamento de algoritmos e a interpretação de resultados sobre maus metadados. Por exemplo, um algoritmo treinado para prever de forma imparcial se uma pessoa em liberdade condicional irá re-ofender com base em dados históricos resultando em tendências racistas. Isso porque os dados de treinamento foram mal rotados sobre se o indivíduo ou não “cometeu um crime” quando o que realmente estava sendo medido era se o indivíduo foi preso e condenado. Existem vícios sistêmicos conhecidos nas taxas de prisão e convicção, de modo que o algoritmo estava perpetuando o sistema defeituoso.
Q: quais habilidades os desenvolvedores precisam usar a AI para agregar valor aos metadados?
A: use DZone e Stack Overflow, mas também compreenda algumas das teoria e ciência da computação. Aprenda os pontos fortes e fracos das ferramentas e os tipos de problemas que eles são mais adequados para lidar. Em vez de se perder nos diferentes formatos de metadados e diferentes algoritmos AI e ML, pense no que o usuário final precisa e trabalha para trás.
P: O que mais devemos considerar com relação aos metadados?
R: A comunidade de desenvolvedores está em uma ótima posição para ajudar futuros analistas. Seja amável com o seu futuro eu e futuros colegas; rotular e documentar para que outros possam seguir o que você fez e não tirar você do seu próximo projeto para explicar o que você fez neste.