Carregando Post...

Em um mundo de IA generalizada, o teste será um pesadelo e as métricas serão fundamentais

A grande quantidade de dados disponíveis hoje exige que as empresas automatizem e tomem mais decisões com inteligência artificial

 

As incursões da inteligência artificial na empresa são alimentadas pela disponibilidade de dados mais diversos. Mais dados interessantes estão disponíveis em volumes maiores porque o número de sistemas, aplicativos, processos e interfaces que foram instrumentados está aumentando. Esta disponibilidade de dados leva as empresas a uma fase sem precedentes de automação empresarial.

Nesta fase, as empresas integrarão mais decisões preditivas em seus processos. Essas decisões serão alimentadas por um ou mais modelos AI. A tomada de decisão probabilística provará ser uma enorme benção para a empresa. No entanto, a introdução da tomada de decisão probabilística desencadeará um novo nível de qualidade e testes de desafios para a empresa. Forçará uma mudança acentuada em como o setor executa garantia de qualidade e como as métricas de teste são projetadas e geradas.

Novas considerações de qualidade

Os mesmos dados, vários cenários de AI

Nesse cenário, o mesmo conjunto de dados é usado para alimentar modelos AI em vários problemas e cenários empresariais. Um único conjunto de dados pode conter vários sinais incorporados. Diferentes cenários de AI podem alavancar esses sinais incorporados para gerar diferentes tipos de probabilidades e resultados.

Os mesmos dados, vários modelos, o mesmo cenário de AI

Nesse cenário, os mesmos dados são usados ​​para gerar vários modelos de AI usando diferentes técnicas de AI para gerar o mesmo cenário de AI / problema de negócios. Diferentes algoritmos e técnicas alavancam os sinais incorporados e a estrutura dos dados de diferentes formas para produzir modelos AI que, consequentemente, podem se comportar de forma muito diferente.

PUBLICIDADE

Dados transformados, múltiplos cenários de AI

Nesse cenário, um conjunto de dados é transformado através de vários mecanismos ETL para gerar cenários / problemas empresariais de AI muito diferentes. A transformação dos dados pode variar entre os seguintes:

·         Amostragem: um subconjunto do conjunto de dados é alavancado onde o subconjunto pode ser mas não precisa ser gerado aleatoriamente.

·         Filtragem: o conjunto de dados de treinamento foi projetado para incluir ou excluir certos tipos de linhas ou sinais.

·         Projeções: o conjunto de dados de treinamento foi projetado para incluir um subconjunto de atributos disponíveis no conjunto de dados.

·         Agregações: o conjunto de dados de treinamento é construído através de agregações, em um determinado conjunto de atributos ou ao longo do tempo.

·         Derivações: o conjunto de dados de treinamento é construído através de uma ou mais transformações de nível de atributos, como string para inteiro, inteiro para categorização, binning, etc.

Correntes de margarida AI

Nesse cenário, vários modelos de AI são criados e estão conectados entre si, quer digitalmente, quer através de uma conexão analógica, humana. Por exemplo, os usuários podem usar a saída de um modelo AI para determinar um resultado. Eles podem inserir o resultado em um fluxo de trabalho de negócios e potencialmente um segundo modelo de AI, ou uma pessoa pode usar o resultado do primeiro modelo de AI para determinar o próximo resultado. Nesse cenário, a qualidade do resultado do segundo modelo de AI pode variar de acordo com a qualidade do primeiro resultado do modelo AI.

Testando as melhores práticas

Mapa de transformação de dados em toda a empresa

As empresas precisam garantir que eles criem e mantenham um mapa completo e abrangente de transformação de dados em toda a empresa. Este mapa de transformação de dados em toda a empresa deve descrever como os dados são retirados de fontes de dados brutas, transformados e alimentados em modelos AI.

Ter um mapa de transformação de dados em toda a empresa torna fácil e sem costura determinar a proveniência dos modelos AI. Isso é necessário para determinar o impacto dos problemas de qualidade de dados a montante para o modelo AI e nos fluxos de trabalho comerciais que o modelo AI impacta.

Processamento semântico de transformação de dados

As empresas também precisam investir para analisar de forma operacional e semântica suas transformações de dados. O perfil de dados semânticos pode determinar os padrões no conjunto de dados de saída e sua estrutura que é gerada após as transformações de dados serem aplicadas a um conjunto de dados brutos.

Determinar esses padrões na versão transformada dos dados pode ser usado para perfilar uma técnica de transformação de dados. Quando os erros nos dados ou nas suas técnicas de transformação mudam o perfil da transformação de dados, os alertas podem ser gerados e o impacto na qualidade dos modelos a jusante da IA ​​pode ser estimado.

Restrições de teto e chão em correntes de margaridas AI

As empresas devem investir em recursos de fluxo de trabalho de AI que permitem restrições de teto e chão no uso da saída de um modelo de upstream AI em um fluxo de trabalho de negócios a jusante. Além disso, essas restrições devem ser configuráveis ​​e superáveis ​​ao serem monitoradas de perto para garantir que o consumidor da saída de um modelo upstream AI seja capaz de entender e usar com sucesso o resultado.

Métricas de teste AI

As disciplinas de teste corporativo precisam investir em métricas de teste AI que são capazes de determinar e testar meticulosamente a qualidade de transformações individuais ou de modelos individuais, mas a qualidade de fluxos de trabalho corporativos desenvolvidos por AI. Além das métricas de teste de baixo nível, as métricas de teste precisam incluir a medição de se todo o fluxo de trabalho de negócios orientado por AI está cumprindo seus objetivos e requisitos do cliente.

Dada a natureza preditiva dos fluxos de trabalho orientados por AI, a determinação de uma falha ou resultados subóptimos pode não ser evidente até que todo o fluxo de trabalho tenha sido concluído. As métricas de teste e os sistemas que coletam os dados e geram essas métricas de teste precisam ser instrumentados para coletar o resultado final do fluxo de trabalho do negócio para definir e fornecer métricas de teste abrangentes e determinações de qualidade.

Comentários

Deixe um Comentário

Posts Recentes

20/Dezembro/2017

Seis maneiras fáceis de...

20/Dezembro/2017

Do design orientado por...

20/Dezembro/2017

Em um mundo de IA...

Categorias


Onde Proeminente Sistemas está? clique no mapaFechar Mapa

Entre em Contato com a Proeminente Sistemas

Escreva para Proeminente Sistemas para trocar algumas ideias!

Telefone

(24) 9972-6790

Email

proeminente@proeminente.com.br

Localização

Rio de Janeiro