Nenhum sistema é completamente isento de riscos, mesmo que insignificantes. Os sistemas de IA não são exceção. No entanto, com o aumento da automação e da tomada de decisões baseadas em IA, um desempenho ruim pode afetar vidas. É por isso que uma governança responsável da IA é tão importante — não apenas para a segurança, mas para permitir o uso ético e responsável da IA em todos os setores.
O que é governança de IA?
Governança de IA refere-se aos padrões, processos e proteções para iniciativas de IA éticas e sem riscos.
Por que é necessário? A inteligência artificial é construída usando aprendizado de máquina (ML) por meio de algoritmos projetados por humanos. Como tal, eles são suscetíveis a erros humanos, bem como a vieses. As práticas de governança de IA são projetadas para reduzir a ocorrência dessas falhas que se infiltram no seu sistema e afetam seu desempenho.
Elas também ajudam você a se preparar e corrigir quaisquer riscos de segurança ou outras falhas que possam afetar seu sistema. Essas diretrizes se sobrepõem à governança de dados, garantindo que seus dados de treinamento sejam limpos, bem documentados e usados de forma justa.
Em resumo, os princípios de governança de IA fornecem o modelo para o desenvolvimento e a implantação de sistemas de IA nos quais você e seus usuários podem confiar.
Por que implementar estruturas de governança de IA responsáveis?
Com chatbots de IA generativa (ou GenAI) como o ChatGPT, o risco são alucinações que resultam em respostas erradas. A desinformação, embora indesejável, dificilmente afetará negativamente a vida ou o sustento do usuário.
No entanto, a IA também está sendo usada para outros propósitos e está se mostrando muito útil.
Uso da IA em situações de vida ou de subsistência
A IA está sendo usada na área da saúde como ferramenta de diagnóstico. Ao contrário dos médicos humanos, que geralmente estão sobrecarregados e sujeitos a erros humanos, os diagnosticadores de IA podem se concentrar apenas nos fatos.
Por exemplo, a IA pode ser assustadoramente precisa na determinação da personalidade de uma pessoa. probabilidade de sofrer um ataque cardíaco nos próximos cinco anos simplesmente examinando imagens de seus olhos.
Outras ferramentas podem analisar radiografias, tomografias e relatórios para fazer diagnósticos iniciais, que o médico humano pode então verificar. Robôs também estão sendo usados para microcirurgia e podem ser parcialmente automatizados com IA.
A tecnologia inteligente não está ajudando apenas as pessoas em hospitais. Alto-falantes inteligentes que ficam em sua casa podem potencialmente detectar ataques cardíacos. Eles também estão sendo avaliados como um ferramenta de saúde mental para os idosos e enfermos que vivem sozinhos.
Ou recursos inteligentes em seu carro que irão ligue para os serviços de emergência em caso de acidente e informá-los sobre a gravidade dos ferimentos. Como esse chamado será feito em até sete segundos após o acidente, o socorro pode chegar muito mais rápido e muito mais bem preparado.
Falando em automação veicular, como não falar de carros autônomos? Embora os veículos autônomos ainda não sejam totalmente seguros, carros modernos podem assumir vários processos dos motoristas, tornando-os mais seguros. Uma vez confiáveis o suficiente, dirigir se tornaria mais acessível, já que até mesmo pessoas que não sabem dirigir poderiam usá-los.
Outro campo em que a IA está tornando o trabalho mais fácil e rápido é recursos Humanos. Vários dos aspectos mais demorados e tediosos das responsabilidades de RH podem ser transferidos para uma solução inteligente com tecnologia de IA, incluindo a triagem de candidaturas a empregos.
Como você pode ver, as tecnologias inteligentes estão tornando diversos setores mais eficientes e confiáveis. No entanto, essa confiabilidade só é possível por meio de práticas responsáveis de IA.
Riscos operacionais enfrentados pelos sistemas de IA
Como mencionamos antes, qualquer solução construída por humanos corre o risco de internalizar preconceitos humanos, seja intencionalmente ou não.
Por exemplo, houve um caso de preconceito racial contra um algoritmo médico que foi projetado para avaliar quais pacientes precisavam de mais cuidados. Ele tomou sua decisão com base em custos de saúde como um proxy para necessidades de saúde.
A suposição feita ao projetar o algoritmo foi que as pessoas que gastam mais com assistência médica devem estar mais doentes e, portanto, precisam de cuidados mais intensivos.
A suposição feita ao projetar o algoritmo foi que as pessoas que gastam mais com assistência médica devem estar mais doentes e, portanto, precisam de cuidados mais intensivos.
Na realidade, os brancos eram mais propensos a procurar atendimento médico mais cedo e com mais frequência. Isso significava que sua condição estava mais bem controlada do que a dos negros, que, por uma série de razões, eram menos propensos a procurar intervenção médica para suas condições. Como resultado, ficavam mais doentes e precisavam de mais cuidados.
Embora a lógica usada para projetar o algoritmo parecesse sólida no papel, ela saiu pela culatra porque se manifestou na forma de preconceito racial e tomada de decisões inadequada.
Da mesma forma, sabe-se que as aplicações de IA para recrutamento discriminam com base no gênero ou raça percebidosA Amazon teve que descartar sua ferramenta de recrutamento, pois ela favorecia os homens, já que seus dados de treinamento eram extraídos de um setor predominantemente masculino. Ela "presumia" que os homens eram mais adequados para determinados cargos.
A empresa-mãe do Facebook, a Meta, foi acusada de se envolver em “publicidade discriminatória em violação à Lei de Moradia Justa (FHA)”. A alegação era de que seu “sistema de publicidade imobiliária discrimina os usuários do Facebook com base em raça, cor, religião, sexo, deficiência, situação familiar e nacionalidade”.
Esses resultados podem afetar a vida das pessoas. Onde um chatbot com defeito pode fornecer informações incorretas, um carro autônomo com defeito pode matar. Um diagnóstico ruim pode levar ao atraso no tratamento, o que pode piorar o problema de saúde.
Outros riscos de IA representados por sistemas de IA
Até agora, a maioria dos riscos que discutimos advém de decisões ruins tomadas por um sistema de inteligência artificial. No entanto, existem outros riscos — riscos que podem afetar o seu negócio.
Riscos de segurança
Sistemas de IA, especialmente em aplicações do mundo real, são vulneráveis a ataques que comprometem o desempenho ou a privacidade do usuário. Aqui estão alguns deles:
- Exemplos de adversários: Pequenas e imperceptíveis modificações de entrada (por exemplo, em uma imagem ou clipe de som) podem enganar a IA, fazendo-a tomar decisões incorretas.
- Ataques de envenenamento: Dados maliciosos inseridos em conjuntos de dados de treinamento podem corromper o modelo, fazendo com que ele se comporte de maneira imprevisível.
- Ataques de inversão de modelo: Os invasores podem reconstruir dados confidenciais (por exemplo, registros médicos, rostos) a partir da saída ou dos gradientes do modelo.
- Ataques de inferência de associação: Os hackers podem determinar se um registro específico fazia parte do conjunto de dados de treinamento — uma séria preocupação de privacidade.
- Exfiltração de dados via APIs: Consultas repetidas às APIs públicas de IA podem ser usadas para recriar o modelo ou extrair conhecimento proprietário.
- Roubo de Modelo (Roubo de Funcionalidade): Concorrentes ou invasores podem copiar a funcionalidade do modelo observando os resultados ao longo do tempo.
Comportamento de caixa preta
Esta é outra maneira de dizer "falta de explicabilidade" em sistemas de IA. Alguns modelos, particularmente sistemas de aprendizado profundo, tomam decisões sem um raciocínio claro e compreensível. Se você não entende a lógica por trás das decisões de um modelo, não pode ter certeza se ele utilizou critérios legal ou eticamente aceitáveis.
Há também casos extremos, em que a justificativa para um resultado pode estar completamente oculta. Certas regulamentações de privacidade, como o GDPR, dão aos consumidores o "direito à explicação", no qual você deve ser capaz de defender uma decisão tomada pela sua organização, mesmo que tenha sido tomada por uma solução de IA. Se você não conhece o "processo de pensamento" do seu modelo, é altamente improvável que consiga justificá-lo.
E assim, você teria uma violação de privacidade em mãos.
Overfitting e Generalização Pobre
Um risco comum com sistemas de IA é que eles têm um bom desempenho com dados de treinamento, mas não conseguem generalizar para novos dados do mundo real. Isso pode levar a falhas operacionais quando o modelo é implantado.
Um exemplo é a mudança de domínio, que é uma alteração na distribuição dos dados de entrada entre os ambientes de treinamento e implantação. Nesse caso, o modelo é treinado usando dados de uma configuração, o que significa que não funciona tão bem em uma configuração relacionada, mas diferente.
Por exemplo, se uma ferramenta de IA médica fosse treinada com informações de hospitais americanos em grandes cidades, ela poderia não ter um desempenho tão bom em hospitais rurais. A demografia dos pacientes, os equipamentos e a prevalência de doenças nesses dois cenários são muito diferentes para que ela possa tomar decisões válidas.
Outra causa é o overfitting, em que o modelo se ajusta muito finamente aos dados de treinamento — incluindo padrões ou ruídos irrelevantes — e apresenta baixo desempenho com novos dados. O overfitting é especialmente provável ao usar conjuntos de dados de treinamento limitados ou com ruído, ou quando o modelo é excessivamente complexo para o problema.
Desvio e decaimento do modelo
Os sistemas de IA podem se tornar menos eficazes com o tempo, à medida que as condições do mundo real mudam. A deriva de dados ocorre quando mudanças nos padrões de entrada de dados levam a uma degradação no desempenho do modelo. Por exemplo, digamos que seu sistema foi treinado com dados utilizando os padrões de compra dos clientes na loja. Agora que eles usam mais aplicativos móveis e compras online, o sistema pode não ser capaz de prever os padrões de compra com muita eficácia.
Desvio de conceito ocorre quando a relação subjacente entre os pontos de dados muda ao longo do tempo. Por exemplo, indicadores de fraude podem evoluir com o tempo, mas o modelo não é alterado para corresponder a isso.
Se você não tiver ferramentas para detectar ou corrigir desvios precocemente, sua solução de IA pode não fornecer resultados tão precisos quanto quando foi desenvolvida.
Uso indevido ético ou uso duplo
Ferramentas de IA podem ser exploradas de maneiras prejudiciais, intencionalmente ou acidentalmente.
- Excesso de vigilância: Reconhecimento facial usado para monitoramento em massa ou direcionamento de grupos minoritários.
- Deepfakes: Vídeos falsos realistas usados em desinformação política, pornografia de vingança ou fraude de representação.
- Sistemas de pontuação social: Sistemas automatizados que classificam pessoas com base em comportamento ou conformidade (por exemplo, em crédito, policiamento).
- IA para armas autônomas letais: Uso de IA em drones ou armas que tomam decisões de abate sem intervenção humana.
- Policiamento Preditivo: IA que tem como alvo certos bairros ou grupos desproporcionalmente, reforçando a desigualdade estrutural.
Viés de automação e dependência excessiva de humanos
Ao utilizar sistemas semiautomáticos ou totalmente autônomos, os operadores podem se tornar complacentes. Podem depender demais da IA ou perder suas habilidades por não exercê-las o suficiente.
Como os operadores confiam demais no sistema, eles podem não intervir (ou possivelmente não intervir rápido o suficiente) quando o sistema apresenta mau funcionamento.
Responsabilidade e Incerteza Jurídica
Mesmo com o sistema mais rigorosamente projetado, as coisas podem dar errado. A falta de funções e responsabilidades claramente definidas pode resultar em atrasos e complicações quando algo dá errado.
E há muita coisa que pode dar errado. Se você usa ferramentas de IA internacionalmente, precisa garantir que elas atendam aos requisitos legais inconsistentes. Sem um ponto de contato de responsabilidade claramente definido, você pode ter dificuldade em atender aos requisitos de privacidade, segurança e explicabilidade previstos em leis como a GDPR, CCPA, HIPAA, ou o Lei de IA da UE.
A auditoria de algoritmos proprietários também é difícil em produtos de caixa preta, o que é outra exigência dessas leis.
Preocupações ambientais e de sustentabilidade
Treinar e manter grandes modelos de IA consomem uma quantidade enorme de energia. Se você estiver expandindo exponencialmente, poderá estar forçando os limites de infraestrutura e clima. Além disso, as atualizações de hardware necessárias para esse crescimento contribuem para o crescente problema do lixo eletrônico.
O uso responsável da IA pode reduzir seus riscos
A governança da IA não é apenas um conjunto de políticas a serem verificadas durante o desenvolvimento — é um sistema proativo para identificar, reduzir e gerenciar riscos em todo o ciclo de vida da IA.
Veja como ele pode mitigar os riscos que seus sistemas de IA enfrentam.
Reduzindo o preconceito e a discriminação
Estruturas de governança de IA reduzem o risco de resultados injustos por meio da implementação de auditorias de imparcialidade. Essas salvaguardas previnem danos a populações vulneráveis e protegem sua organização de consequências legais e de reputação.
Prevenção de falhas de segurança
Verificações regulares de segurança e vulnerabilidades são um requisito das estruturas de governança. Os sistemas também devem ser monitorados quanto a comportamentos adversos. Essas estruturas exigem o tratamento responsável de dados para proteger contra inversão de modelos, vazamento de dados ou roubo por meio de APIs.
Melhorando a transparência
Estruturas de governança de IA responsáveis e eficazes promovem políticas de documentação, rastreabilidade e explicabilidade desde o início. Dessa forma, evitam o desenvolvimento de situações de caixa-preta desde as etapas de treinamento. Como resultado, você mantém a conformidade com as leis de privacidade e constrói a confiança do usuário, permitindo a supervisão humana.
Monitoramento de desvio
Acompanhar de perto o desempenho do modelo de IA é uma parte importante dos princípios de IA responsável. Como você monitora os resultados, quaisquer desvios de dados ou conceitos podem ser detectados e corrigidos antes que comecem a afetar os resultados do modelo.
Promovendo a Robustez
A governança responsável promove modelos de teste em ambientes diversos e incentiva técnicas para reduzir o overfitting. Também apoia práticas como:
- Validação cruzada
- Avaliação de trade-off de viés-variância
- Teste de estresse em condições do mundo real
Elas ajudam a evitar falhas devido à mudança de domínio ou generalização fraca.
Proteção contra o uso indevido de ética
Com pontos de verificação de revisão ética, avaliações de impacto e limites claros para casos de uso, a IA responsável garante que a IA esteja alinhada aos valores da sua empresa e às expectativas sociais mais amplas.
Mitigando o viés da automação
A governança responsável promove o design com foco no ser humano, capacita os usuários a interpretar os resultados da IA de forma crítica e exige recursos de substituição para sistemas automatizados. Isso reduz o risco de dependência excessiva ou complacência, especialmente quando sistemas de IA são usados em ambientes operacionais como aviação, saúde ou transporte.
Esclarecendo a responsabilidade e a conformidade legal
As estruturas de governança definem:
- Quem é responsável por quê
- Quem audita o quê
- E como a conformidade é mantida em todas as jurisdições.
Isso facilita o cumprimento das obrigações do GDPR, HIPAA, Lei de IA da UE e outras estruturas — e a resposta rápida quando algo dá errado.
Incentivando a Responsabilidade Ambiental
As organizações estão cada vez mais integrando a sustentabilidade aos seus modelos de governança. Elas estão medindo o uso de computação, preferindo arquiteturas com eficiência energética e adotando práticas de implantação sustentáveis. Governança responsável significa escalar a IA sem aumentar desproporcionalmente sua pegada de carbono.
Estruturas de Governança de IA
Implementar uma IA responsável não envolve apenas boas intenções — trata-se de ter sistemas concretos para garantir que sua IA se comporte de acordo com os valores, obrigações legais e metas operacionais da sua organização.
As estruturas de governança de IA fornecem uma abordagem estruturada e repetível para definir como os sistemas de IA devem ser projetados, construídos, implantados, monitorados e desativados de forma responsável.
O que uma estrutura de governança deve incluir?
Uma estrutura de governança de IA responsável deve ser prática, repetível e adaptada ao contexto da sua organização. Aqui estão os principais componentes que toda estrutura deve abranger:
- Princípios Orientadores: Valores fundamentais como justiça, transparência, responsabilidade e privacidade orientam como a IA é desenvolvida e usada.
- Estrutura de governança: Funções e responsabilidades claramente definidas garantem que a supervisão seja incorporada em cada estágio do ciclo de vida da IA.
- Protocolos de Avaliação de Risco: Verificações contínuas de preconceito, vulnerabilidades de segurança, conformidade legal e sustentabilidade reduzem a exposição a danos.
- Documentação e Rastreabilidade: Registros abrangentes de fontes de dados, decisões de modelo e escolhas de design dão suporte a auditorias e explicabilidade.
- Monitoramento e ciclos de feedback: O monitoramento contínuo e o feedback do usuário ajudam a detectar problemas como desvios do modelo e permitem atualizações oportunas.
- Controles humanos no circuito: Os humanos devem ser capazes de supervisionar, intervir ou substituir sistemas de IA em casos de uso críticos ou sensíveis.
- Transparência e engajamento externo: Compartilhar publicamente políticas e processos de tomada de decisão gera confiança com usuários, reguladores e partes interessadas.
Exemplos de estruturas de governança de IA responsáveis
Se você busca implementar ou se alinhar a uma estrutura de IA responsável, existem diversos modelos e ferramentas bem estabelecidos, utilizados por governos, órgãos de normalização e pelo setor privado. Cada um oferece uma perspectiva diferente sobre IA confiável, e muitas organizações constroem seus programas de governança usando uma combinação deles.
Estrutura de Gestão de Riscos de IA do NIST (AI RMF)
Lançado pelo Instituto Nacional de Padrões e Tecnologia dos EUA em 2023, o IA RMF é uma estrutura voluntária, mas amplamente adotada, para gerenciar riscos para indivíduos, organizações e sociedade.
Concentra-se na construção de sistemas de IA confiáveis por meio de funções como governar, mapear, mensurar e gerenciar. Um perfil de IA generativa foi adicionado em 2024 para lidar com riscos mais recentes.
Princípios de IA da OCDE
Adotados por 47 países (em 2024), estes foram os primeiros padrões intergovernamentais de IA e são amplamente utilizados como base para o desenvolvimento e a governança da IA em todo o mundo. Princípios de IA da OCDE promover a criação de sistemas de IA que sejam inovadores, confiáveis e alinhados aos direitos humanos.
Eles enfatizam justiça, transparência, robustez e responsabilidade, e são atualizados regularmente para refletir novos desafios, como IA generativa.
Lei de IA da UE
Finalizado em 2024, o Lei de Inteligência Artificial da UE é a primeira grande regulamentação horizontal de IA do mundo. Ela classifica os sistemas de IA em quatro categorias de risco — do mínimo ao inaceitável — e impõe regras mais rígidas para IA de alto risco, especialmente em saúde, recrutamento, aplicação da lei e serviços públicos. Também inclui requisitos de transparência, supervisão humana e monitoramento pós-implantação.
ISO/IEC 42001:2023 – Norma de Sistemas de Gestão de IA
Esse padrão internacional, publicado em dezembro de 2023, oferece uma abordagem estruturada de sistema de gestão para a governança de IA. Ele auxilia as organizações a implementar políticas, funções e processos para gerenciar os riscos de IA de forma alinhada aos padrões globais — especialmente útil para empresas que operam em diversas jurisdições.
Cartões de modelo e folhas de dados
Estas são ferramentas de documentação simples, porém poderosas, que melhoram a transparência e a responsabilização em IA. Os cartões de modelo resumem o propósito, o desempenho e as limitações de um modelo.
Enquanto isso, as planilhas documentam detalhes importantes sobre os dados de treinamento, incluindo como foram coletados e quaisquer vieses conhecidos. Originalmente desenvolvido pelo Google e amplamente adotadas na indústria, essas ferramentas ajudam as equipes a comunicar o uso responsável, dar suporte a auditorias e reduzir danos não intencionais.
Adotando princípios de IA responsável com BigID
O maior risco para a implantação de tecnologias de IA é o comprometimento de dados. Com o BigID, seus ativos de IA são mapeados, selecionados e protegidos. A plataforma permite uma governança eficaz que gera confiança na IA, tanto por parte dos seus usuários quanto das partes interessadas internas. Abasteça a IA responsável com BigID.
Autor
