Nenhum sistema está completamente isento de riscos, mesmo que sejam insignificantes. Os sistemas de IA não são exceção. No entanto, com o avanço da automação e da tomada de decisões baseadas em IA, um resultado ruim pode afetar vidas. É por isso que responsável Governança de IA É de suma importância — não apenas para a segurança, mas também para viabilizar o uso ético e responsável da IA em diversos setores.
O que é governança de IA?
A governança da IA refere-se aos padrões, processos e diretrizes para iniciativas de IA éticas e livres de riscos.
Por que isso é necessário? A inteligência artificial é construída usando aprendizado de máquina (ML) por meio de algoritmos projetados por humanos. Como tal, esses algoritmos são suscetíveis a erros humanos, bem como a vieses. As práticas de governança de IA são projetadas para reduzir a probabilidade de tais falhas se infiltrarem no sistema e afetarem seu desempenho.
Eles também ajudam você a se preparar e a remediar qualquer situação. riscos de segurança ou outras falhas que possam afetar seu sistema. Essas diretrizes se sobrepõem à governança de dados, garantindo que seus dados de treinamento sejam limpos, bem documentados e usados de forma justa.
Em resumo, os princípios de governança de IA fornecem o modelo para o desenvolvimento e a implementação de sistemas de IA nos quais você e seus usuários podem confiar.
Por que implementar estruturas de governança de IA responsáveis?
Com chatbots de IA generativa (ou GenAI) como o ChatGPT, o risco reside em alucinações que resultem em respostas incorretas. A desinformação, embora indesejável, provavelmente não afetará negativamente a vida ou o sustento do usuário.
No entanto, a IA também está sendo usada para outros fins e está se mostrando muito útil.
Uso da IA em situações da vida ou do sustento
A inteligência artificial está sendo usada na área da saúde como ferramenta de diagnóstico. Ao contrário dos médicos humanos, que geralmente estão sobrecarregados e propensos a erros humanos, os diagnósticos feitos por IA podem se concentrar exclusivamente nos fatos.
Por exemplo, a IA pode ser assustadoramente precisa na determinação da pessoa. probabilidade de sofrer um ataque cardíaco nos próximos cinco anos, simplesmente examinando imagens de seus olhos.
Outras ferramentas podem analisar radiografias, exames e relatórios para fazer diagnósticos iniciais, que o médico humano pode então verificar. Robôs também estão sendo usados em microcirurgias e podem ser parcialmente automatizados com o uso de inteligência artificial.
A tecnologia inteligente não está ajudando apenas pessoas em hospitais. Alto-falantes inteligentes que ficam em sua casa podem... potencialmente detectar ataques cardíacos. Eles também estão sendo avaliados como um ferramenta de saúde mental Para idosos e enfermos que vivem sozinhos.
Ou, recursos inteligentes em seu carro que irão Em caso de acidente, ligue para os serviços de emergência. e informá-los sobre a gravidade dos ferimentos. Visto que essa ligação será feita em até sete segundos após o acidente, o socorro poderá chegar muito mais rápido e muito melhor preparado.
Ao falar de automação em veículos, como poderíamos deixar de mencionar os carros autônomos? Embora os veículos autônomos ainda não sejam completamente seguros, Os carros modernos podem assumir o controle de vários processos. dos motoristas, tornando-os mais seguros. Uma vez que sejam suficientemente confiáveis, dirigir se tornará mais acessível, pois até mesmo pessoas que não sabem dirigir poderão usá-los.
Outro campo em que a IA está tornando o trabalho mais fácil e rápido é recursos HumanosDiversos aspectos mais demorados e tediosos das responsabilidades de RH podem ser transferidos para uma solução inteligente baseada em IA, incluindo a triagem de currículos.
Como você pode ver, as tecnologias inteligentes estão tornando diversos setores mais eficientes e confiáveis. No entanto, essa confiabilidade só é possível por meio de práticas responsáveis de IA.
Riscos operacionais enfrentados pelos sistemas de IA
Como já mencionamos, qualquer solução criada por humanos corre o risco de internalizar preconceitos humanos, seja intencionalmente ou não.
Por exemplo, houve um caso de preconceito racial contra um algoritmo médico desenvolvido para avaliar quais pacientes precisavam de mais cuidados. A decisão foi baseada em Custos com saúde como indicador de necessidades de saúde.
A premissa adotada na concepção do algoritmo foi a de que as pessoas que gastam mais com saúde devem estar mais doentes e, portanto, necessitam de cuidados mais intensivos.
A premissa adotada na concepção do algoritmo foi a de que as pessoas que gastam mais com saúde devem estar mais doentes e, portanto, necessitam de cuidados mais intensivos.
Na realidade, as pessoas brancas eram mais propensas a procurar atendimento médico mais cedo e com mais frequência. Isso significava que sua condição estava melhor controlada do que a das pessoas negras, que, por uma série de razões, eram menos propensas a buscar intervenção médica para seus problemas de saúde. Como resultado, elas ficavam mais doentes e precisavam de mais cuidados.
Embora a lógica usada para projetar o algoritmo parecesse sólida no papel, ela se mostrou contraproducente, pois se manifestou na forma de preconceito racial e tomada de decisões ruins.
Da mesma forma, sabe-se que as aplicações de IA para recrutamento discriminam. com base na percepção de gênero ou raçaA Amazon teve que descartar sua ferramenta de recrutamento, pois ela favorecia os homens, já que seus dados de treinamento eram provenientes de um setor predominantemente masculino. A empresa "presumia" que os homens eram mais adequados para determinados cargos.
A empresa controladora do Facebook, a Meta, foi acusada de se envolver em “Publicidade discriminatória em violação da Lei de Habitação Justa (FHA).” A alegação era de que seu “sistema de anúncios imobiliários discrimina usuários do Facebook com base em raça, cor, religião, sexo, deficiência, situação familiar e nacionalidade”.
Esses resultados podem afetar a vida das pessoas. Onde um chatbot com mau funcionamento pode fornecer informações incorretas, Um carro autônomo com defeito pode matar.Um diagnóstico incorreto pode levar ao atraso no tratamento, o que pode agravar o quadro clínico.
Outros riscos da IA representados pelos sistemas de IA
Até agora, a maioria dos riscos que discutimos decorre de decisões ruins tomadas por um sistema de inteligência artificial. No entanto, existem outros riscos — riscos que podem afetar seu negócio.
Riscos de segurança
Os sistemas de IA, especialmente em aplicações do mundo real, são vulneráveis a ataques que comprometem o desempenho ou a privacidade do usuário. Aqui estão alguns deles:
- Exemplos Adversários: Pequenas modificações imperceptíveis na entrada de dados (por exemplo, em uma imagem ou clipe de áudio) podem enganar a IA, levando-a a tomar decisões incorretas.
- Ataques de envenenamento: Dados maliciosos inseridos em conjuntos de dados de treinamento podem corromper o modelo, fazendo com que ele se comporte de maneira imprevisível.
- Ataques de inversão de modelo: Os atacantes podem reconstruir dados sensíveis (por exemplo, registros médicos, rostos) a partir da saída ou dos gradientes do modelo.
- Ataques de inferência de associação: Hackers podem determinar se um registro específico fazia parte do conjunto de dados de treinamento — um problema sério. preocupação com a privacidade.
- Exfiltração de dados via APIs: Consultas repetidas a APIs públicas de IA podem ser usadas para recriar o modelo ou extrair conhecimento proprietário.
- Roubo de modelo (roubo de funcionalidade): Concorrentes ou atacantes podem copiar a funcionalidade do modelo observando os resultados ao longo do tempo.
Comportamento de caixa preta
Esta é outra forma de dizer "falta de explicabilidade" em sistemas de IA. Alguns modelos, particularmente sistemas de aprendizado profundo, tomam decisões sem um raciocínio claro e compreensível. Se você não entende a lógica por trás das decisões de um modelo, não pode ter certeza se ele usou critérios legal ou eticamente aceitáveis.
Existem também casos extremos, em que a lógica por trás de um resultado pode estar completamente oculta. Certas regulamentações de privacidade, como o GDPR, garantem aos consumidores o "direito à explicação", o que exige que você seja capaz de defender uma decisão tomada pela sua organização, mesmo que tenha sido uma solução de IA que a tenha gerado. Se você não conhece o "processo de pensamento" do seu modelo, é altamente improvável que consiga justificá-lo.
E assim, sem mais nem menos, você teria uma violação de privacidade em suas mãos.
Sobreajuste e generalização deficiente
Um risco comum em sistemas de IA é que eles apresentam bom desempenho em dados de treinamento, mas falham na generalização para novos dados do mundo real. Isso pode levar a falhas operacionais quando o modelo é implantado.
Um exemplo é a mudança de domínio, que consiste em uma alteração na distribuição dos dados de entrada entre os ambientes de treinamento e de implantação. Nesse caso, o modelo é treinado usando dados de um ambiente, o que significa que ele não funciona tão bem em um ambiente relacionado, mas diferente.
Por exemplo, se uma ferramenta de IA médica fosse treinada com informações de hospitais de grandes cidades dos EUA, seu desempenho poderia ser inferior em hospitais rurais. Os dados demográficos dos pacientes, os equipamentos e a prevalência de doenças nesses dois contextos são muito diferentes para que a ferramenta tome decisões válidas.
Outra causa é o sobreajuste, em que o modelo se torna excessivamente ajustado aos dados de treinamento — incluindo padrões irrelevantes ou ruído — e apresenta desempenho ruim em novos dados. O sobreajuste é especialmente provável ao usar conjuntos de dados de treinamento ruidosos ou limitados, ou quando o modelo é excessivamente complexo para o problema.
Deriva e deterioração do modelo
Os sistemas de IA podem se tornar menos eficazes com o tempo, à medida que as condições do mundo real mudam. A deriva de dados ocorre quando mudanças nos padrões de entrada de dados levam a uma degradação no desempenho do modelo. Por exemplo, digamos que seu sistema foi treinado com dados que utilizavam os padrões de compra dos clientes em lojas físicas. Agora que eles usam mais aplicativos móveis e fazem compras online, o sistema pode não ser capaz de prever os padrões de compra com a mesma eficácia.
A deriva conceitual ocorre quando a relação subjacente entre os pontos de dados muda ao longo do tempo. Por exemplo, os indicadores de fraude podem evoluir com o tempo, mas o modelo não é alterado para refletir essa mudança.
Se você não tiver ferramentas para detectar ou corrigir desvios precocemente, sua solução de IA pode não fornecer resultados tão precisos quanto quando foi desenvolvida inicialmente.
Uso indevido ou uso duplo ético
As ferramentas de IA podem ser exploradas de forma prejudicial, intencionalmente ou acidentalmente.
- Excesso de vigilância: O reconhecimento facial é utilizado para monitoramento em massa ou para direcionar grupos minoritários.
- Deepfakes: Vídeos falsos realistas usados em desinformação política, pornografia de vingança ou fraude de identidade.
- Sistemas de pontuação social: Sistemas automatizados classificam pessoas com base em comportamento ou conformidade (por exemplo, em crédito, policiamento).
- Inteligência Artificial para Armas Letais Autônomas: Utilização de IA em drones ou armas que tomam decisões de matar sem intervenção humana.
- Policiamento preditivo: Inteligência artificial que visa determinados bairros ou grupos de forma desproporcional, reforçando a desigualdade estrutural.
Viés de automação e dependência excessiva do ser humano
Ao utilizar sistemas semiautomatizados ou totalmente autônomos, os operadores podem se acomodar. Podem confiar demais na IA ou perder suas habilidades por não exercitá-las o suficiente.
Como os operadores confiam demais no sistema, podem não intervir (ou possivelmente não intervir com rapidez suficiente) quando o sistema apresenta mau funcionamento.
Responsabilidade e Incerteza Jurídica
Mesmo com o sistema mais rigorosamente projetado, as coisas podem dar errado. A falta de funções e responsabilidades claramente definidas pode resultar em atrasos e complicações quando os problemas ocorrem.
E muita coisa pode dar errado. Se você estiver usando ferramentas de IA além das fronteiras, precisa garantir que elas atendam aos requisitos legais inconsistentes. Sem um ponto de contato de responsabilidade claramente definido, você pode ter dificuldades para atender aos requisitos de privacidade, segurança e explicabilidade previstos em leis como a... RGPD, CCPA, HIPAA, ou o Lei de IA da UE.
A auditoria de algoritmos proprietários também é difícil em produtos de caixa preta, o que é outro requisito dessas leis.
Preocupações ambientais e de sustentabilidade
O treinamento e a manutenção de grandes modelos de IA consomem uma quantidade enorme de energia. Se você estiver expandindo exponencialmente, poderá estar ultrapassando os limites da infraestrutura e as condições climáticas. Além disso, as atualizações de hardware necessárias para esse crescimento contribuem para o problema crescente do lixo eletrônico.
Implementar IA de forma responsável e ética pode reduzir seus riscos.
A governança de IA não é apenas um conjunto de políticas a serem verificadas durante o desenvolvimento — é um sistema proativo para identificar, reduzir e gerenciar riscos em todo o ciclo de vida da IA.
Veja como isso pode mitigar os riscos que seus sistemas de IA enfrentam.
Reduzindo o preconceito e a discriminação
Os frameworks de governança de IA reduzem o risco de resultados injustos por meio da implementação de auditorias de equidade. Essas salvaguardas previnem danos a populações vulneráveis e protegem sua organização de consequências legais e de reputação.
Prevenção de falhas de segurança
Verificações regulares de segurança e vulnerabilidade são um requisito das estruturas de governança. Os sistemas também devem ser monitorados quanto a comportamentos maliciosos. Essas estruturas exigem o tratamento responsável de dados para proteger contra inversão de modelos, vazamento de dados ou roubo por meio de APIs.
Melhorando a Transparência
Estruturas de governança de IA responsáveis e eficazes promovem políticas de documentação, rastreabilidade e explicabilidade desde o início. Dessa forma, evitam o desenvolvimento de situações de "caixa preta" já nas fases de treinamento. Como resultado, você permanece em conformidade com as leis de privacidade e constrói a confiança do usuário, permitindo a supervisão humana.
Deriva de monitoramento
Acompanhar de perto o desempenho do modelo de IA é uma parte fundamental dos princípios da IA responsável. Ao monitorar os resultados, é possível detectar e corrigir quaisquer desvios de dados ou conceitos antes que comecem a afetar o desempenho do modelo.
Promovendo a robustez
A governança responsável promove a testagem de modelos em diversos ambientes e incentiva técnicas para reduzir o sobreajuste. Ela também apoia práticas como:
- Validação cruzada
- avaliação da relação entre viés e variância
- Testes de estresse em condições reais de uso
Esses fatores ajudam a evitar falhas devido à mudança de domínio ou generalização inadequada.
Proteção contra o uso indevido de práticas antiéticas
Com pontos de verificação de revisão ética, avaliações de impacto e limites claros para casos de uso, a IA responsável garante que a IA esteja alinhada com os valores da sua empresa e com as expectativas mais amplas da sociedade.
Mitigando o viés da automação
A governança responsável promove o design com participação humana, treina os usuários para interpretar criticamente os resultados da IA e exige recursos de intervenção em sistemas automatizados. Isso reduz o risco de dependência excessiva ou complacência, especialmente quando os sistemas de IA são usados em ambientes operacionais como aviação, saúde ou transporte.
Esclarecendo a Responsabilidade e a Conformidade Legal
Os quadros de governança definem:
- Quem é responsável por quê?
- Quem audita o quê?
- E como a conformidade é mantida em diferentes jurisdições.
Isso facilita o cumprimento das obrigações previstas no GDPR, HIPAA, na Lei de IA da UE e em outras estruturas, além de permitir uma resposta rápida quando algo der errado.
Incentivando a Responsabilidade Ambiental
As organizações estão cada vez mais integrando a sustentabilidade em seus modelos de governança. Elas estão mensurando o uso de recursos computacionais, priorizando arquiteturas energeticamente eficientes e adotando práticas de implantação sustentáveis. Governança responsável significa escalar a IA sem aumentar desproporcionalmente a pegada de carbono.
Estruturas de Governança de IA
Implementar IA responsável não se resume apenas a boas intenções — trata-se de ter sistemas concretos em vigor para garantir que sua IA se comporte de acordo com os valores, obrigações legais e objetivos operacionais da sua organização.
Os frameworks de governança de IA fornecem uma abordagem estruturada e repetível para definir como os sistemas de IA devem ser projetados, construídos, implementados, monitorados e desativados de forma responsável.
O que deve incluir um quadro de governança?
Uma estrutura de governança de IA responsável deve ser prática, replicável e adaptada ao contexto da sua organização. Aqui estão os principais componentes que toda estrutura deve abranger:
- Princípios orientadores: Valores fundamentais como justiça, transparência, responsabilidade e privacidade orientam o desenvolvimento e a utilização da IA.
- Estrutura de Governança: Funções e responsabilidades claramente definidas garantem que a supervisão esteja presente em todas as etapas do ciclo de vida da IA.
- Protocolos de Avaliação de Risco: Verificações contínuas de viés, vulnerabilidades de segurança, conformidade legal e sustentabilidade reduzem a exposição a danos.
- Documentação e Rastreabilidade: Registros abrangentes de fontes de dados, decisões de modelagem e escolhas de design dão suporte a auditorias e à explicabilidade.
- Monitoramento e Ciclos de Feedback: O monitoramento contínuo e o feedback do usuário ajudam a detectar problemas como desvios do modelo e permitem atualizações oportunas.
- Controles com intervenção humana: Os humanos devem ser capazes de supervisionar, intervir ou substituir os sistemas de IA em casos de uso críticos ou sensíveis.
- Transparência e envolvimento externos: A divulgação pública de políticas e processos de tomada de decisão gera confiança entre usuários, órgãos reguladores e partes interessadas.
Exemplos de estruturas de governança de IA responsável
Se você busca implementar ou se alinhar a uma estrutura de IA responsável, existem diversos modelos e ferramentas bem estabelecidos, utilizados por governos, órgãos de padronização e o setor privado. Cada um oferece uma perspectiva diferente sobre IA confiável, e muitas organizações constroem seus programas de governança utilizando uma combinação deles.
Estrutura de Gestão de Riscos de IA do NIST (AI RMF)
Divulgado pelo Instituto Nacional de Padrões e Tecnologia dos EUA em 2023, o IA RMF É uma estrutura voluntária, mas amplamente adotada, para gerenciar riscos a indivíduos, organizações e à sociedade.
O foco é construir sistemas de IA confiáveis por meio de funções como governar, mapear, medir e gerenciar. Um perfil de IA generativa foi adicionado em 2024 para lidar com riscos mais recentes.
Princípios de IA da OCDE
Adotadas por 47 países (até 2024), essas foram as primeiras normas intergovernamentais de IA e são amplamente utilizadas como base para o desenvolvimento e a governança da IA em todo o mundo. Princípios de IA da OCDE Promover a criação de sistemas de IA que sejam inovadores, confiáveis e alinhados aos direitos humanos.
Elas enfatizam a justiça, a transparência, a robustez e a responsabilidade, e são atualizadas regularmente para refletir novos desafios, como a IA generativa.
Lei de IA da UE
Finalizado em 2024, o Lei da Inteligência Artificial da UE É a primeira grande regulamentação horizontal de IA do mundo. Ela classifica os sistemas de IA em quatro categorias de risco — de mínimo a inaceitável — e impõe regras mais rigorosas para IA de alto risco, especialmente nas áreas de saúde, recrutamento, segurança pública e serviços públicos. Também inclui requisitos de transparência, supervisão humana e monitoramento pós-implantação.
ISO/IEC 42001:2023 – Norma para Sistemas de Gestão de IA
Esse padrão internacionalPublicado em dezembro de 2023, o documento oferece uma abordagem estruturada de sistema de gestão para a governança de IA. Ele auxilia as organizações na implementação de políticas, funções e processos para gerenciar o risco de IA de forma alinhada aos padrões globais — sendo especialmente útil para empresas que operam em múltiplas jurisdições.
Cartões de modelo e fichas técnicas
Essas são ferramentas de documentação simples, porém poderosas, que melhoram a transparência e a responsabilidade na IA. Os cartões de modelo resumem a finalidade, o desempenho e as limitações de um modelo.
Entretanto, as fichas técnicas documentam detalhes importantes sobre os dados de treinamento, incluindo como foram coletados e quaisquer vieses conhecidos. Originalmente Desenvolvido pelo Google Amplamente adotadas na indústria, essas ferramentas ajudam as equipes a comunicar o uso responsável, apoiar auditorias e reduzir danos não intencionais.
Adotando princípios de IA responsável com a BigID
O maior risco para a implementação de tecnologias de IA é a violação de dados. Com o BigID, seus ativos de IA são mapeados, organizados e protegidos. A plataforma permite uma governança eficaz que gera confiança na IA, tanto por parte dos seus usuários quanto das partes interessadas internas. IA responsável com combustível Com BigID.
Autor
