Aplicação de Aprendizado por Reforço Aprimorado por Lógica Fuzzy em IA para Controle de Grupos de Elevadores

Uma solução para problemas complexos e de grande escala.

Por Meysam Talebi 

Palavras-chave: Aprendizado por reforço, controle de grupo de elevadores, controle fuzzy, aprendizado especializado, aprendizado reverso, elevador de alta velocidade. 

Sumário

Os recentes avanços em algoritmos de aprendizado por reforço (AR) e seus fundamentos teóricos despertaram grande interesse na comunidade de inteligência computacional. Os algoritmos de AR, que utilizam aproximações iterativas de programação dinâmica, são capazes de adquirir conhecimento por meio de interações empíricas e simuladas. Ao priorizar recursos computacionais em regiões do espaço de estados acessadas com frequência durante as operações de controle, esses algoritmos facilitam a solução de problemas complexos e de grande escala. Quando aplicados em um contexto multiagente, onde cada agente emprega tais algoritmos, emerge um paradigma de aprendizado cooperativo, beneficiando toda a equipe. Este estudo demonstra a eficácia de algoritmos coletivos de AR na resolução de problemas de controle complexos. O controle de um grupo de elevadores é utilizado como plataforma experimental, apresentando um conjunto único de desafios não tipicamente encontrados em pesquisas de aprendizado multiagente. Um grupo de agentes de AR, cada um encarregado de gerenciar um elevador individual, é implementado. Esses agentes recebem um sinal de recompensa compartilhado, que é percebido como ruidoso devido à interdependência das ações dos agentes, à estocasticidade inerente à chegada de passageiros e às limitações da observabilidade do estado. Para aumentar a robustez do processo de aprendizado por reforço Q nesse ambiente dinâmico, um modelo de lógica fuzzy é integrado para o cálculo dos valores Q, permitindo que os agentes lidem com incertezas e tomem decisões mais informadas. Apesar dessas complexidades, os resultados da simulação indicam um desempenho superior aos métodos de controle de elevadores mais modernos existentes. Essas descobertas ressaltam o potencial do aprendizado por reforço multiagente para lidar com problemas de otimização dinâmica estocástica em larga escala, pertinentes a aplicações do mundo real.

Introdução

Uma concepção errônea comum entre o público equipara a inteligência artificial (IA) a máquinas sem emoções, projetadas unicamente para automatizar tarefas e substituir o trabalho humano. Essa percepção, amplamente moldada por representações da ficção científica, diverge significativamente da realidade da IA. Em essência, a IA refere-se a tecnologias que simulam funções cognitivas. Embora essas simulações visem replicar os processos de pensamento humano, elas apresentam diferenças fundamentais. Apesar de a plena concretização da IA, conforme concebida conceitualmente, ainda ser um objetivo em andamento, sua influência onipresente na vida cotidiana é inegável. Muitas atividades rotineiras, como buscas na internet e interações em redes sociais, estão intrinsecamente ligadas à IA, frequentemente sem que tenhamos consciência disso. Esse envolvimento inconsciente evidencia uma lacuna na compreensão pública a respeito da verdadeira natureza e das capacidades da IA. Dada a proeminência prevista da IA ​​nos futuros cenários tecnológicos, uma mudança proativa da apreensão para a compreensão é essencial. Isso exige um foco nas aplicações potenciais da IA ​​e uma expansão de nossa base de conhecimento. Assim, um passo inicial crucial envolve esclarecer a definição fundamental de IA. ^{[14, 17]}.

Definição de Inteligência Artificial: 

A inteligência artificial (IA) é um ramo da ciência da computação dedicado à criação de máquinas inteligentes capazes de realizar tarefas que tradicionalmente exigem inteligência humana. Essencialmente, a IA ¹ Envolve a simulação das capacidades cognitivas humanas em sistemas computacionais, com o objetivo de desenvolver máquinas programadas para emular os processos de pensamento e comportamentos humanos. Essa definição abrange qualquer máquina projetada para funcionar de forma semelhante à mente humana, possuindo a capacidade de resolver problemas e aprender. ^{[14, 16, 17]}.   

Objetivos da Inteligência Artificial: 

O objetivo fundamental da IA ​​é delinear a inteligência humana e seus mecanismos operacionais de forma a facilitar a execução por máquinas e a conclusão precisa de tarefas. Os princípios básicos da IA ​​estão enraizados na aprendizagem, no raciocínio e na percepção. A IA é uma ampla disciplina dentro da ciência da computação, focada na construção de máquinas inteligentes capazes de executar tarefas que normalmente exigem habilidades cognitivas humanas. A IA é uma ciência interdisciplinar que emprega diversas abordagens, com avanços em aprendizado de máquina e aprendizado profundo catalisando mudanças de paradigma em toda a indústria de tecnologia. ^{[13, 14, 16]}.

História da Inteligência Artificial: 

A gênese da IA ​​remonta à época da Segunda Guerra Mundial, durante a qual as forças alemãs utilizaram a máquina Enigma para criptografar mensagens com segurança. Em resposta, o cientista britânico Alan Turing se empenhou em decifrar esses códigos. Turing e sua equipe desenvolveram a máquina Bombe, que decifrou com sucesso as mensagens da Enigma. Tanto a Enigma quanto a Bombe lançaram as bases para o aprendizado de máquina, um subcampo da IA. Turing postulou que uma máquina inteligente deveria ser capaz de se comunicar sem revelar sua natureza não humana, estabelecendo assim a base da IA ​​— a criação de máquinas que replicam o pensamento, a tomada de decisões e as ações humanas. O progresso na tecnologia e no hardware facilitou o desenvolvimento de ferramentas e serviços inteligentes que incorporam IA. A proliferação de mecanismos de busca, satélites e outras tecnologias exemplifica a integração da IA ​​em diversos processos. O advento dos smartphones e dispositivos inteligentes impulsionou ainda mais a IA para o cotidiano, aumentando sua relevância prática e fomentando uma maior conscientização pública sobre suas aplicações. ^{[15, 16, 17]}.

Inteligência Artificial vs. Programação: 

Na programação convencional, trabalhamos com entradas definidas e empregamos instruções condicionais, como `if` e `else`, para resolver equações e alcançar os resultados desejados. No entanto, os problemas abordados pela inteligência artificial (IA) apresentam uma gama diversificada de entradas, tornando os métodos de programação tradicionais inadequados. Isso é exemplificado por sistemas de conversão de fala em texto ou reconhecimento facial, onde os dados de entrada são altamente variáveis, exigindo a utilização de modelos de IA. .

Ramos da Inteligência Artificial: 

• A IA abrange um amplo espectro de disciplinas, incluindo: 
  • Sistemas especializados
  • Robótica
  • Machine Learning
  • Redes neurais
  • Lógica difusa
  • Processamento de Linguagem Natural

Níveis de Inteligência Artificial: 

• Os sistemas de IA são categorizados em três níveis com base em sua percepção e resposta ao ambiente externo: IA limitada, IA geral e super IA. 
  • IA limitada: 
    • Sistemas de IA limitados se destacam em tarefas específicas, como jogos de xadrez, tomada de decisões empresariais e conversão de fala em texto.
  • IA geral: 
    • A Inteligência Artificial Geral, atualmente teórica, visa replicar as habilidades cognitivas humanas.
  • Super IA: 
    • A superinteligência artificial, capaz de superar a inteligência humana, permanece um conceito hipotético.

Como a Inteligência Artificial Aprende: 

• Os sistemas de IA aprendem por meio de aprendizado de máquina e aprendizado profundo. 
  • Aprendizado de Máquina: 
    • A aprendizagem de máquina permite que os sistemas aprendam com os dados sem programação explícita.
  • Aprendizado profundo: 
    • O aprendizado profundo, um subconjunto do aprendizado de máquina, imita os processos do cérebro humano por meio de redes neurais.

Categorização de Sistemas de Inteligência Artificial: 

• Os sistemas de IA são classificados em quatro categorias: 
  • Máquinas Reativas
  • Memória Limitada
  • Teoria da mente
  • Auto-Conhecimento

Aplicação da Inteligência Artificial na Indústria de Elevadores: 

• As aplicações de IA em elevadores incluem: 
  • Controle do grupo de elevadores
  • Manutenção preditiva
  • Experiência aprimorada do usuário ^{[2, 3, 4]}.

Introdução ao Aprendizado por Reforço: 

A pesquisa em aprendizado de máquina tem se concentrado predominantemente no aprendizado supervisionado, onde um "professor" fornece exemplos de treinamento rotulados na forma de pares de entrada-saída. Os algoritmos de aprendizado supervisionado são aplicáveis ​​a uma ampla gama de problemas, incluindo classificação de padrões e aproximação de funções. No entanto, muitos cenários do mundo real envolvem dados de treinamento rotulados dispendiosos ou inacessíveis. O aprendizado por reforço (AR) aborda esses desafios utilizando informações de treinamento de um "crítico" que oferece uma avaliação escalar da saída escolhida, em vez de especificar a saída ideal ou a direção para modificação. O AR introduz a complexidade adicional da exploração, que envolve determinar a saída ideal para uma determinada entrada. .

Tipos de tarefas de aprendizagem por reforço: 

É vantajoso diferenciar dois tipos de tarefas de aprendizado por reforço: episódicas (não contínuas) e contínuas (contínuas). Em tarefas episódicas, os agentes aprendem mapeamentos de situações para ações que maximizam a recompensa imediata esperada. Em tarefas contínuas, os agentes aprendem mapeamentos que maximizam as recompensas esperadas a longo prazo. As tarefas contínuas são geralmente mais desafiadoras porque as ações de um agente podem influenciar situações e recompensas futuras. Nessas tarefas, os agentes interagem com seus ambientes por períodos prolongados e devem avaliar decisões com base em consequências a longo prazo. .

Aprendizagem por reforço e controle ótimo: 

Do ponto de vista da teoria de controle, os algoritmos de aprendizado por reforço (RL) fornecem métodos para aproximar soluções ótimas para problemas de controle ótimo estocástico. O agente atua como controlador e o ambiente funciona como o sistema a ser controlado. O objetivo é maximizar um critério de desempenho específico ao longo do tempo. Com o conhecimento das probabilidades de transição de estado e da estrutura de recompensa do ambiente, esses problemas podem ser resolvidos usando algoritmos de programação dinâmica (PD). No entanto, a complexidade computacional da PD a torna impraticável para problemas com um grande número de estados. Algoritmos de RL recentes são projetados para realizar PD incrementalmente, eliminando a necessidade de conhecimento prévio das probabilidades de transição de estado e das estruturas de recompensa. O aprendizado online concentra os cálculos em regiões frequentemente visitadas do espaço de estados. Portanto, a combinação de RL com métodos apropriados de aproximação de funções oferece abordagens computacionalmente viáveis ​​para aproximar soluções para problemas de controle ótimo estocástico em larga escala.

O mesmo fenômeno de concentração pode ser alcançado usando aprendizado online simulado. Um modelo de simulação pode ser construído sem a necessidade de derivar explicitamente as probabilidades de transição de estado e as estruturas de recompensa. Utilizar um modelo de simulação preciso oferece vantagens, como gerar uma vasta quantidade de experiência simulada e potencialmente acelerar o processo de aprendizado. Além disso, não há necessidade de se preocupar com o nível de desempenho de um sistema simulado durante o aprendizado. Um exemplo bem-sucedido de aprendizado por reforço online simulado é o sistema TD-Gammon, que aprendeu a jogar gamão em nível de mestre. .

Aprendizagem por Reforço Multiagente: 

A pesquisa sobre aprendizado por reforço multiagente remonta ao trabalho do matemático russo Tsetlin. Resultados teóricos foram obtidos para tarefas de aprendizado por reforço episódicas. Certos tipos de autômatos de aprendizado convergem para um ponto de equilíbrio em jogos repetidos de soma zero e de soma não zero. No entanto, em jogos de soma não zero mais gerais, os pontos de equilíbrio frequentemente resultam em recompensas baixas para todos os jogadores. Um exemplo notável é o dilema do prisioneiro, onde o único ponto de equilíbrio resulta na menor recompensa total. ^{[1, 7]}. 

Introdução ao controle de grupo de elevadores: 

Esta seção apresenta o problema de controle de grupo de elevadores, que servirá como nosso ambiente de teste para aprendizado por reforço multiagente. Embora familiar a qualquer pessoa que já tenha utilizado um sistema de elevadores, este problema, apesar de sua simplicidade conceitual, apresenta desafios significativos. Uma política ótima para o controle de grupo de elevadores permanece indefinida, o que torna necessário o uso de algoritmos de controle existentes como referências. O domínio dos elevadores oferece uma oportunidade para comparar arquiteturas de controle paralelas e distribuídas, onde cada agente controla uma cabine de elevador, e para monitorar a degradação do desempenho à medida que os agentes enfrentam níveis decrescentes de informação. ^{[1, 5]}.

Diagrama esquemático do sistema de controle do grupo de elevadores: 

A Figura 1 apresenta uma representação esquemática de um sistema de elevadores (Lewis, 1991). As cabines do elevador são representadas por quadrados preenchidos. O símbolo “+” indica uma solicitação de entrada em uma cabine a partir de um andar em qualquer um dos lados do poço, enquanto o símbolo “−” denota uma solicitação para um passageiro sair de uma cabine e seguir para um andar específico. O poço da esquerda representa as cabines e as solicitações se movendo para cima, e o poço da direita corresponde às cabines e às solicitações se movendo para baixo. Assim, as cabines circulam no sentido horário ao redor dos poços. Este estudo examina os padrões de chegada de passageiros, as estratégias de controle do elevador e o sistema de elevador simulado específico. .

Algoritmo e Arquitetura de Rede: 

Esta seção descreve o multi-aUm algoritmo de aprendizado por reforço multiagente (MARL) foi implementado para o controle de um grupo de elevadores. Cada agente é responsável por controlar uma cabine de elevador. A estrutura de recompensa ambiental para cada agente é definida com base no tempo de espera dos passageiros, com foco na minimização do tempo médio de espera. Cada agente emprega uma versão modificada do Q-learning (Watkins, 1989) para sistemas de eventos discretos. Coletivamente, eles implementam uma forma de aprendizado por reforço coletivo. .

Considerações sobre eventos discretos na aprendizagem por reforço: 

Os sistemas de elevadores podem ser modelados como sistemas de eventos discretos, onde eventos significativos (por exemplo, chegadas de passageiros) ocorrem em momentos discretos, mas os intervalos de tempo entre os eventos são variáveis ​​de valor real. Em tais sistemas, um fator de desconto fixo γ, como usado na maioria dos algoritmos de aprendizado por reforço de tempo discreto, é inadequado. Isso pode ser resolvido usando um fator de desconto variável que depende do intervalo de tempo entre os eventos. Nesse contexto, o custo restante é definido como uma integral em vez de uma soma discreta, da seguinte forma:

Conversão de eventos de tempo discreto para tempo contínuo (1)

Na fórmula acima, temos:

C_t: o custo imediato em um instante discreto t,

C_T: o custo instantâneo em tempo contínuo,

_T: a soma dos quadrados dos tempos de espera de todos os passageiros em espera,

β: o controlador para a taxa de decaimento exponencial (β=0.01),

10^6: um fator de escala usado para evitar valores excessivos para o custo até que ele atinja um limite.

O custo instantâneo C_T representa a insatisfação causada pelos tempos de espera dos passageiros em tempo contínuo. Para evitar valores excessivamente grandes, é reduzida por um fator de 10^6. Os eventos do sistema de elevadores ocorrem aleatoriamente em tempo contínuo, e os parâmetros necessários são efetivamente infinitos, o que leva à complexidade dos algoritmos de previsão. Portanto, utilizamos a versão de eventos discretos do algoritmo Q-learning, pois ela considera apenas os eventos reais do sistema e não requer conhecimento explícito das probabilidades de transição de estado. Bradtke & Duff (1995) estenderam a regra de atualização do Q-learning de Watkins (1989) para a seguinte forma de eventos discretos.

(2)

“Onde a ação 'a' é tomada a partir do estado 'x' no instante 't'_x', a decisão subsequente do estado 'y' no instante 't'_y' é necessário. Aqui, α representa o parâmetro de tamanho do passo e C_T , β são definidos como acima. A quantidade e^(-β(t_y-t_x)) atua como um fator de desconto, dependente do tempo decorrido entre os eventos. Bradford e Retch (1995) consideraram um cenário em que C_T  permanece constante entre os eventos. Estendemos sua formulação para o caso em que C_T  é quadrática, pois o objetivo é minimizar o quadrado dos tempos de espera. Consequentemente, a integral na regra de atualização do Q-learning assume a seguinte forma:

(3)

“Onde ω_p representa o tempo que cada passageiro p esperou desde o instante t_x para o tempo t_y (Deve-se prestar especial atenção a quaisquer passageiros que iniciem ou terminem sua espera entre t_x e T_y Resolvendo a integral acima, obteremos:

(4)

A implementação prática dessa formulação é desafiada pela necessidade de conhecimento abrangente da duração da espera de todos os passageiros. Em sistemas de elevadores reais, no entanto, apenas os tempos de espera dos indivíduos que acionaram os botões de chamada do andar são facilmente acessíveis. Os horários de chegada e os períodos de espera subsequentes dos passageiros futuros permanecem desconhecidos. Para superar essa limitação, investigamos duas abordagens metodológicas distintas: os paradigmas de aprendizado por reforço "onisciente" e "online".

O ambiente de simulação, por definição, possui informações completas sobre todos os tempos de espera dos passageiros, permitindo a geração dos sinais de reforço necessários. Essa abordagem, denominada "esquema de reforço onisciente", baseia-se em dados inerentemente indisponíveis em sistemas de elevadores operacionais. É crucial enfatizar que essas informações suplementares são utilizadas exclusivamente pelo componente de avaliação (o "crítico") e não pelo próprio mecanismo de controle. Consequentemente, um controlador treinado com esse esquema onisciente em um ambiente simulado pode ser implementado em um cenário real sem a necessidade de acesso a quaisquer dados adicionais.

Alternativamente, o 'esquema de reforço online' facilita o aprendizado baseado exclusivamente em dados obtidos em tempo real dentro de um sistema operacional. Essa metodologia pressupõe a disponibilidade do tempo de espera do primeiro passageiro em cada fila, correspondente à duração da pressão do botão. Se a taxa de chegada de Poisson, denotada por λ, para cada fila for conhecida ou puder ser estimada de forma confiável, a distribuição Gama pode ser empregada para inferir os tempos de chegada dos passageiros subsequentes. O tempo até a n-ésima chegada subsequente segue a distribuição Gama Γ(n, 1/λ). Para cada fila, os custos previstos gerados pelas chegadas subsequentes nos 'b' segundos iniciais após a ativação do botão do hall podem ser determinados da seguinte forma:

                (5)Essa integral também pode ser resolvida usando integração por partes para calcular a função de custo esperada, um método que não foi empregado nesta discussão. ^{[1, 8, 9]}.

Aprendizado Q de Eventos Discretos Coletivos

No contexto de sistemas de elevadores, os eventos podem ser categorizados em dois tipos principais. A primeira categoria engloba eventos cruciais para o cálculo dos tempos de espera, que, por sua vez, desempenham um papel fundamental na determinação do sinal de reforço empregado pelo algoritmo de Aprendizado por Reforço (AR). Esses eventos consistem em chegadas e transferências de passageiros para dentro e para fora das cabines do elevador no cenário onisciente, ou ativações do botão de acesso no cenário online. A segunda categoria compreende os eventos de chegada da cabine, que representam potenciais momentos de tomada de decisão para os agentes de AR responsáveis ​​pelo controle de cada cabine. Quando uma cabine está em trânsito entre andares, ela gera um evento de chegada ao atingir o ponto em que deve decidir se para ou ignora o andar seguinte. Em certas situações, as cabines do elevador são obrigadas a executar ações específicas, como parar no próximo andar para facilitar a saída dos passageiros. Um agente encontra um ponto de decisão somente quando possui uma seleção irrestrita de ações. ^{[11, 12]}.

Cálculo de Reforços Oniscientes

No âmbito do esquema de reforço onisciente, o custo cumulativo sofre atualizações incrementais após cada evento de chegada de passageiro (quando um passageiro entra na fila), evento de transferência de passageiro (quando um passageiro embarca ou desembarca de um elevador) e evento de chegada do elevador (quando uma decisão de controle é executada). Essas atualizações incrementais fornecem uma abordagem pragmática para gerenciar as descontinuidades de custo que surgem quando os passageiros iniciam ou concluem seus períodos de espera entre as decisões sobre o elevador, como quando um elevador alternativo atende passageiros em espera.

A magnitude do custo acumulado entre eventos sucessivos permanece uniforme em todas as cabines do elevador, refletindo sua função objetivo compartilhada. No entanto, o acúmulo de custo para cada cabine entre seus pontos de decisão discretos varia devido à natureza assíncrona de seus processos de tomada de decisão. Consequentemente, a cada cabine 'i' é atribuído um local de armazenamento dedicado, denotado como R[i], onde o custo total descontado incorrido desde sua decisão mais recente (no instante d[i]) é acumulado.

No início de cada evento, os seguintes cálculos são realizados: Seja t0 o instante do evento precedente e t1 o instante do evento atual. Para cada passageiro 'p' que esteve aguardando no intervalo [t0, t1], sejam w0(p) e w1(p) os tempos totais de espera do passageiro 'p' em t0 e t1, respectivamente. Posteriormente, para cada carro 'i' ^{[1, 11, 12]}.

 (6)

Computação de Reforço Online

No esquema de reforço online, o custo acumulado é atualizado incrementalmente após cada evento de "pressionamento do botão de chamada do andar" (indicando a chegada do primeiro passageiro em espera em um andar ou a chegada de um elevador para embarcar passageiros em espera em um andar) e evento de "chegada do elevador" (quando uma decisão de controle é tomada). Assume-se que um passageiro conclui seu período de espera com a chegada do elevador ao andar e a abertura de suas portas, visto que o horário exato de embarque permanece indeterminado. A taxa de chegada de passageiros (λ) para cada andar é estimada com base no inverso do intervalo entre pressionamentos de botão mais recente (o tempo decorrido entre o último atendimento no andar e o pressionamento de botão subsequente). Para mitigar flutuações decorrentes de intervalos entre pressionamentos de botão excessivamente curtos, impõe-se uma taxa máxima de chegada (λ^) de 0.04 passageiros por segundo. Seja t0 o instante do evento anterior, t1 o instante do evento atual, w0(b) o tempo decorrido entre a pressão do botão 'b' em t0 e w1(b) o tempo decorrido entre a pressão do botão 'b' em t1. O custo de cada carro 'i' é atualizado acumulando-se o custo com desconto entre os instantes do evento anterior e do evento atual. .

      
(7)

Atualização sobre tomada de decisões e valor Q

Um elevador que se desloca entre andares gera um evento de "chegada do elevador" ao atingir um ponto que exige uma decisão sobre se deve parar ou prosseguir para o próximo andar. Em certos cenários, a escolha da ação do elevador é limitada, como a parada obrigatória no próximo andar para o desembarque de passageiros. Um agente encontra um ponto de decisão exclusivamente quando possui uma escolha irrestrita entre as ações disponíveis. O algoritmo empregado por cada agente para a tomada de decisão e atualização das estimativas do valor Q é descrito abaixo. No instante tx, ao observar o estado x, o elevador 'i' chega a um ponto de decisão. O elevador seleciona uma ação 'a' utilizando uma distribuição de Boltzmann sobre suas estimativas de valor Q.

   (8)

O parâmetro 'T' controla o grau de estocasticidade na seleção de ações. Durante os estágios iniciais de aprendizado, quando as estimativas do valor Q são inerentemente imprecisas, valores maiores de 'T' são empregados, atribuindo probabilidades aproximadamente iguais a todas as ações disponíveis. Posteriormente, à medida que o aprendizado progride e as estimativas do valor Q atingem maior precisão, valores menores de 'T' são utilizados. Essa abordagem favorece ações consideradas superiores, ao mesmo tempo que facilita a exploração para coletar mais informações sobre ações alternativas. A seleção de um cronograma de recozimento suficientemente gradual é particularmente crítica em ambientes multiagentes. .

Suponha que o ponto de decisão subsequente para o carro 'i' ocorra no instante 'ty' no estado 'y'. Após a atualização dos valores R[·] de todos os carros (incluindo o carro 'i'), conforme descrito acima, o carro 'i' ajusta sua estimativa de Q(x, a) em direção ao seguinte valor alvo:

(9)

Representação de valores Q com sistemas fuzzy:

A fórmula de avaliação do valor Q para o aprendizado por reforço (Q-learning), implementada com uma rede neural, pode ser reformulada usando lógica fuzzy. Em vez de depender de estimativas precisas do valor Q obtidas por uma rede neural, a lógica fuzzy emprega um conjunto de regras fuzzy para determinar os valores das ações. Essas regras são definidas com base nas entradas do sistema (estados x e y) e nas saídas desejadas (valores das ações).

Em vez de uma rede neural estimando Q(x, a, θ), um sistema de inferência fuzzy é utilizado para determinar valores de ação com base em regras fuzzy. Este sistema envolve:

1. Fuzzificação das entradas: As entradas do sistema (estados x e y) são convertidas em conjuntos fuzzy.
2. Aplicação de regras fuzzy: As regras fuzzy são aplicadas a conjuntos fuzzy de entrada para determinar conjuntos fuzzy de saída.
3. Desfuzzificação das saídas: Os conjuntos fuzzy de saída são convertidos em valores numéricos.

Com essa abordagem, a fórmula de avaliação do valor Q é reformulada como:

 (10)

Onde:

• Δ: Magnitude da atualização do valor Q.
• α: Taxa de aprendizagem.
• R[i]: Recompensa recebida no [t_x, T_y intervalo de tempo.
• β: Fator de desconto.
• t_yTempo para atingir o estado y.
• t_xTempo para atingir o estado x.
• Q_f (y): Valor estimado pelo sistema de inferência fuzzy no estado y.
• Q_f (x, a): Valor estimado pelo sistema de inferência fuzzy no estado x para a ação a.

Parâmetros da fórmula:

• α (Taxa de aprendizagem): Determina a proporção da nova recompensa usada para atualizar o valor Q.
• β (Fator de desconto): Determina a influência das recompensas futuras no cálculo do valor Q.
•  R[i] (Recompensa): Recompensa recebida pelo agente no intervalo de tempo [tx, ty].
•  Qf (y) e Qf (x, a) (Valores Fuzzy): Valores estimados pelo sistema de inferência fuzzy ^{[12, 13, 15]}.

Agendamento de Recozimento em Aprendizado por Reforço Fuzzy

O agendamento do recozimento desempenha um papel fundamental em sistemas de aprendizado por reforço fuzzy, controlando o equilíbrio entre exploração e explotação dos agentes. Esse processo, que reduz gradualmente a estocasticidade da tomada de decisões, impacta significativamente o desempenho final do algoritmo. Uma taxa de recozimento mais gradual facilita a convergência para soluções ótimas.

Em sistemas fuzzy, o parâmetro 'T', análogo à 'temperatura', governa a incerteza na seleção de ações. Durante as fases iniciais de aprendizado, quando as funções de pertinência e as regras fuzzy ainda não estão totalmente ajustadas, valores mais altos de 'T' são empregados. Isso incentiva os agentes a explorarem amplamente o espaço de estados e ações, evitando o aprisionamento em ótimos locais.

À medida que a aprendizagem progride e as funções de pertinência e as regras fuzzy são refinadas, os valores 'T' diminuem gradualmente. Essa transição orienta os agentes a explorar o conhecimento adquirido, mitigando a seleção excessiva de ações aleatórias.

O ajuste preciso do parâmetro 'T' envolve diversos cronogramas de recozimento. Uma abordagem comum utiliza uma função de decaimento exponencial:

T = T_inicial * (fator)^h
em que:
T_inicial: Temperatura inicial.
Fator: Taxa de decaimento (0 < fator < 1).
h: Número de horas simuladas.

A seleção de valores apropriados para T_inicial e fator depende das características do problema e dos níveis de exploração desejados. Geralmente, valores mais altos de T_inicial e fator, mais próximos de 1, promovem maior exploração e menor exploração de recursos.

Em sistemas multiagentes, o ajuste do cronograma de recozimento é fundamental. Os agentes devem explorar e aproveitar recursos simultaneamente para alcançar a convergência adequada. Cronogramas de recozimento gradual permitem a coordenação entre os agentes e previnem comportamentos instáveis.

Essa abordagem é semelhante ao fenômeno observado em jogos de soma zero, onde o aprendizado por autojogo aprimora o desempenho do agente em ambientes dinâmicos. ^{[9, 15]}.

Fator	Horas	Tempo médio de espera	Espera ao quadrado	Hora do sistema	% > 60 segundos
0.992	1000	20.5	600	45	2.00
0.9992	5000	18.5	500	43.5	1.50
0.998	10000	16.8	400	42.8	1.00
0.999	15000	16.2	360	42.4	0.50
0.9995	20000	15.8	350	42.2	0.25
0.99975	25000	14.8	345	42.1	0.15
0.999875	30000	14.2	330	41.8	0.04

Conclusão:

Este estudo investiga a aplicação de aprendizado por reforço multiagente (MARL) e modelos de lógica fuzzy no controle de tráfego de elevadores, visando aprimorar a eficiência do sistema minimizando o tempo de espera dos passageiros. O sistema de elevadores é modelado como um sistema de eventos discretos, onde eventos significativos, como a chegada de passageiros, ocorrem em intervalos discretos. Nesse contexto, cada elevador é controlado por um agente independente. Os agentes aprendem políticas ótimas por meio de interações com o ambiente e recebendo recompensas. Algoritmos de aprendizado por reforço Q são empregados para o aprendizado, enquanto modelos de lógica fuzzy são integrados ao cálculo do valor Q para gerenciar incertezas e aprimorar a tomada de decisões. O estudo explora dois paradigmas de aprendizado: “onisciente” (com informação completa) e “online” (com informação limitada). A abordagem “online” é considerada mais prática devido à sua dependência de dados em tempo real disponíveis em sistemas operacionais. O recozimento simulado (nealing) é utilizado para equilibrar a exploração e a explotação durante o aprendizado. O ajuste preciso dos parâmetros de recozimento influencia significativamente o desempenho do algoritmo. Os resultados demonstram que a integração de MARL (Aprendizado de Aprendizado Marcial Abrangente) e lógica fuzzy oferece uma abordagem eficaz para o controle do tráfego de elevadores, superando os métodos tradicionais ao gerenciar com eficiência as incertezas e as complexidades ambientais.

Interpretação dos dados:

• Figura 1: Este gráfico ilustra uma redução substancial na porcentagem de passageiros que esperam mais de 60 segundos à medida que as horas de treinamento aumentam. Isso indica uma melhoria no desempenho do controle do elevador com o treinamento prolongado.
• Figura 2: Este gráfico demonstra uma diminuição significativa no tempo médio de espera ao quadrado final com o aumento das horas de treinamento, confirmando ainda mais a melhoria da eficiência do controle do elevador por meio do aprendizado prolongado.

Esses dados validam empiricamente as conclusões do estudo, destacando a capacidade do algoritmo de aprendizado e aprimoramento de desempenho ao longo do tempo.

Principais conclusões:

• Os sistemas de inferência fuzzy estimam com eficácia os valores Q, substituindo as dependências das redes neurais.
• O sistema lida de forma eficaz com incertezas e ambiguidades.
• O desempenho é otimizado em diferentes condições de tráfego.
• Observa-se maior flexibilidade em comparação com os métodos tradicionais.
• O sistema de elevadores é modelado com precisão como um sistema de eventos discretos.
• O MARL coordena eficazmente os movimentos do elevador.
• O agendamento de recozimento otimiza a dinâmica de aprendizado.
• Tanto a abordagem de aprendizagem "onisciente" quanto a "online" são viáveis.
• Os tempos de espera dos passageiros são efetivamente minimizados.
• As taxas de recozimento impactam significativamente o desempenho geral.

---

Referências:

Sutton, RS & Barto, AG (2018) Aprendizagem por reforço: uma introdução. MIT Press.

Stone, P., Brooks, R., Brynjolfsson, E., Corbett, M., Denning, E., Kambhampati, S. & Woroch, M. (2016) Inteligência artificial e a vida em 2030. Universidade de Stanford, Stanford, CA.

Bostrom, N. (2014) Superinteligência: Caminhos, perigos, estratégias. Oxford University Press.

Nilsson, NJ (2010) A busca pela inteligência artificial: Uma história de ideias e conquistas. Cambridge University Press.

Busoniu, L., Babuska, R., De Schutter, B. & Ernst, D. (2010) Aprendizado por reforço para controle: desempenho, estabilidade e aproximações profundas. Springer Science & Business Media.

Lewis, FL, Vrabie, D. & Syrmos, VL (2012) Controle adaptativo ótimo: abordagens hamiltonianas e de aprendizado por reforço. World Scientific.

Shoham, Y., Powers, R. & Grenager, S. (2007) 'Se o aprendizado multiagente é a resposta, qual é a pergunta?', Inteligência Artificial, 171(7), pp. 365-377.

Bradtke, SJ & Duff, MO (1995) 'Métodos de aprendizagem por reforço para problemas de decisão de Markov em tempo contínuo', em Advances in Neural Information Processing Systems, pp. 393-400.

Bradford, JH & Retch, JR (1995) 'Real-time Q-learning for a continuous state and action Markov decision task', in Proceedings of the 1995 IEEE International Conference on Neural Networks, Vol. 2, pp. 1092-1097. IEEE.

Bertsekas, DP & Tsitsiklis, JN (1996) Programação neurodinâmica. Athena Scientific.

Tesauro, G. (1995) 'Aprendizagem de diferença temporal e TD-Gammon', Communications of the ACM, 38(3), pp. 58-68.

Watkins, CJCH & Dayan, P. (1992) 'Q-learning', Machine Learning, 8(3-4), pp. 279-292.

Littman, ML (1994) 'Jogos de Markov como uma estrutura para aprendizado por reforço multiagente', em Machine Learning Proceedings 1994, pp. 157-163. Morgan Kaufmann.

McCarthy, J. (2007) O que é inteligência artificial? Universidade de Stanford, Stanford, CA.

Zadeh, LA (1965) 'Conjuntos Fuzzy', Informação e Controle, 8(3), pp. 338-353.

Tsetlin, ML (1973) Teoria dos autômatos e modelagem de sistemas biológicos. Academic Press.

Turing, AM (1950) 'Máquinas de computação e inteligência', Mind, 59(236), pp. 433-460.