Auf dem Weg zu intelligenten Aufzügen – die KLEEMANN-Erfahrung

Mit vier Innovationen: Passagiernotfallerkennung (PED), elektronische Wellenmessung (ESM), G-Braille-Aufzugsassistenzsystem für sehbehinderte Menschen und Informationen zur sicheren Umgebung (ISE)

von Dr. Giorgos Georgiadis

Dieses Papier wurde auf dem International Elevator & Escalator Symposium 2023 in Edinburgh, Schottland, vorgestellt.

Die Industrie setzt auf intelligente Abläufe aufgrund der unübertroffenen Vorteile, die sie bieten. Sie bieten eine Betriebsumgebung, die agiler, reaktionsfähiger und interaktiver mit dem Benutzer ist.

Der Aufzug ist ein unverzichtbares Gerät für das tägliche Leben der Menschen. Für die Aufzugsbranche ist die Integration intelligenter Technologie angesichts der Bedeutung, die sie im täglichen Leben hat, eher eine Notwendigkeit als eine Option.

In diesem Artikel werden vier innovative und intelligente Funktionen/Produkte für Aufzüge untersucht, die die Sicherheit der Fahrgäste, die Konstruktion, die Zugänglichkeit und den Komfort verbessern. Diese Funktionen sind:

1. Passagier-Notfallerkennungssystem (PED)
2. Elektronisches Wellenmesssystem (ESM)
3. G-Braille-System
4. Informationen zum Safe Environment System (ISE)

1. PED, Passenger Emergency Detection System

Das PED-System zielt darauf ab, gesundheitliche Notsituationen (z. B. Herzinfarkt, Ohnmacht) für Passagiere, die in dieser dringenden Situation nicht reagieren können, automatisch zu erkennen. Durch den Einsatz von Tiefenkameras und KI-Algorithmen erkennt das System den Bewusstseinsverlust eines Passagiers in der Kabine und löst eine sofortige Reaktion des Aufzugs aus. Es löst eine Reihe von Aktionen aus, wie z. B. das automatische Rufen von Rettungsdiensten, das Verschieben des Aufzugs ins Erdgeschoss, das Öffnen der Türen und die Benachrichtigung umliegender Krankenhäuser über das Internet der Dinge (IoT).

Das System nutzt Kameras und fortschrittliche KI-Algorithmen^[1]. erkennt die Anwesenheit von Personen im Aufzug. Das PED-System nutzt Technologie mit Tiefenkameras, die keine personenbezogenen Daten aufzeichnen und daher nicht unter die Datenschutz-Grundverordnung fallen. Die Methodik zur Vorfallerkennung umfasst drei Schritte:

1. Erkennung und Verfolgung bewegter Gegenstände
2. Extraktion von Ereignismerkmalen, die den Zustand der Elemente angeben
3. Eine Methode des Hidden-Markov-Modells (HMM), die auftretende Vorfälle anhand von Ereignismerkmalen erkennt

Zur Sturzerkennung wird ein dreistufiges Markov-Modell (Abbildung 1) verwendet, das das obige Ereignis berücksichtigt.

Der erste Zustand (S1) bezieht sich auf einen nicht fallenden Zustand, z. B. ein menschliches Stehen oder eine leichte Bewegung.

Der zweite Zustand (S2) stellt den tatsächlichen Fall dar, der durch eine stark abnehmende Vertikalgeschwindigkeit (bei abnehmender Höhe nimmt die Geschwindigkeit negative Werte an) und eine zunehmende Flächenvarianz gekennzeichnet ist.

Der dritte Zustand (S3) bedeutet das Ende des Sturzes und erklärt die Erkennung des Vorfalls.

Die Übergangswahrscheinlichkeiten basieren auf Ereignismerkmalen und sind in der folgenden Matrix definiert:

Die Wahrscheinlichkeit F,

stellt eine Sigmoidfunktion dar, die mit hohen Werten nahe 1 Fälle mit hoher (negativer) Vertikalgeschwindigkeit und hoher Flächenkovarianz begünstigt, also Fälle, die dem Fallzustand entsprechen. Hier ist T eine durch Training definierte Konstante.

Funktion u,

erklärt, dass der Zustand S3, der die Erkennung des Sturzes anzeigt, nicht erreicht werden kann, wenn sich die gestürzte Person nicht unterhalb einer Lockerschwelle HT befindet.

Im folgenden Schema (Abbildung 2) ist eine Beschreibung des Systems dargestellt.

Die Tiefenkamera und der Algorithmus erkennen die menschliche Form. Spezifische Funktionen werden vom System überwacht. Das erste Merkmal ist die Vertikalgeschwindigkeit des höchsten Punktes der verfolgten Person, die über ein konstantes Zeitfenster mehrmals pro Sekunde gemessen wird. Das zweite Merkmal bezieht sich auf die Flächenvarianz. Wenn eine Person stürzt, vergrößert sich die gemessene Fläche. Dieses Merkmal wird im gleichen Frequenz- und Zeitfenster wie die Geschwindigkeit gemessen. Die letzte verwendete Funktion ist die Höhe. Abgesehen von ihrer Bedeutung für die Berechnung der Vertikalgeschwindigkeit erleichtert sie die Vermeidung von Fehlalarmen, da eine gestürzte Person nicht höher als 1 m sein darf. Alle diese Funktionen werden aus der Tiefenkamera extrahiert. Nachdem das neuartige HMM zur Sturzerkennung mit diesen drei Merkmalen gefüttert wurde, wird wie zuvor beschrieben eine Sturzwahrscheinlichkeit extrahiert.

Wenn das HMM eine hohe Sturzwahrscheinlichkeit ermittelt (Abbildung 3), wird der Zeitzähler gestartet. Erfolgt nach einem bestimmten Grenzwert (10 s) keine Erholung, wird ein Alarmzustand eingeleitet. Wie bereits erwähnt, werden eine Reihe von Aktionen durchgeführt, wie z. B. das automatische Rufen von Rettungsdiensten, das Verschieben des Aufzugs ins Erdgeschoss, das Öffnen der Türen, das Einstellen des Kabinenluftgebläses auf maximale Versorgung und die Benachrichtigung umliegender Krankenhäuser über das IoT.

PED ist ein revolutionäres System, das rund um die Uhr eine schnelle und effiziente Reaktion auf kritische Situationen gewährleistet und möglicherweise Leben rettet.

2. ESM, Elektronisches Wellenmesssystem

Das ESM (Abbildung 4) ist ein System, das die Abmessungen eines Aufzugsschachts mithilfe von Computer-Vision-Ansätzen und optischen Sensoren ohne menschliches Eingreifen automatisch messen kann. Das System erkennt Abweichungen in den Baumaßen, Abweichungen von der theoretischen Vertikalrichtung und Fehler in den Wandflächenmaßen. Darüber hinaus berechnet es das maximal verfügbare Schachtvolumen für die Aufzugsanlage. ESM sorgt für genaue Messungen, ermöglicht eine präzise Installation und Wartung von Aufzügen und verbessert so die Gesamtleistung und Sicherheit.

Das ESM-Werkzeug ist leicht (mit einem Montagesystem von weniger als 8 kg), tragbar und batteriebetrieben. Die Montage erfolgt im obersten Stockwerk und benötigt keine Wanddurchdringung.

Das Architekturdiagramm für das entwickelte Messsystem ist in Abbildung 5 dargestellt. Genauer gesagt versorgt eine tragbare Powerbank die verwendete Recheneinheit, wie den Jetson Nano, mit Strom und bietet so die Möglichkeit, mehrere Messungen durchzuführen, ohne dass eine Aufladung erforderlich ist.

Bezüglich der Messeinheit und der eingesetzten Sensoren sind drei unterschiedliche Geräte direkt an den NVIDIA Jetson-Rechner angeschlossen^[2]. das für die Kommunikation der Sensoren sowie für die Ausführung der Computer-Vision-Algorithmen verantwortlich ist, wie in Abbildung 6 dargestellt. Das erste ist ein hochauflösendes LiDAR mit 11 Umdrehungen pro Sekunde, das die horizontalen Koordinaten der Welle liefert . Der zweite Sensor hingegen ist der Höhenentfernungslaser, der die Gerätehöhe anhand der vertikalen Koordinate berechnet. Der dritte ist ein Magnetic Pickup (MPU)-Sensor, der für die Inspektion der Umlaufbahn der Versuchsanordnung verantwortlich ist und die Nick- und Rollwinkel misst, die aufgrund kleiner Luftströmungen im Inneren des Messschachts verändert werden können. Bei der Berechnung des Gierwinkels kommen Computer-Vision-Methoden zum Einsatz.

Um ungenaue Ergebnisse durch unkontrollierte Rotation des Geräts aufgrund von Luftströmen im Inneren des Schachts zu vermeiden, wurde ein MPU-Sensor eingebaut. Zunächst werden die Abweichungen von Nick und Roll berechnet und die erfassten Werte aus dem LiDAR (X- und Y-Werte) entsprechend korrigiert. In Situationen, in denen die Nick- und Rollwerte länger als 3 aufeinanderfolgende Sekunden über 10° liegen, wird dem Benutzer eine Meldung angezeigt, die ihn über den Status informiert und eine Wiederholung des Vorgangs vorschlägt, um eine zuverlässige Messung sicherzustellen. In Abbildung 7 ist eine Pitchabweichung schematisch dargestellt, gekoppelt mit den berechneten und den tatsächlichen Werten der X-, Y- und Z-Achse.

Das System wird, wie zuvor gezeigt, im obersten Stockwerk montiert und beginnt mit Hilfe eines kleinen Elektromotors mit einer Geschwindigkeit von etwa 45 mm/s den Abstieg. Der Algorithmus^[3]. übernimmt Daten vom LiDAR. Anschließend werden die Roll-, Gier- und Nickneigungen berechnet. Der Gierwinkel wird mithilfe von Computer-Vision-Techniken berechnet, während Nick- und Rollwinkel vom MPU-Sensor abgeleitet werden. Es kommt ein Algorithmus zur Registrierung der Punktwolke zum Einsatz. Im nächsten Schritt wird eine Methode zur Messung des maximalen Rechtecks ​​innerhalb der Wolke angewendet. Daraufhin werden die Abweichungen des Schachts im Vergleich zum theoretischen Schacht sowie der maximale Aufzugsschacht (der für die Installation verfügbar ist) und die tatsächliche Neigung des Schachts extrahiert, wie in Abbildung 8 dargestellt.

Darüber hinaus wurden mehrere Module bereitgestellt, wie zum Beispiel ein Manipulationstool für den Wolkenpunkt im 3D-Raum zur gründlichen Inspektion des Schachts und ein Messtool, das den Abstand zwischen zwei ausgewählten Punkten der Wolke berechnet, wie in Abbildung 9 dargestellt.

Aufgrund der Genauigkeit der Berechnungsergebnisse und der benutzerfreundlichen grafischen Benutzeroberfläche der Anwendung konnte der Benutzer den untersuchten Schacht problemlos dimensionieren, wodurch Stunden für die manuelle Vermessung des Schachtinneren eingespart wurden und so neue, hohe Standards in der anspruchsvollen Aufzugsindustrie erreicht wurden.

3. G-Braille, Assistenzsystem für sehbehinderte Menschen

Das G-Braille-System (Abbildung 10) erleichtert sehbehinderten Personen die Nutzung des Aufzugs. Es besteht aus einem kleinen, kompakten Sender mit Tasten, die das 6-Punkt-Braille-System darstellen, das mit der Aufzugssteuerung gekoppelt ist. Nach der Kopplung kann die sehbehinderte Person durch Drücken der Tasten in G-Braille entsprechend der Braille-6-Punkt-Codierung die gewünschte Etage auswählen. Mit dieser neuartigen Methode „liest“ der Aufzug vom G-Braille-Sender die gewünschte Etage vor, ohne dass die sehbehinderte Person durch Berühren aller Tasten auf dem Kabinenbedienfeld (COP) „vorgelesen“ werden muss. Dieses innovative System verbessert die Zugänglichkeit und Unabhängigkeit für sehbehinderte Passagiere.

Der Aufbau besteht aus einer Fernbedienung für jeden Benutzer namens „G-Braille“, einer Bodeneinheit, die in jedem Etagenbedienfeld einer Aufzugsanlage platziert ist, und schließlich einem Gateway-Knoten namens „G-Braille-Gateway“, der in der Aufzugskabine platziert ist. Alle Geräte sind mit einem Mikrocontroller ausgestattet, der die Kommunikation über das Bluetooth Low Energy (BLE)-Protokoll unterstützt. Wenn das Fernbedienungsgerät eingeschaltet ist, sucht es aktiv nach Bluetooth-Dienstmerkmalen, die von der Bodeneinheit und dem Braille-Gateway initiiert werden. Die Funktion der Bodengeräte besteht darin, eine Bluetooth-Diensteigenschaft bekannt zu machen, mit der sich entfernte Geräte in unmittelbarer Nähe befinden und eine Verbindung herstellen und abonnieren können. Nachdem für eine bestimmte Zeit eine Verbindung hergestellt wurde, aktiviert die Etageneinheit die Tasterbox der Etage und ruft so den Aufzug in die jeweilige Etage. Nach einem erfolgreichen Aufzugsrufvorgang zwischen der Fernbedienung und der Etageneinheit beendet diese die Bluetooth-Sitzung, damit sich die Fernbedienung bei Ankunft der Kabine mit dem G-Braille-Gateway verbinden kann.

Die Fernbedienung verbindet sich über einen Pairing-Vorgang mit dem G-Braille-Gateway und es wird eine verschlüsselte Verbindung hergestellt. Das G-Braille-Gateway fungiert als Knoten im CAN-Bus-Netzwerk des Aufzugs. Der Benutzer kann Befehle bezüglich seiner Etagenpräferenz über den Braille-Code auf seiner G-Braille-Fernbedienungseinheit in das Gateway eingeben, das die empfangenen Befehle für ausgewählte Etagen interpretiert.

Ein Vibrationsmotor und ein Summerlautsprecher in der G-Braille-Einheit sind dafür verantwortlich, sehbehinderten Personen mitzuteilen, ob die Aufzugskabine angekommen ist oder ein Braille-Befehl erfolgreich eingegeben wurde. Das G-Braille-Gateway unterstützt bis zu sechs gleichzeitige Fernsteuerungsverbindungen. Zum ersten Mal erfolgreich verbundene Remote-Geräte werden mit dem Gateway verbunden, und jede weitere Verbindung erfolgt automatisch, ohne dass ein Pairing-Prozess erforderlich ist. Darüber hinaus unterstützt es das Speichern der Stockwerkspräferenzdaten eines Benutzers, sodass ein Benutzer in Zukunft ohne Interaktion mit der Fernbedienung zu einem vordefinierten Stockwerk transportiert werden kann. Abbildung 11 zeigt den in den vorherigen Absätzen beschriebenen Ablauf der Ereignisse.

Abbildung 12 zeigt eine weitere Variante des G-Braille-Systems, bei dem die Einheit fest am COP befestigt ist. In diesem Fall versucht der Benutzer, den Vier-Finger-Locator zu finden und drückt dann mit dem Daumen die G-Braille-Tasten und wählt die Etage aus. 

4. ISE, Informationen zur sicheren Umgebung

Das ISE-System (Abbildung 13) konzentriert sich auf das Wohlbefinden der Passagiere, indem es Echtzeitinformationen über die Luftqualität in der Aufzugskabine liefert. Es verwendet eine Tiefenkamera (die keine persönlichen Daten aufzeichnet), um Informationen über die Passagierzahlen in der Kabine zu sammeln. Es liefert Informationen wie zum Beispiel den Zeitpunkt der letzten Nutzung des/der Aufzüge, die Anzahl der Personen während der letzten Fahrt und den Grad der Luftfrische (vollständiger Luftaustausch). Basierend auf Forschungsdaten aus dem Jahr 2019,^[4]. Aufzugsnutzer wünschen sich einen „angenehmen Geruch in der Kabine und eine saubere Atmosphäre im Aufzug“. Diese Präferenz wurde während der COVID-19-Pandemie zu einem absoluten Bedürfnis.

Die ISE-Funktion deckt diesen Bedarf ab. Es informiert Personen, die darauf warten, die Aufzugskabine zu betreten, mit Parametern in Bezug auf die Luftqualität in der Kabine, die Anzahl der Passagiere auf der letzten Fahrt des Aufzugs und die Anzahl der Personen in der Kabine, wenn sich der Aufzug bewegt. Es gibt dem Benutzer eine Schätzung der Zeit, die erforderlich ist, um die Luft in der Kammer vollständig zu recyceln, basierend auf Korrelationsfunktionen des Luftzirkulationssystems der Kabine. Der Benutzer, der den Aufzug während der Fahrt von einer Haltestelle (nicht vom Erdgeschoss) aus anrufen möchte, hat Informationen darüber, wie viele Passagiere sich in der Kabine befinden. Der Benutzer kann dann entscheiden, ob er den Aufzug betritt oder nicht oder ob zusätzliche Schutzmaßnahmen wie Masken erforderlich sind. In Fällen, in denen ein Zielkontrollsystem beteiligt ist, kann ein Modus ausgewählt werden, der die Kabine mit dem höchsten verfügbaren Grad an recycelter Luft verteilt.

Die ISE-Lösung ist auch als App für Mobiltelefone verfügbar, wie in Abbildung 14 dargestellt.

Das ISE-System bietet dem Benutzer ein einfaches und praktisches Informationstool zur erwarteten Luftqualität in der Kabine. Darüber hinaus trägt es dazu bei, das Bewusstsein für die Gruppe der Menschen zu schärfen, die für Gesundheitsthemen sensibel sind.  

Referenzen

[1] Krinidis, S., Stavropoulos, G., Ioannidis, D. und Tzovaras, D. (2014). „Ein robustes Echtzeit-Multispace-Belegungsextraktionssystem, das datenschutzschützende Sensoren nutzt.“ ISCCSP.
[2] S. Cass, „Nvidia macht es einfach, KI einzubetten: Der Jetson Nano packt eine Menge maschineller Lernleistung in DIY-Projekte“, [Hands-on] IEEE Spectrum, Bd. 57, Nr. 7, 2020, S. 14-16.
[3] Vrochidis Alexandros, Charalampous Paschalis, Dimitriou Nikolaos, Kladovasilakis Nikolaos und Georgiadis Georgios, „Automatische Aufzugsschachtinspektion mit einem Multisensor-Messsystem und Computer-Vision-Techniken.“
[4] KLEEMANN HELLAS, Nationale Kapodistrias-Universität Athen, Abteilung für Psychologie, 2019, „Studie zu Einstellungen, Wahrnehmungen zur Sicherheit, Ängsten und Anforderungen der Benutzer hinsichtlich des Betriebs von Aufzügen.“