Was ist Yarn?

Yarn ist ein Java-Script-Paketmanager und ein Dependency-Management-Tool und wird in der Softwareentwicklung verwendet. Die Software wurde entwickelt, um die Verwaltung von Bibliotheken und Abhängigkeiten in Projekten zu erleichtern. Diese Open-Source-Software wird in der Regel in Verbindung mit Node.js-Anwendungen eingesetzt, obwohl es auch für andere Programmiersprachen und Umgebungen verwendet werden kann.

Aufgaben und Vorteile

• Paketverwaltung: Eine der Hauptaufgaben besteht darin, die Verwaltung von Paketen und Abhängigkeiten in einem Softwareprojekt zu erleichtern. Es ermöglicht Entwicklern, externe Bibliotheken und Module einfach zu installieren und zu aktualisieren.
• Performance: Yarn ist bekannt für seine Geschwindigkeit und Effizienz bei der Paketinstallation. Es verwendet einen globalen Cache und parallelisiert die Installation, um die Leistung zu optimieren.
• Konsistenz: Die Software stellt sicher, dass alle Entwickler in einem Team dieselben Versionen von Abhängigkeiten verwenden, um Inkonsistenzen und Konflikte zu vermeiden.
• Sicherheit: Sie bietet Sicherheitsprüfungen für Pakete und Abhängigkeiten, um Schwachstellen und Sicherheitsprobleme zu identifizieren und zu beheben.
• Reproduzierbarkeit: Entwickler können die genaue Umgebung und die Versionen der Abhängigkeiten festlegen, um die Reproduzierbarkeit von Builds sicherzustellen.

Wie funktioniert Yarn?

Die Paketverwaltungssoftware funktioniert, indem es eine Konfigurationsdatei (normalerweise package.json) in einem Softwareprojekt analysiert, um die Abhängigkeiten zu identifizieren. Anschließend werden diese Abhängigkeiten aus dem Yarn-Paketverzeichnis heruntergeladen und installiert. Yarn verwendet einen globalen Cache, um bereits heruntergeladene Pakete zu speichern, was die Geschwindigkeit erhöht und Bandbreitenkosten reduziert.

Bei der Installation von Abhängigkeiten stellt die Software sicher, dass die genauen Versionen verwendet werden, die in der Konfigurationsdatei angegeben sind. Dies trägt zur Konsistenz und Reproduzierbarkeit des Builds bei.

Ein Beispiel für die Verwendung in einem Node.js-Projekt:

Initialisieren Sie ein neues Projekt mit yarn init.

Fügen Sie Abhängigkeiten zur package.json-Datei hinzu.

Führen Sie yarn install aus, um die Abhängigkeiten zu installieren.

Yarn lädt die angegebenen Versionen der Abhängigkeiten herunter und speichert sie im globalen Cache.

Das Projekt ist nun einsatzbereit und kann gestartet werden.

Nachteile von Yarn

• Kompatibilität: Yarn kann in einigen Fällen zu Kompatibilitätsproblemen führen, wenn es mit Projekten verwendet wird, die ursprünglich für NPM entwickelt wurden. Dies kann dazu führen, dass bestimmte Pakete oder Module nicht ordnungsgemäß funktionieren.
• Lernkurve: Für Entwickler, die bereits mit anderen Paketverwaltungssystemen vertraut sind, kann es eine gewisse Lernkurve erfordern, um sich an die Verwendung von Yarn anzupassen.
• Größe des globalen Cache: Der globale Cache von Yarn kann mit der Zeit wachsen und erfordert möglicherweise regelmäßige Bereinigungen, um Speicherplatz freizugeben.
• Abhängigkeit von externen Quellen: Yarn hängt von externen Quellen ab, um Abhängigkeiten herunterzuladen. Wenn diese Quellen nicht verfügbar sind oder Ausfallzeiten haben, kann dies die Entwicklung behindern.

Architektur

Die Architektur von Apache Hadoop Yarn ist entscheidend für das Ressourcenmanagement und die Ausführung von Big-Data-Anwendungen in einem Hadoop-Cluster. Yarn ist eine zentrale Komponente im Hadoop-Framework und bietet eine flexible und skalierbare Plattform zur Verwaltung von Ressourcen und zur Ausführung von Anwendungen. Die Yarn-Architektur besteht aus mehreren Hauptkomponenten, die in einem Hadoop-Cluster zusammenarbeiten:

• ResourceManager (RM):

  Der ResourceManager ist das zentrale Ressourcenmanagement- und Planungselement in der Yarn-Architektur. Er ist auf einem dedizierten Masterknoten im Cluster installiert und überwacht und verwaltet alle Ressourcen im Cluster. Der RM besteht aus zwei Hauptkomponenten: dem Scheduler und dem ApplicationManager.

• Scheduler:

  Der Scheduler ist für die Zuteilung von Ressourcen an Anwendungen im Cluster verantwortlich. Demnach verwendet dieser verschiedene Algorithmen zur Ressourcenzuteilung, um sicherzustellen, dass die Ressourcen effizient genutzt werden und dass Anwendungen fair behandelt werden.

• ApplicationManager:

  Der ApplicationManager ist für die Verwaltung von Anwendungen im Cluster verantwortlich. Jede laufende Anwendung hat ihren eigenen ApplicationMaster, der von RM verwaltet wird.

• NodeManager (NM):

  NodeManager ist auf jedem Knoten im Hadoop-Cluster installiert und verantwortlich für die Verwaltung der Ressourcen auf diesem Knoten. Dies umfasst die Überwachung der Ressourcennutzung, das Starten und Beenden von Containern und die Kommunikation mit dem ResourceManager.

• Container:

  Container sind isolierte Ausführungsumgebungen für Anwendungen. Sie enthalten die erforderlichen Ressourcen wie CPU, Speicher und Festplattenspeicher, um eine Anwendung auszuführen. Die Container werden vom NodeManager verwaltet und auf den Knoten des Clusters ausgeführt.

• ApplicationMaster (AM):

  Der ApplicationMaster ist eine Anwendungs-spezifische Komponente, die von jeder ausgeführten Anwendung erstellt wird. Sie wird vom ResourceManager verwaltet und ist für die Verhandlung der Ressourcenanforderungen der Anwendung und die Überwachung der Anwendung während ihrer Laufzeit verantwortlich. Jede Anwendung hat ihren eigenen ApplicationMaster.

• Applikationen:

  Anwendungen in der Yarn-Architektur können verschiedene Big-Data-Verarbeitungsaufgaben umfassen, wie MapReduce-Jobs, Spark-Anwendungen, Hive-Abfragen und andere. Jede Anwendung hat ihre eigenen Ressourcenanforderungen und wird von einem eigenen ApplicationMaster verwaltet.

• Scheduler API und Web Application Proxy:

  Der ResourceManager stellt APIs und Webanwendungsschnittstellen bereit, die es Administratoren und Benutzern ermöglichen, den Zustand des Clusters und der Anwendungen zu überwachen und zu verwalten.

Die Yarn-Architektur ermöglicht die effiziente Nutzung von Ressourcen in einem Hadoop-Cluster und die gleichzeitige Ausführung verschiedener Big-Data-Anwendungen. Die Trennung von Ressourcenmanagement und Anwendungsmanagement trägt zur Skalierbarkeit und Flexibilität bei und sorgt dafür, dass Anwendungen unabhängig voneinander verwaltet und ausgeführt werden können. Dies trägt dazu bei, die Leistung und Ressourcennutzung in großen Big-Data-Clustern zu optimieren.

Weiteres Wissen für Unternehmen

Wir haben noch mehr Know-how zu bieten. Holen Sie sich unsere kostenfreien E-Books direkt in Ihr E-Mail-Postfach!

Zu den E-Books

Fazit

Yarn ist ein leistungsstarkes Werkzeug für die Paketverwaltung und das Dependency-Management in der Softwareentwicklung. Es bietet Geschwindigkeit, Konsistenz und Sicherheit bei der Installation von Abhängigkeiten in Projekten. Unternehmen können Yarn nutzen, um die Effizienz und Zuverlässigkeit ihrer Entwicklungsprozesse zu steigern. Obwohl es einige Herausforderungen und Alternativen gibt, bleibt Yarn ein wichtiger Bestandteil der modernen Softwareentwicklung und trägt zur erfolgreichen Umsetzung von Projekten bei.

Haben wir Ihr Interesse geweckt?

Erfahren Sie mehr über heise homepages! Sarah Nause beantwortet gerne Ihre Fragen. Rufen Sie uns an unter 0511 / 53 52 203. (Mo bis Fr von 9 – 16 Uhr)

Kostenloses & unverbindliches Angebot erhalten