Trusted AI: Teradata setzt auf offene Tabellenformate (OTFs), Iceberg und Delta Lake
- Bild-Infos
- Download
München (ots)
Teradata AI Unlimited ist ab Q2/2024 als Public Preview auf AWS- und Azure- Marketplace verfügbar
Neue Integrationen von Drittanbietern mit modernen Data-Stack-Tools steigern die Produktivität und ermöglichen ein offenes und vernetztes Ökosystem für Trusted AI
Teradata kündigte heute die Unterstützung der offenen Tabellenformate (OTFs) Apache Iceberg und Linux Foundation Delta Lake an. Mit diesem Schritt zu mehr Offenheit und Interoperabilität trägt Teradata dem Branchentrend zu Open-Source-Technologien Rechnung. Zusätzlich stehen Teradata VantageCloud Lake und Teradata AI Unlimited im zweiten Quartal 2024 als Public Preview auf den AWS- und Azure-Marktplätzen zur Verfügung. Bei VantageCloud Lake handelt es sich um eine Cloud-native Analytics- und Datenplattform für KI. Teradata AI Unlimited ist eine On-Demand und Cloud-native KI/ML-Engine. Teradata verfolgt mit seinen Datenmanagement-Lösungen einen offenen und vernetzten Ansatz, der Unternehmen bei einer modernen Datenstrategie für vertrauenswürdige KI (Trusted AI) unterstützen soll.
Anbieterneutrale OTF-Unterstützung
Offene Tabellenformate (Open Table Format bzw. OTF) stellen einen bedeutenden Wechsel von proprietären Datenspeicherlösungen hin zu flexibleren, plattformübergreifenden Speicherlösungen dar. Ziel ist es, Interoperabilität, Kosteneffizienz und Auswahlmöglichkeiten zu verbessern. Obwohl einige Anbieter angeben, die Offenheit von OTFs zu unterstützen, binden sie ihre Nutzer häufig an bevorzugte Formate. Dies schränkt das Potenzial für Kreativität und Innovation nicht nur bei Early Adopters ein, sondern langfristig bei allen Nutzergruppen. Teradata verfolgt ein offenes und vernetztes Ökosystem für Trusted AI:
- Die anbieterneutrale OTF-Unterstützung und Katalogintegration von Teradata sind daher so ausgelegt, dass die Plattform verschiedene Kataloge zuverlässig lesen kann.
- Darüber hinaus tragen Parallel Processing, Workload-Management und Abfrageoptimierung von gemeinsam genutzten Daten zu optimaler Performance bei.
- Die Teradata-Plattform integriert nahtlos First-Party-Services wie Apache Iceberg und Linux Foundation Delta Lake. Dadurch ermöglicht sie den Cross-Read- und Cross-Write-Zugriff auf Daten, die auf verschiedenen Plattformen gespeichert sind, darunter AWS Glue, Unity und Apache Hive.
- Diese Interoperabilität erstreckt sich über Multi-Cloud- und Multi-Data-Lake-Umgebungen und bietet eine nahtlose Nutzererfahrung bei der Arbeit mit Daten ohne aufwändige Datenbewegungen oder Änderungen.
David Menninger, Executive Director bei Ventana Research, einem ISG-Unternehmen, betont: "In der heutigen von Daten geprägten Arbeitswelt beobachten wir eine breite Akzeptanz für offene Tabellenformate. 51 Prozent der Unternehmen setzen Delta-Tabellen und 27 Prozent Apache Iceberg aktiv ein. Dieser Trend zeigt deutlich die Konzentration der Branche auf eine einzige Datenquelle und die Möglichkeit, mehrere Engines für diese Daten zu nutzen." Weiterhin erwähnt er: "Teradatas Engagement für offene Tabellenformate sowie die Einführung von VantageCloud Lake und AI Unlimited Engines, die mit diesen Formaten arbeiten, ermöglichen es Kunden, kostengünstigen Speicher mit Funktionalität und Performance auf Enterprise-Niveau zu kombinieren."
Teradata AI Unlimited
Die Einführung von KI hat zu einer schnellen Konsolidierung von Data Warehouses, Analytics und Data Science Workloads in einheitlichen Lakehouses geführt. Teradata erweitert seine Lakehouse-Fähigkeiten durch die Unterstützung von OTFs, die eine flexible, kostengünstige und benutzerfreundliche Speicherabstraktionsebene bieten. Anwender können Teradata AI Unlimited und andere Analyse-Engines nutzen, indem sie ihre eigenen Datensätze in ihren Cloud-Objektspeichern behalten. Dies geschieht ohne den Aufwand oder die Kosten eines Datentransfers. Der sichere, gemeinsame Zugriff auf große Datensätze ermöglicht es Nutzern, Datenpipelines zu erstellen, Modelle zu bewerten und zu trainieren, Analysen und Entscheidungsfindung zu verbessern und vieles mehr.
Die Arbeit mit KI-Datensätzen ist eine der häufigsten Arten, in denen Unternehmen heute OTFs nutzen. Daher ist es wichtig, dass Plattformen zur Beschleunigung von KI-Anwendungsfällen entsprechende Datenformate unterstützen - so wie Teradata AI Unlimited: eine offene und vernetzte On-Demand- und Cloud-native KI/ML-Engine, die nun auch OTFs unterstützt. AI Unlimited, das in Kürze als Public Preview auf AWS- und Azure-Marketplace verfügbar sein wird, ermöglicht es Data Scientists, Data Engineers und Entwicklern, KI-Projekte in großem Umfang zu testen, mit ihnen zu experimentieren und im Betrieb einzusetzen:
- Teradata AI Unlimited ermöglicht Hochleistungsberechnungen, Parallel Processing und fortschrittliche In-Engine-Analysen, die für die Ausführung und Operationalisierung von KI-Workloads erforderlich sind.
- Amazon SageMaker und Azure Machine Learning können in AI Unlimited-Workloads integriert werden. Azure OpenAI Services bieten darüber hinaus große Sprachmodelle (Large Language Models, LLMs), die für die Entwicklung generativer KI-Anwendungen verwendet werden können.
- Die in AI Unlimited erstellten Prototypen können über VantageCloud nahtlos in die Produktion überführt werden, was Unternehmen einen deutlichen Mehrwert bieten kann.
- AI Unlimited umfasst die Funktionen von Teradata ClearScape Analytics. Diese bieten Unternehmen die Transparenz, Nachvollziehbarkeit und Reproduzierbarkeit, die für vertrauenswürdige KI (Trusted AI) erforderlich sind.
Neue Integrationen
Mit OTFs und AI Unlimited lassen sich die Kosten und die Komplexität von KI-Workloads reduzieren, indem sie die Kosten für die Datenspeicherung und die Notwendigkeit von Datenbewegungen oder Replikationen minimieren. Zusätzliche neue Integrationen von Drittanbieter-Tools - Airbyte Cloud, Apache Airflow(TM) und dbt(TM) - können den Aufbau von Datenpipelines beschleunigen und die Produktivität steigern, indem sie Data Engineers von repetitiven Aufgaben befreien.
- Airbyte Cloud: Verbesserung der Dateneingabe in VantageCloud mit einem vollständig verwalteten und gehosteten Service, der eine zeitaufwändige Einrichtung und Verwaltung der Infrastruktur überflüssig macht.
- Apache Airflow: Programmatische Erstellung, Planung und Überwachung von Workflows.
- dbt (data build tool bzw. Datenerstellungstool): Verwaltet das T in ELT (Extract Load Transform) und ist ein häufig verwendetes Tool für die Datentransformation in Datenbanken, Data Lakes und Data Warehouses.
"Die Zukunft ist technologieoffen. Teradata kultiviert seit vielen Jahren ein dynamisches Ökosystem. Der Einbezug von OTFs sowie die Erweiterung unseres On-Demand-KI/ML-Angebots zeigen, wie ernst es uns damit ist, Unternehmen das offenste Ökosystem mit nahtlos ineinandergreifenden Tools für Cloud-Analytics und Daten zu bieten", sagte Hillary Ashton, Chief Product Officer bei Teradata. "Dies ist besonders wichtig, da Unternehmen daran arbeiten, Trusted AI in ihre Ökosysteme zu integrieren. Eine offene Plattform wie die unsere kann enorme Vorteile bieten - beschleunigte Innovation, verbesserte Produktivität und mehr - aber immer innerhalb eines klar definierten Rahmens von Transparenz und Erklärbarkeit, um das Vertrauen in die Technologie zu gewährleisten."
Verfügbarkeit
Die OTF-Unterstützung in VantageCloud Lake und AI Unlimited auf AWS und Azure wird im Juni 2024 verfügbar sein.
AI Unlimited wird im 2. Quartal 2024 als Public Preview auf AWS- und Azure-Marketplace verfügbar sein.
Integrationen von Airbyte Cloud, Apache Airflow und dbt sind ab sofort verfügbar. In diesem Blog finden Sie weitere Informationen.
Pressekontakt:
Teradata | Allison+Partners
teradatager@allisonpr.com
www.teradata.de