Яндекс опубликовал новую оупенсорсную технологию чтения больших данных  Оригинал

Яндекс выложил в опенсорс технологию, которая помогает экономить до 20% серверных мощностей. Речь о формате YaFF (Yet Another Flat Format), предназначенном для передачи и чтения данных для высоконагруженных сервисов. Как поясили "РГ" в компании, технология позволяет работать с данными, не расходуя ресурсы на их распаковку.

По прогнозу JLL, совокупные инвестиции в дата-центры до 2030 года могут достичь $3 трлн, из которых $1–2 трлн пойдут на закупку оборудования — серверов, GPU и сетевой инфраструктуры. По данным аналитиков, совокупные капитальные расходы пяти крупнейших ИТ-компаний — Microsoft, Alphabet, Amazon, Meta (признана в России экстремистской и запрещена) и Oracle — в 2026 году превысят $600 млрд, что на 36% выше показателей 2025 года. Около 75% этих инвестиций ($450 млрд) приходится на ИИ-инфраструктуру — серверы, GPU, датацентры и оборудование.

Одна из малоизвестных, но очень затратных операций в высоконагруженных системах — сериализация и десериализация данных. Как пояснил "РГ" собеседник на рынке ИТ, современные сервисы и приложения получают данные по сети или с диска в компактном виде. Чаще всего крупные ИТ-компании используют для «упаковки» и передачи данных формат Protobuf. Он решает большинство задач, но имеет существенный недостаток: полученные данные нужно каждый раз распаковывать. Это ресурсоёмкая операция, на которую уходит до 10% всех мощностей сервиса. Альтернативный формат — FlatBuffers — позволяет читать данные б...