Содержание
Из-за бума AI интернет-архивам стало сложнее сохранять сеть: крупные HDD подорожали до 3 раз, а антискрейпинг всё чаще блокирует не тех ботов. Об этом 404 Media рассказали представители Internet Archive и Wikimedia Foundation.
Проблема упирается в железо и в доступ к данным. И обе части сейчас дорожают и усложняются одновременно.
HDD и NAND в дефиците, а ёмкие диски исчезают со складов
По данным 404 Media, AI-бум спровоцировал «storage crisis»: дефицит затронул и NAND, и механические накопители. Производственные мощности под большие объёмы, по описанию из материала, «сжались», а оставшиеся партии заранее выкупают гиперскейлеры. архивам и обычным покупателям сложнее достать ёмкие диски по нормальной цене.
В первую очередь это бьёт по накопителям большого объёма. Диски, которые ещё недавно были стандартной закупкой для архивов, теперь либо отсутствуют, либо продаются с заметной наценкой.
Internet Archive: 210 ПБ уже на полке, плюс 100 ТБ каждый день
Internet Archive хранит около 210 петабайт данных. И это не статичная «библиотека»: организация добавляет ещё примерно 100 терабайт в день в коллекции вроде Wayback Machine.
Основатель Internet Archive Брюстер Кейл прямо говорит о цене вопроса. В разговоре с 404 Media он назвал поддержку архивов «очень реальной проблемой, которая стоит нам времени и денег».
Под задачу лучше всего подходят HDD на 28-30 ТБ. Но именно они, по словам собеседников 404 Media, сейчас либо не в наличии, либо продаются по «сильно завышенной» цене.
Internet Archive частично держится за счёт донатов и сообщества. Энтузиасты помогают искать обходные варианты закупок и замен. Параллельно организация пытается получить диски напрямую у производителей. Но там, судя по описанию ситуации, приоритет у крупных заказчиков и бэклогов.
Wikimedia: бюджеты на железо и сроки поставок стали нервной точкой
Wikimedia Foundation, которая поддерживает инфраструктуру Wikipedia, описывает похожие ограничения. Фонд обслуживает более 65 млн статей, и закупки серверов и хранилищ всегда требуют точного планирования.
Представитель Wikimedia рассказал 404 Media, что основной удар — в стоимости оперативной памяти и жёстких дисков. Но есть и второй эффект: растут сроки поставок серверов и снижается предсказуемость будущих заказов. По их словам, это влияет «и на lead time по доставкам, и на нашу способность размещать будущие заказы».
Антискрейпинг путает архивирование и сбор данных для обучения LLM
Дефицит накопителей — только половина истории. Вторая — это война сайтов со скрейперами. LLM обучают на огромных массивах данных из интернета, и часть таких наборов собирают агрессивным скрейпингом, иногда нелегально. В ответ сайты усиливают защиту и чаще блокируют любые автоматические запросы.
Архивирование начинается с того же шага: нужно «снять» страницу, чтобы сохранить её снимок. Но на практике ботов, которые делают снапшоты для образовательных и исследовательских целей, всё чаще воспринимают как ботов «под AI» и режут доступ.
Это бьёт и по крупным организациям, и по энтузиастам. По данным 404 Media, даже участники сообщества r/DataHoarders пишут, что приостановили личное архивирование из-за цен на диски и ждут, когда рынок успокоится. При этом «поймать» ёмкий HDD по рекомендованной цене стало редкостью.
Ситуацию ощущают и проекты среднего масштаба. Например, End of Term Archive, который занимается сохранением сайтов госструктур между сменами администраций, по данным 404 Media, рассчитывает, что к моменту следующего апгрейда цены и доступность накопителей нормализуются.
Фактическая развилка сейчас такая: Internet Archive добавляет 100 ТБ в день, но диски на 28-30 ТБ либо пропали со складов, либо продаются по цене до 3 раз выше прежней.
По материалам 404 Media.
