Главная arrow Новости arrow В Google поставили очередной рекорд по обработке огромного объема данных

В Google поставили очередной рекорд по обработке огромного объема данных

Печать E-mail
24.11.2008 г. 09:34
Основатели Google
Google поставила очередной рекорд по обработке данных
Google пытается побить собственный рекорд по обработке данных. «Состязание» проводилось с данными объемом в один ПБ с использованием фреймворка MapReduce.

 

Данные были представлены в виде 10 триллионов записей, каждая длиной 100 байт. Для проведения процесса сортировки задействовали 4 тысячи компьютеров. В результате полностью отсортировать такое беспрецедентное количество данных удалась отсортировать за  6 часов 2 минуты.

Следует отметить, что организаторы данного эксперимента столкнулись со сложностью размещения такого объема данных. Потому что каждый раз, при попытке начать сортировку из строй выходил кК минимум один жесткий диск (из 40 тысяч используемых  в эксперименте). Потому для преодоления данной сложности каждый фал сохранялся в трех копиях на различных жестких дисках, сообщается на habrahabr.ru.

Эксперимент по сортировке меньшего объеме данных (1 ТБ) занял на 1 тысяче компьютеров 68 секунд,  что побило собственный рекорд компании (209 секунд на 910 компьютерах).

Для более четкого предоставления сложности и объемов процедуры, представьте что на Facebook хранится фотографий на 1 ПБ, При работе с Большим Адронным Коллайдером ученые смогут работать с данными в 15 ПБ данных в год, а Google способен обрабатывать 20 ПБ ежедневно.

Теги: Смотреть все теги


Google  инет 

Интересные факты

У Вас недостаточно прав для добавления комментариев.
Вам необходимо зарегистрироваться на сайте.

   

Погода в Киеве

22 2021 (ночь)
5..7°C
Давление: 748мм.р.с.
Влажность: 86..88
Ветер: зап 4..6 м/с

Архив новостей

22 Сен 2021
ПнВтСрЧтПтСбВс
  12345
6789101112
13141516171819
20212223242526
27282930     



Украинская Баннерная Сеть

Музыка скачать бесплатно 80 90 годы Музыка эмо скачать бесплатно Vs ltv883rf драйвер скачать Музыка на телефон mp3 скачать бесплатно