ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Публикационная активность

(сведения по итогам 2017 г.)
2-летний импакт-фактор РИНЦ: 0,500
2-летний импакт-фактор РИНЦ без самоцитирования: 0,405
Двухлетний импакт-фактор РИНЦ с учетом цитирования из всех
источников: 0,817
5-летний импакт-фактор РИНЦ: 0,319
5-летний импакт-фактор РИНЦ без самоцитирования: 0,264
Суммарное число цитирований журнала в РИНЦ: 6012
Пятилетний индекс Херфиндаля по цитирующим журналам: 404
Индекс Херфиндаля по организациям авторов: 338
Десятилетний индекс Хирша: 17
Место в общем рейтинге SCIENCE INDEX за 2017 год: 527
Место в рейтинге SCIENCE INDEX за 2017 год по тематике "Автоматика. Вычислительная техника": 16

Больше данных по публикационной активности нашего журнале за 2008-2017 гг. на сайте РИНЦ

Добавить в закладки

Следующий номер на сайте

3
Ожидается:
16 Сентября 2019

Управление энергозатратами процесса хранения данных при выборе размера физического блока данных

Energy consumption management in data storage process when choosing the size of a data physical block
Дата подачи статьи: 2018-12-04
УДК: 004.076
Статья опубликована в выпуске журнала № 1 за 2019 год. [ на стр. 068-072 ]
Аннотация:В статье рассматривается иерархия функций процесса хранения данных на физическом уровне. На первом уровне выполняются функции по поддержанию устойчивого состояния минимальных единиц хранения данных. От количества устойчивых состояний минимальной единицы хранения данных зависит количество сохраняемых битов данных. Показано, что минимальные единицы хранения данных различаются в зависимости от типа записи и вида носителя. Приводится выражение, позволяющее оценить минимальную энергию, необходимую для преобразования минимальной единицы хранения. На втором уровне выполняются функции по объединению минимальных единиц хранения данных в физические блоки данных. Показана структура физического блока. Приведен пример изменения размера физического блока, демонстрирующий возможность его регулирования в зависимости от вида хранимой информации и требований к системе хранения. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и таким образом увеличивается эффективность использования емкости носителя. На третьем уровне выполняются функции по объединению физических блоков в логические блоки данных. Размер логического блока зависит от возможностей установленной файловой системы и определяется при форматировании. На уровне файла задается адресация битов данных, физических и логических блоков, тем самым биты данных логически объединяются в файл. Приведены результаты, демонстрирующие существенное сокращение расхода энергии при увеличении размера блока данных и уменьшении объема метаданных по сравнению с энергозатратами при сохранении исходного файла.
Abstract:The papers considers the function hierarchy of data storage at a physical level. At the first level, there are functions to maintain a steady state of minimum data storage units. The number of stable states of data storage minimum unit affects the number of stored data bits. It is shown that minimum data storage units differ depending on the file type and the medium type. There is an expression that allows estimating the minimum energy required to convert a minimum storage unit. At the second level, there are functions to combine the minimum units of data storage into physical data blocks. The paper shows the structure of a physical unit. There is an example of changing a physical block size. It demonstrates the possibility of adjusting a physical block size depending on the stored information type and requirements for the storage system. When a phys-ical block increases, the metadata stored in a medium decreases, and thus the efficiency of using the media capacity increases. At the third level, there are functions to unite the physical blocks into logical data blocks. The logical block size depends on the capabilities of the installed file system and is set when formatting. At the file level, there is addressing of data bits, physical and logical blocks, thereby the data bits are logically combined into a file. The paper presents the results that demonstrate a sig-nificant reduction in energy consumption with a data block size increase and a metadata volume decrease compared to energy consumption when maintaining the original file.
Авторы: Татарникова Т.М. (tm-tatarn@yandex.ru) - Санкт-Петербургский государственный университет аэрокосмического приборостроения (доцент, профессор), Санкт-Петербург, Россия, доктор технических наук, Пойманова Е.Д. (e.d.poymanova@gmail.com) - Санкт-Петербургский государственный университет аэрокосмического приборостроения (старший преподаватель), Санкт-Петербург, Россия
Ключевые слова: файловая система, метаданные, файл, логический блок данных, физический блок данных, энергетический барьер, минимальная единица хранения, иерархия функций процесса хранения данных, хранение данных
Keywords: file system, metadata, file, logical data block, physical data block, energy barrier, minimum storage unit, data storage hierarchy, data storage
Количество просмотров: 730
Статья в формате PDF
Выпуск в формате PDF (6.60Мб)

Размер шрифта:       Шрифт:

Назначение информационного процесса хранения заключается в предоставлении информации в целостном виде по требованию пользователя спустя директивное время хранения. Реализация этого процесса требует соответствующих физических ресурсов: емкостей для размещения данных, гарантированного времени хранения и энергии для хранения данных [1].

Эффективное расходование физических ресурсов при хранении данных особенно актуально в современных условиях формирования глобального цифрового пространства [2].

В статье предлагается модель управления энергетическими ресурсами, основанная на изменении размера физического блока данных.

Функции физического уровня реализации процесса хранения данных

На физическом уровне реализации процесса хранения данных происходят запись битов данных, инкапсуляция их в физические и логические блоки и организация адресации, позволяющей формировать файл данных для дальнейшей работы пользователя (рис. 1).

На уровне минимальной единицы хранения (МЕХ) данных выполняются функции по поддержанию ее устойчивого состояния.

МЕХ – это наименьший физический объект носителя данных, имеющий свойство находиться в одном из нескольких устойчивых состояний, устанавливаю- щихся управляющим сигналом. От количества устойчивых состояний зависит количество сохраняемых битов данных: если состояний 2, то МЕХ может сохранить 1 бит данных, если 4, то 2 бита, если 8, то 3 бита и т.д. [3].

МЕХ различаются в зависимости от типа записи и вида носителя:

-     для магнитной записи носителями данных являются магнитная лента, магнитный диск, магнитооптический диск, МЕХ – домен (макроскопическая область на носителе с вектором намагниченности, отличающимся от соседних доменов); принцип магнитной записи заключается в использовании магнитного слоя носителя, который обеспечивает сохранение остаточной намагниченности при воздействии на него магнитным полем, создаваемым устройством чтения/записи; соответственно, одно направление соответствует 1, другое – 0;

-     для полупроводниковой записи носителем данных является твердотельный накопитель (SSD – solid-state drive), МЕХ – транзистор;

-     для механической (оптической) записи носителями являются различные оптические диски (CD, DVD, BD, М диск, стеклянный диск), МЕХ – информационный рельеф;

-     для альтернативного носителя, каковым является вольфрамовый диск (по сути – оптический носитель), МЕХ – это QR-код, поскольку информация записывается с помощью QR-кодов;

-     для биологической записи носитель данных – биоматериал или бактерии, МЕХ – нуклид.

МЕХ отделены друг от друга энергетическим барьером. Энергетический барьер – это количество энергии, необходимое для преобразования МЕХ, то есть изменения 0→1 или 1→0.

В статье [4] показано, что минимальную энергию, необходимую для преодоления энергетического барьера, можно оценить следующим образом:

                                                   (2)

где kB – постоянная Больцмана; T – абсолютная температура окружающей среды; N – количество битов, хранящихся в памяти; tm – время жизни памяти; τ – время корреляции тепловых флуктуаций от термического возбуждения.

На уровне физического блока данных реализуются функции по объединению МЕХ в физические блоки данных. Физическим блоком, например, магнитного диска является сектор, структура которого приведена на рисунке 2.

Сектор имеет следующие компоненты [1]:

-     интервал между секторами;

-     метка синхронизации, обозначающая начало сектора (позволяет синхронизировать работу диска);

-     адресная метка, содержащая данные для идентификации номера и расположения сектора, а также информацию о расположении сектора;

-     область данных пользователя;

-     область исправления ошибок (в ней хранятся коды исправления ошибок, с помощью которых исправляются и восстанавливаются поврежденные данные).

Традиционный размер физического блока данных составляет 512 байт, к которым дополнительно записываются 15 байт, приходящихся на 1-й, 2-й и 3-й компоненты и 50 байт - на 5-й компонент.

В декабре 2009 года Ассоциацией IDEMA был утвержден формат секторов размером 4 КБ (Advanced Format), позволяющий повысить эффективность использования дискового пространства (рис. 3).

Использование секторов данного формата позволяет увеличить эффективность использования дискового пространства до 97 % по сравнению с форматом 512 байт, где эффективность составляет 88 %.

Этот пример по изменению размера физического блока демонстрирует, что для системы хранения размер физического блока может и, наверное, должен регулироваться в зависимости от вида хранимой информации и требований к системе хранения. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и таким образом увеличивается эффективность использования пространства носителя.

Помимо формирования физических блоков данных, в большинстве файловых систем существует также деление данных на логические блоки (кластеры), которые реализуются функциями уровня логического блока данных.

Размер логического блока зависит от возможностей установленной файловой системы и определяется при форматировании. Эффективность работы файловой системы во многом зависит от выбранного размера логического блока: чем он меньше, тем медленнее будет считываться файл, поскольку основное время тратится на поиск логических блоков. С другой стороны, большие по размеру логические блоки приводят к потере дискового пространства из-за недозаполняемости блоков в результате того, что одни и те же данные формируют разные по размеру файлы.

На уровне файла задается адресация битов данных, физических и логических блоков, по сути логически объединяя биты данных в файл (рис. 4).

Для эффективного выделения емкостей для хранения необходим предварительный анализ сохраняемых файлов [5–7] – их форматов и размеров, на основе которого, в частности, может быть принято решение о размере логического блока файловой системы.

Файловую систему выбирают исходя из типа носителя, типа операционной системы, поддерживаемого размера логической единицы данных (кластера, блока), максимального размера файла, максимального количества файлов, максимального размера тома, мак- симальной длины имени, возможности журналирования [8, 9].

В таблице дано сравнение нескольких известных файловых систем по некоторым характеристикам.

Как видно из таблицы, современные файловые системы позволяют работать с файлами большого размера, имеющими различные логические блоки данных.

Управление энергетическими ресурсами путем изменения размера физического блока данных

Рассмотрим, как влияет количество битов в блоке данных пользователя на энергозатраты при хранении данных.

Обозначим: V – количество битов данных на носителе; S – количество битов данных в одном блоке; Sм – количество метаданных в одном блоке; Sп  – количество «полезных» данных в одном блоке; P – количество блоков на носителе; Eт – энергия, затрачиваемая на гарантированное хранение с учетом технологии записи; Eп – энергия, затраченная на запись «полезных» данных; Eм – энергия, затраченная на запись метаданных.

Для введенных величин справедливы следующие соотношения: S = Sм + Sп, , Eт = Eп + Eм.

Очевидно, что энергия, затрачиваемая на сохранение исходного информационного массива, зависит от размера блока данных [10]. При увеличении размера блока данных будет уменьшаться количество метаданных, приходящихся на каждый бит «полезной» информации, или, что то же самое, уменьшаться энергия Eм, затрачиваемая на запись метаданных [11, 12].

Данные на магнитный носитель записываются блоками, состоящими из «полезных» данных и метаданных, которые содержат служебную информацию. Количество метаданных, приходящихся на один блок, будем считать константой. Чем больше размер записываемых блоков на носителе, тем меньше будет общее количество метаданных на нем и, следовательно, на один «полезный» бит будет приходиться меньше метаданных, а значит, для сохранения одного «полезного» бита потребуется меньше энергии [13].

Размер блоков данных, записываемых на носитель, определяется требованиями операционной системы. Очевидно, что с увеличением размера блока данных скорость обработки информации операционной системой будет падать. Однако в определенных случаях, например, для системы долговременного хранения, скорость обработки не является критичной, так как данные не требуют обращения к ним в режиме реального времени.

С учетом емкости сохраняемого информационного массива общая энергия E, затраченная на запись V бит, будет равна

Рассмотрим магнитный диск размером V бит, тогда энергия, затрачиваемая на запись «полезных» данных, равна  энергия, затрачиваемая на запись метаданных, равна  

На рисунке 5 показан график зависимости энергии от размера записываемого блока данных.

На графике видно, что энергия, затрачиваемая при сохранении исходного файла, существенно сокращается при увеличении размера блока данных и уменьшении объема метаданных.

Таким образом, размер физического блока для системы сохранения может регулироваться в зависимости от вида хранимой информации. При увеличении физического блока уменьшается доля метаданных, сохраняемых на носитель, и увеличивается эффективность использования емкости носителя.

Литература

1.     Information Storage and Management. John Wiley & Sons Inc., 2016, 544 p.

2.     Kish L.B. Moore’s law and the energy requirement of computing versus performance. IEEE Proce., Circuits, Devices and Systems, 2004, vol. 151, no. 2, pp. 190–194.

3.     Landauer R. Irreversibility and heat generation in the computing process. IBM J. of Research and Development, 2000, vol. 44, no. 1, pp. 261–269.

4.     Landauer R. Information is physical. Physics Today, 1991, vol. 44, no. 5, pp. 23–29.

5.     Kish L.B., Granqvist C.G. Does information have mass? IEEE Proc., 2013, vol. 101, no. 9, pp. 1895–1899.

6.     Bogatyrev V.A., Parshutina S.A., Poptcova N.A., Bogaty- rev A.V. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters. In: V. Vishnevsky, K. Sa­mouylov, D. Kozyrev (eds.) DCCN 2016, CCIS, vol. 678, pp. 337–348. DOI: 10.1007/978-3-319-51917-3_30.

7.     Kutuzov O.I., Tatarnikova T.M. Model of a self-similar traffic generator and evaluation of buffer storage for classical and fractal queuing system. Proc. Moscow Workshop on Electronic and Networking Technologies, MWENT, 2018, pp. 1–3.

8.     Татарникова Т.М. Анализ данных. СПб: Изд-во СПбГЭУ, 2018. 85 с.

9.     Farley M. Building storage networks. McGraw-Hall, Osborne, 2001, 590 p.

10.  Татарникова Т.М., Пойманова Е.Д Технологии долговременного хранения данных // Наука и образование в XXI веке: матер. Междунар. науч.-практич. конф. Тамбов: Бизнес-Наука-Общество, 2013. Ч. 31. C. 136–137.

11.  Пойманова Е.Д. Обобщенная модель процесса сохранения данных // Информационно-технологическое обеспечение цифровой экономики: сб. стат. СПб: Изд-во СПбГЭУ, 2018. C. 80–85.

12.  Проскуряков Н.Е., Ануфриева А.Ю. Анализ и перспективы современных систем хранения цифровых данных // Изв. ТулГУ: Технич. науки. 2013. Вып. 3. C. 368–377.

13.  Бурмистров В.Д., Заковряшин Е.М. Создание хранилища данных для распределенной системы // Молодой ученый. 2016. № 12. C. 143–147.

References

  1. Information Storage and Management. 2nd ed. John Wiley & Sons Publ., 2016, 544 p.
  2. Kish L.B. Moore’s law and the energy requirement of computing versus performance. IEEE Proc.: Circuits, Devices and Systems. 2004, vol. 151, no. 2, pp. 190–194.
  3. Landauer R. Irreversibility and heat generation in the computing process. IBM J. of Research and Development. 2000, vol. 44, no. 1, pp. 261–269.
  4. Landauer R. Information is physical. Physics Today. 1991, vol. 44, no. 5, pp. 23–29.
  5. Kish L.B., Granqvist C.G. Does information have mass? IEEE Proc. 2013, vol. 101, no. 9, pp. 1895–1899.
  6. Bogatyrev V.A., Parshutina S.A., Poptcova N.A., Bogatyrev A.V. Efficiency of redundant service with destruction of expired and irrelevant request copies in real-time clusters. DCCN 2016. CCIS. Vishnevsky V., Samouylov K., Kozyrev D. (Eds.), vol. 678,
    pp. 337–348.
  7. Kutuzov O.I., Tatarnikova T.M. Model of a self-similar traffic generator and evaluation of buffer storage for classical and fractal queuing system. Moscow Workshop on Electronic and Networking Technologies, MWENT. 2018, pp. 1–3.
  8. Tatarnikova T.M. Data Analysis. St. Petersburg, SPbSUE Publ., 2018, 85 p.
  9. Farley M. Building Storage Networks. McGraw-Hall Publ., Osborne, 2001, 590 p.
  10. Tatarnikova T.M., Poymanova E.D. Long term storage technologies. Proc. Int. Sci. Pract. Conf. “Science and Education in 21 century”. Tambov, Biznes-Nauka-Obshchestvo Publ., 2013, vol. 31, pp. 136–137 (in Russ.).
  11. Poymanova E.D. A generalized model of the data storage process. Digital Economy Information and Technology: Proc.
    St. Petersburg, SPbSUE Publ, 2018, pp. 80–85 (in Russ.).
  12. Proskuryakov N.E., Anufrieva A.Yu. Analysis and prospects of modern digital data storage systems. News of the Tula State University. Technical Sciences. 2013, no. 3, pp. 368–377 (in Russ.).
  13. Burmistrov V.D., Zakovryashin E.M. Creating a data warehouse for a distributed system. Young Scientist. 2016, no. 12,
    pp. 143–147 (in Russ.).

Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=4558%E2%8C%A9=en
Версия для печати
Выпуск в формате PDF (6.60Мб)
Статья опубликована в выпуске журнала № 1 за 2019 год. [ на стр. 068-072 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: