Чи можуть кілька клієнтів одночасно записувати у файл hadoop HDFS?

Кілька клієнтів не можуть одночасно записувати в той самий файл HDFS оскільки HDFS працює за моделлю «запис один раз-читання-багато», що означає, що після запису файл стає незмінним і його можна лише прочитати, але не записати знову. 24 травня 2023 р.

HDFS працює при багаторазовому записі. Це означає, що лише один клієнт може писати файл одночасно. Кілька клієнтів не можуть писати у файл HDFS одночасно.

Кілька клієнтів не можуть одночасно писати у файл HDFS. Коли клієнту надається дозвіл на запис даних у блок вузла даних, блок блокується до завершення операції запису. Якщо якийсь інший клієнт запитує запис у той самий блок того самого файлу, це робити не дозволяється.

Так, можна прочитати вже відкритий файл. Але проблема під час читання файлу, який зараз записується, полягає в узгодженості даних, тобто HDFS не гарантує, що дані, які були записані у файл, будуть видимі для нового читача до того, як файл буде закрито. .

Насправді, ви можете додати до файлу HDFS: з точки зору клієнта, операція додавання спершу викликає додавання DistributedFileSystem, ця операція поверне об’єкт потоку FSDataOutputStream. Якщо Клієнту потрібно додати дані до цього файлу, це може викликати виклик. писати писати, і кличе.

Це визначено dfs. namenode. fs-ліміти. max-directory-items і його значення за умовчанням 1048576 .