KFS được viết bằng C++, triển khai cụ thể ý tưởng của Google File System (lưu ý rằng, hệ thống do chính Google triển khai có mã nguồn đóng.)

Nhìn qua trang chủ http://kosmosfs.sourceforge.net/ thấy thật sơ sài; ngay ở trang wiki thông tin cũng rất hạn chế. Ta tóm tắt lại vài ý chính

  1. KFS có thể dùng để thay thế cho HDFS trong hệ thống Hypertable và Hadoop (lưu ý rằng, Hadoop không phải là một distributed file system, mà là một software framework hỗ trợ cho việc phân tán ứng dụng);
  2. KFS có ba thành phần
    1. meta-data server: một server chính lưu trữ thông tin meta, cung cấp không gian tên toàn cục (global namespace). Lưu ý là thông tin về cấu trúc thư mục sẽ được lưu trong bộ nhớ;
    2. block server: Tập tin bất kỳ được chia thành các block 64MB và được lưu ở các node (còn gọi là chunk server.) (bằng việc nhân bản và tách — strip);
    3. client library: cho phép ứng dụng giao tiếp (đọc/ghi) tập tin vào hệ thống KFS. Các thư viện giao tiếp có cho C++, Java và Python;
  3. Hỗ trợ FUSE: Trên hệ thống Linux, có thể kết nối với KFS thông qua FUSE, nhưngn điều này không có nghĩa là KFS tương thích với POSIX;
  4. Rack-aware: KFS chú ý tới vị trí của các chunk server khi lưu trữ, và nó luôn cố gắng phân tán dữ liệu đến các vị trí xa nhau;
  5. Re-replication: Khi tập tin có số lượng nhân bản nhỏ hơn tối thiểu $k$ xác định trước, nó sẽ được nhân bản thêm ở các chunk server khác;
  6. Caching: các thư viện ở phía ứng dụng khách sử dụng các bộ đệm để tăng hiệu năng; Thậm chí, các thư viện này còn tự động thay đổi đích truy cập trong trường hợp chunk server đang dùng không thể truy cập được;
  7. Triển khai dễ dàng: thông qua các kịch bản để triển khai và tắt/mở dịch vụ.

Nhìn chung, ứng dụng thích hợp nhất của KFS là thay thế cho HDFS trong các hệ thống Hadoop. Do đó, chủ đề KFS vs. HDFS cần phải theo dõi và phân tích kỹ lưỡng. Tất nhiên, những ai không thích nền tảng Java-based có thể tìm thấy ở KFS sự lựa chọn tốt :)

Ref.:

  1. http://kosmosfs.sourceforge.net/features.html
  2. http://sourceforge.net/apps/trac/kosmosfs/wiki/HowKFSWorks
  3. http://www.skrenta.com/2007/09/kosmix_releases_google_gfs_wor.html

Sưu tầm : http://dragula.org/blogs/576


Related Posts

« »