<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jul 15, 2015 at 6:30 PM, Sepherosa Ziehau <span dir="ltr"><<a href="mailto:sepherosa@gmail.com" target="_blank">sepherosa@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Maybe just use large file, and sub-index the chunks of a large file<br>
and add open/read/write/lseek/close like APIs for users.  You will<br>
have more control than using database.<br>
<br>
On Wed, Jul 15, 2015 at 11:58 PM, Michael Neumann <<a href="mailto:mneumann@ntecs.de">mneumann@ntecs.de</a>> wrote:<br>
> Hi,<br>
><br>
> Lets say I want to store 100 million small files (each one about 1k in size)<br>
> in a HAMMER file system.<br>
> Files are only written once, then kept unmodified and accessed randomly<br>
> (older files will be access less often).<br>
> It is basically a simple file based key/value store, but accessible by<br>
> multiple processes.<br>
><br>
> a) What is the overhead in size for HAMMER1? For HAMMER2 I expect each file<br>
> to take exactly 1k when the file<br>
> is below 512 bytes.<br>
><br>
> b) Can I store all files in one huge directory? Or is it better to fan out<br>
> the files into several sub-directories?<br>
><br>
> c) What other issues I should expect to run into? For sure I should enable<br>
> swapcache :)<br>
><br>
> I probably should use a "real" database like LMDB, but I like the<br>
> versatility of files.<br>
><br>
> Regards,<br>
><br>
>   Michael<br>
<span class=""><font color="#888888"><br>
<br>
<br>
--<br>
Tomorrow Will Never Die<br>
</font></span></blockquote></div><br><br></div><div class="gmail_extra">In reality , an operating system is one of the "best" data base management system .<br><br>Question by Michael Neumann is very important with respect to this fact .<br><br></div><div class="gmail_extra">I was thinking to use DragonFly BSD for such a task , but it seems that it is not useful on that issue , because assumption about that files should be large is not so much suitable for an operating system . Then XFS seems to be a good alternative in Fedora Server edition .<br><br><br></div><div class="gmail_extra">Thank you very much .<br><br><br></div><div class="gmail_extra">Mehmet Erol Sanliturk<br><br><br></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br><br></div></div>