· KLDP.org · KLDP.net · KLDP Wiki · KLDP BBS ·
Linuxdoc Sgml/Beowolf_Supercomputer-KLDP

Beowulf Cluster

Beowulf Cluster

¹ÚÁ¤È¯ (jhpark@nurapt.kaist.ac.kr)

1998³â 10¿ù 28ÀÏ
ÀÌ ¹®¼­´Â Beowulf Cluster¿¡ ´ëÇÑ °£´ÜÇÑ ¼Ò°³ÀÔ´Ï´Ù.

1. ¼Ò°³

À¥¼­¹ö, DB ¼­¹ö, ¸ÞÀϼ­¹ö, FTP ¼­¹ö, PROXY ¼­¹ö µî Àü»ê ¾÷¹« ȯ°æ¿¡¼­ ¸®´ª½º ¼­¹öÀÇ ¾ÈÁ¤ ¼º, ¼º´É, º¸¾È¼º µîÀ» ±âÁ¸ÀÇ À¯´Ð½º ¼­¹ö³ª NT¼­¹ö¿Í ºñ±³Çغ¼¶§ ¸®´ª½º ¼­¹öÀÇ °¡°Ý´ë ¼º´Éºñ ÀÇ Å¹¿ùÇÔÀº ¾î´À ´©±¸µµ ºÎÀÎÇÏÁö ¸øÇÒ °ÍÀÌ¸ç ¿äÁòµé¾î¼­´Â »ó¿ë ¼ÒÇÁÆ®¿þ¾î ¾÷°èÀÎ ³Ý½ºÄÉÀÌ ÇÁ, ¿À¶óŬ, ÀÎÆ÷¹Í½º, ÄÚ·¼ µîÀÇ Âü°¡·Î ¸®´ª½º´Â ¼­¹ö ¹× °³ÀÎ »ç¿ëÀÚ OS·Î¼­ »õ·Î¿î Àü±â¸¦ ¸Â°í ÀÖ´Ù. ÀÌ¿¡ ¸øÁö ¾Ê°Ô ÄÄÇ»Æà ¼Óµµ¸¦ ÃÖ¿ì¼±À¸·Î ÇÏ´Â Å×Å©´ÏÄà ÄÄÇ»Æà ȯ°æ¿¡¼­µµ ÀÌ¹Ì ¾Ë ÆÄ ÇÁ·Î¼¼½º¸¦ »ç¿ëÇÑ ¸®´ª½º ¿÷½ºÅ×À̼ÇÀº Ź¿ùÇÑ ºÎµ¿¼Ò¼öÁ¡ ¿¬»êÀ¸·Î ÀÎÇØ ÇöÀç »õ·Î¿î °ü½É À» ¹Þ°í ÀÖÀ¸¸ç, SGI, IBM, SUN, HP, DEC¿¡ ÀÇÇØ Á¡À¯µÇ¾ú´ø Å×Å©´ÏÄà ÄÄÇ»Æà ¿µ¿ªÀ» ±Þ¼ÓÇÑ ¼Óµµ·Î ¾ËÆÄ ¸®´ª½º°¡ ÆÄ°í µé°í ÀÖÀ¸¸ç, ¶ÇÇÑ ¸®´ª½º´Â ´ÜÀÏ ÇÁ·Î¼¼¼­³ª SMP¿¡¸¸ ¸Ó¹°Áö ¾Ê°í, ¸®´ª½ºÀÇ °­·ÂÇÑ ³×Æ®¿öÅ·À» ÅëÇÑ ³×Æ®¿÷ Ŭ·¯½ºÅ͸¦ ±¸ÃàÇÏ¿© ¼öÆÛ ÄÄÇ»ÅÍ ¿µ¿ª¿¡ µµÀüÇÏ°í ÀÖ ´Ù.

¸®´ª½º ³×Æ®¿÷ Ŭ·¯½ºÅÍÀÇ ÇÑ ÇüÅÂÀÎ Beowulf clusterÀº 1994³â NASAÀÇ CESDIS¿¡¼­ 16 node cluster¸¦ ¸®´ª½º¿Í Ç¥ÁØ ¼ÒÇÁÆ®¿þ¾î ÆÐÅ°Áö¸¦ ÀÌ¿ëÇÏ¿© °³¹ßÇÏ¿´´Âµ¥, ÀÌ·± ¹ÙÅÁ¿¡´Â ±× ´ç½Ã NASA¿¡¼­ »ç¿ëÁßÀÎ CRAYÀÇ ÀÓ´ë ±â°£ Á¾·á¿Í ´õºÒ¾î »õ·Î¿î º´·Äó¸®¿ë ¼öÆÛ ÄÄÇ»ÅÍ °³¹ßÀ» Á÷Á¢Çغ¸ÀÚ´Â ºÐÀ§±â°¡ ÀÖ¾ú´Ù. À̶§ ¸®´ª½º ³×Æ®¿÷ µå¶óÀ̹öÀÇ °³¹ßÀÌ CESDIS¿¡ ÀÇÇØ ÁÖµµÀû À¸·Î ÀÌ·ç¾îÁ® ÇöÀç ³Î¸® »ç¿ëµÇ°í ÀÖ´Ù.

¿µÈ­ 'ŸÀÌŸ´Ð'¿¡¼­µµ 128°³ÀÇ ¾ËÆÄ ¸®´ª½º Ŭ·¯½ºÆ®¸¦ ÀÌ¿ëÇÑ º´·Ä󸮸¦ ÅëÇÏ¿© ¸®´ª½ºÀÇ ¿ì¼ö ¼ºÀ» ¼º°øÀûÀ¸·Î º¸¿©ÁÖ¾úÀ¸¸ç ÇöÀç ¹Ì±¹ ·Î½º ¾Ë¶ó¸ð½º ±¹¸³ ¿¬±¸¼Ò¿¡¼­´Â ÇÏÀÌÅÚ Çϵå¿þ¾î Åë½ÅÆǸŶõ¿¡¼­ ÈçÈ÷ º¼¼ö ÀÖ´Â 70°³ÀÇ ¾ËÆÄ ¸®´ª½º ¹Ú½º·Î ±¸¼ºµÈ AvalonÀ̶ó´Â Beowulf ½Ã½º ÅÛÀ» Á÷Á¢ ¸¸µé¾úÀ¸¸ç, ÇöÀç Top500 supercomputers list (http://www.top500.org/top500.list.html) ¿¡ 315À§·Î µî·Ï µÇ¾î ÀÖ´Ù. ºñ½ÁÇÑ ¼øÀ§ÀÇ ¼öÆÛ ÄÄÇ»Åͷδ SGIÀÇ 64°³ÀÇ ÇÁ·Î¼¼¼­¸¦ »ç¿ëÇÏ´Â ORIGIN 2000 ½Ã½ºÅÛ(304À§)ÀÌ´Ù. Âü°í·Î ±¹³»ÀÇ ¿­¾ÇÇÑ ¼öÆÛ ÄÄÇ»Æà ȯ°æÀ» ´ëº¯Çϵí 315¼øÀ§ ÀÌ»óÀ¸·Î ±â·ÏµÈ ±¹³» ¼öÆÛÄÄÇ»ÅÍ´Â 6´ë»ÓÀ¸·Î, ÀÌ°øÇко߷δ SERI, KT, »ï¼º¸¸ º¸À¯ÇÏ°í ÀÖ À» »Ó, ±¹³» ´ëÇÐÀ̳ª ÀÏ¹Ý ¿¬±¸¼Ò¿¡¼­ Á¦´ë·Î µÈ ¼öÆÛÄÄÇ»ÅÍ´Â Àü¹«ÇÑ »óÅÂÀÌ´Ù.

AvalonÀ» ÅëÇØ Beowulf clusterÀÇ Æ¯Â¡À» °£´ÜÈ÷ »ìÆ캸¸é, ¿ì¸®°¡ ÈçÈ÷ º¼¼ö ÀÖ´Â ¾ËÆÄ ¸®´ª½º ¹Ú½º¸¦ ÀÌ¿ëÇÏ¿´±â ¶§¹®¿¡ º¥´õÀÇ Æ¯º°ÇÑ Áö¿ø ¾øÀÌ ¼³Ä¡°¡ °¡´ÉÇÒ Á¤µµ·Î °£´ÜÇÏ¿´À¸¸ç, ¸®´ª½º ¹Ú½º¸¶´Ù °³º°ÀûÀÎ ÆÄ¿ö ¼­ÇöóÀÌ¿Í Ä𸵠ÀåÄ¡·Î ÀÎÇØ Ç׿ Ç×½À ÀåÄ¡°¡ ÇÊ¿äÄ¡ ¾Ê´Â Á¡µµ Ư¡ À¸·Î µé ¼ö ÀÖÀ¸¸ç, À¯Áö º¸¼ö¿¡ ´ëÇÑ ºñ¿ë ¶ÇÇÑ Å©°Ô Àý°¨ÇÒ¼ö ÀÖ´Ù.

º» ±Û¿¡¼­´Â PC hardware¸¦ »ç¿ëÇÏ¿© ¼öÆÛ ÄÄÇ»Æÿ¡ µµÀüÇÏ°í ÀÖ´Â Beowulf clusterÀÇ Æ¯Â¡°ú ¼º°ø ¿äÀεéÀ» »ìÆ캸°í, Beowulf Ŭ·¯½ºÅ͸¦ ±¸¼ºÇϱâ À§ÇØ ÇÊ¿äÇÑ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾î ȯ°æ ¹× ÇÊÀÚ°¡ ±¸¼ºÇغ» 4-node mini beowulf Ŭ·¯½ºÅÍ¿¡ ´ëÇؼ­ ¼Ò°³ÇÔÀ¸·Î ¼öÆÛ ÄÄÇ»Æà ¿µ¿ª¿¡ µµÀüÇÏ°í ÀÖ´Â ¸®´ª½ºÀÇ ¶Ç ´Ù¸¥ ¸ð½ÀÀ» ¼Ò°³ÇÒ·Á°í ÇÑ´Ù.

2. Beowulf Cluster

°øÇÐÀ» ÇÏ°í ÀÖ´Â ÇÊÀÚ »Ó¸¸ ¾Æ´Ï¶ó, ¸ðµç »ç¶÷µéÀÌ "better, faster, cheaper"ÇÑ ÄÄÇ»Å͸¦ ¿øÇÏ°í ÀÖ´Ù. ±×·¯³ª, ¿÷½ºÅ×ÀÌ¼Ç ±¸ÀÔÀ» Çغ» »ç¶÷µéÀº Àß ¾Ë°ÚÁö¸¸, ÀÌ·± ¹Ù·¥°ú´Â ¸Ö¸® ÇÏÀÌ-¿£µå ÄÄ Ç»ÅÍ À̸¥¹Ù ¿ì¸®°¡ À߾˰í ÀÖ´Â ¿÷Å©½ºÅ×ÀÌ¼Ç º¥´õÀÎ, HP, SGI, SUN, DECÀÇ Á¦Ç°µéÀ» º¸¸é ¿ì ¸®ÀÇ ÀÌ·¯ÇÑ ¹Ù·¥°ú´Â ´Þ¸® ÁÁÀº °ÍÀº Çϳªµµ ¾øÁö¸¸, PCº¸´Ù ¾à°£ ºü¸¥ ¼Óµµ·Î ÀÎÇØ ¾öû³­ ºñ ¿ëÀ» ÁöºÒÇØ¾ß ÇÏ´Â °æ¿ì¸¦ ¸¸³ª°Ô µÈ´Ù. ƯÈ÷ ÀÌ·¯ÇÑ ÇÏÀÌ-¿£µå ÄÄÇ»Æà ȯ°æ¿¡¼­´Â Á¦ÇÑµÈ º¥´õ ÀÇ ¼ö·Î ÀÎÇØ ½Ã½ºÅÛ°£ÀÇ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾î ȣȯ¼ºÀÇ ºÎÁ·À¸·Î PC¿Í °°ÀÌ »ç¿ëÀÚ°¡ Á÷Á¢ Á¶¸³ÇÏ¿© Àû´çÇÑ ¼ÒÇÁÆ®¿þ¾î¸¦ ¼³Ä¡ÇÏ¿© »ç¿ëÇÑ´Ù´Â °ÍÀº »ý°¢ ÇÒ¼ö ¾ø´Â Çö½ÇÀÌ´Ù. ´ç¿¬È÷ ÀÌ·¯ ÇÑ Æ¯¼ºÀ¸·Î ÀÎÇØ Çϵå¿þ¾î¿Í ¼ÒÇÁÆ®¿þ¾îÀÇ °¡°ÝÀº ºñ½Ò¼ö ¹Û¿¡ ¾ø°í À¯Áö¿Í º¸¼ö¿¡ µå´Â ºñ¿ë ¶ÇÇÑ ¹«½ÃÇÒ ¼ö ¾ø´Â Çö½ÇÀÌ´Ù. ÀÌ·¯ÇÑ °í°¡ÀÇ ÇÏÀÌ-¿£µå ÄÄÇ»Æà ȯ°æÀÇ ´ë¾ÈÀ¸·Î NASA¿¡¼­ Beowulf ÇÁ·ÎÁ§Æ®¶ó´Â À̸§À¸·Î, ½ÃÀå¿¡¼­ ´©±¸³ª »ì¼ö ÀÖ´Â PC Çϵå¿þ¾î¿Í ´©±¸³ª »ç¿ëÇÒ¼ö ÀÖ ´Â ¼ÒÇÁÆ®¿þ¾îÀÎ ¸®´ª½º¸¦ ÀÌ¿ëÇÑ ÇÏÀÌ¿£µå ÄÄÇ»Æà ¿µ¿ª¿¡ ´ëÇÑ »õ·Î¿î ½Ãµµ¸¦ ÇÏ°Ô µÇ¾ú´Ù.

Beowulf ÇÁ·ÎÁ§Æ®°¡ ¼º°øÇÏ°Ô µÈ ¸î°¡Áö Áß¿äÇÑ ¿äÀÎÀ¸·Î PC ÇÁ·Î¼¼½º(Intel x86, DEC Alpha, Power PC)ÀÇ ±Þ¼ÓÇÑ ¹ßÀüÀÌ´Ù. ±Ù·¡¿¡ µé¾î ºÎµ¿¼Ò¼öÁ¡ ¿¬»ê¿¡ ȹ±âÀûÀÎ Çâ»óÀÌ ÀÖ¾úÀ¸¸ç, PC ÇÁ·Î¼¼¼­ÀÇ ¹ßÀü ¼Óµµ´Â ÀÌ¹Ì ±âÁ¸ÀÇ ÇÏÀÌ-¿£µå ÇÁ·Î¼¼½ºº¸´Ù 3¹èÀÌ»ó ºü¸£¸ç, ¸®´ª½º°¡ »ç¿ë°¡ ´ÉÇÑ ¾ËÆÄ ÇÁ·Î¼¼¼­´Â ÀÌ¹Ì ±× ¼Óµµ¸¦ ¾ÕÁú·¶´Ù. ÀÌ¿Í ´õºÒ¾î °í±Þ À¯´Ð½º ¼­¹ö³ª ¿÷½ºÅ×À̼ǿ¡ ¸¸ »ç¿ëµÇ¾ú´ø SCSI ÀåºñÀÇ ´ëÁßÈ­¿Í ±×¸®°í, ³×Æ®¿÷ ÀåºñÀÇ ±Þ¼ÓÇÑ ¹ßÀü°ú ´õºÒ¾î 100Mbps switching hubÀÇ °¡°ÝÇ϶ôÀ¸·Î ÀÎÇØ Beowulf Ŭ·¯½ºÅ͸¦ ±¸ÃàÇÒ ¼ö ÀÖ´Â Çϵå¿þ¾î¸¦ PC±ÞÀ¸·Î µµ ÃæºÐÈ÷ ±¸Ãà °¡´ÉÇØÁ³´Ù. (¿Ü±¹¿¡¼­´Â 100Mbps switching hub¸¦ Æ÷Æ®´ç 100ºÒ ¹Ì¸¸À¸·Î ±¸ÀÔ °¡´ÉÇÏÁö¸¸, ±¹³»´Â ¿©ÀüÈ÷ °í°¡ÀÌ´Ù.)

¹°·Ð ÀÌ·¯ÇÑ Çϵå¿þ¾î ¹ßÀü¸¸À¸·Î Beowulf ÇÁ·ÎÁ§Æ®°¡ ¼º°øÇÒ¼ö ÀÖ¾ú´ø °ÍÀº Àý´ë ¾Æ´Ï´Ù. ÀÌ·¸ °Ô ´Ù¸¥ ¸ñÀûÀ» µÎ°í ¹ßÀüÇØ¿Â Çϵå¿þ¾î¸¦ ¸®´ª½º´Â ÇϳªÀÇ ½Ã½ºÅÛÀ¸·Î ÅëÇÕÇÏ¿© Beowulf ¶ó´Â »õ·Î¿î ŸÀÔÀÇ º´·ÄÄÄÇ»Å͸¦ ¸¸µé¾î ³½ °ÍÀÌ´Ù. ³Ê¹«³ª Àß ¾Æ´Â ¾ê±âÁö¸¸, ¸®´ª½º´Â ±âÁ¸ÀÇ »ó¿ë À¯´Ð½ºº¸´Ù ´õ ³ºÀº ȯ°æÀ» Á¦°øÇÏ¿´´Âµ¥, ¹Ù·Î ¼Ò½º ÄÚµåÀÇ 100% °³¹æÀ¸·Î Beowulf cluster¿¡ ÀûÇÕÇÏ°Ô ÀÚÀ¯·Ó°Ô ¼Ò½º Äڵ带 ¼öÁ¤ÇÏ°í »õ·Ó°Ô °³¹ßÇÏ¿© ¹èÆ÷ÇÒ¼ö Àִ ȯ°æÀ» Á¦°øÇÏ¿´´Âµ¥, ÀÌ·¯ÇÑ ¸®´ª½ºÀÇ ÀÚÀ¯ÇÔÀÌ ¾ø¾ú´Ù¸é ÀÌ ÇÁ·ÎÁ§Æ®´Â ½ÇÆÐÇÏ¿´À» °ÍÀÌ´Ù. ÀÌ¿Ü¿¡µµ MPI, PVM°°Àº message passing libraryÀÇ Ç¥ÁØÈ­°¡ ÀÌ·ç¾îÁ® »ó¿ë º´·ÄÄÄÇ»ÅÍ¿Í ¸¶Âù°¡Áö·Î Beowulf cluster¿¡ ¼­µµ ÀÚÀ¯·Ó°Ô »ç¿ëÇÒ¼ö ÀÖ°Ô µÊÀ¸·Î ÀÎÇØ Cray·Î ½ÃÀÛÇÏ´Â ¼öÆÛ ÄÄÇ»ÅÍ¿¡¼­ ½ÃÀÛÇؼ­ Desktop PC±îÁö ÀÏ°üµÈ ÇÁ·Î±×·¡¹Ö ÀÛ¾÷À» ÇÒ¼ö ÀÖ°Ô µÇ¾ú´Ù.

¼öÆÛ ÄÄÇ»Å͸¦ ±¸Á¶ÀûÀ¸·Î »ìÆ캸¸é, RC5/DES Å©·¢°°ÀÌ Àü¼¼°èÀûÀ¸·Î internetÀ¸·Î ¿¬°áµÈ ÄÄÇ» Å͵鵵 ÇϳªÀÇ º´·Äó¸® ¼öÆÛÄÄÇ»ÅÍ·Î º¼¼ö ÀÖÀ¸¸ç, ÀÌ¿Í ¹Ý´ë·Î »ó¿ë ¼öÆÛ ÄÄÇ»Åͷμ­ ÃÊ°í¼Ó ³×Æ®¿öÅ©·Î ±¸¼ºµÈ MPP, vector, SIMD clusterµµ ÀÖ´Ù. ÀÌ·¯ÇÑ »ó¿ë ¼öÆÛ ÄÄÇ»ÅÍ´Â ½Ã½ºÅÛ µð ÀÚÀΰú °³¹ß ½Ã°£À¸·Î ÀÎÇØ ±Þ¼ÓÈ÷ ¹ßÀüÇÏ°í ÀÖ´Â ¸¶ÀÌÅ©·Î ÇÁ·Î¼¼¼­¸¦ Áï°¢ÀûÀ¸·Î ¼ö¿ëÇϱâ Èû µç ´ÜÁ¡ÀÌ ÀÖ´Â ¹Ý¸é Beowulf Cluster´Â °¢°¢ÀÇ node°¡ °³º°ÀûÀÎ OS¸¦ °¡Áö°í ÀÖÀ¸¸ç °í¼ÓÀÇ local area network¸¦ ÀÌ·ç°í Àֱ⠶§¹®¿¡ ¶Ù¾î³­ È®À强ÀÌ ÀÖÀ¸¸ç, ±Þ¼ÓÈ÷ ¹ßÀüÇÏ°í ÀÖ´Â ¸¶ÀÌ Å©·Î ÇÁ·Î¼¼¼­¸¦ Áï°¢ÀûÀ¸·Î ¼ö¿ëÇϱⰡ ¿ëÀÌÇÏ´Ù. ¹°·Ð SUN°°Àº ´ëÁßÀûÀÎ ¿÷½ºÅ×À̼ÇÀ» ÀÌ¿ëÇÏ ¿© network clusteringÀ» ÇÒ ¼ö ÀÖÁö¸¸, °íºñ¿ëÀ¸·Î ÀÎÇØ È®À强¿¡ ÇѰ踦 °¡Áö°Ô µÈ´Ù. Beowulf cluster´Â °¢ slave node´Â ±âº»ÀûÀ¸·Î M/B, RAM, NIC, CPU¸¸À» °¡Áö°í Å°º¸µå, ¸¶¿ì½º, ¸ð´Ï ÅÍ´Â °øÀ¯±â¸¦ ÅëÇÏ¿© master node¿¡¼­ Àüü node¸¦ Á¦¾îÇÏ°í ÀüÀûÀ¸·Î º´·Ä󸮿¡ »ç¿ëµÈ´Ù´Â Á¡¿¡¼­ ÀϹÝÀûÀÎ workstation cluster¿Í ±¸ºÐµÈ´Ù. °¡Àå °£´ÜÇÑ beowulf cluster´Â switching hub ¾øÀÌ Á÷Á¢ cross linkÇÏ¿© 2 node·Î ±¸¼ºÇÒ ¼ö ÀÖ ´Âµ¥ °¢ node¿¡ CPU¸¦ 2°³¾¿ ¼³Ä¡ÇÑ´Ù¸é °£´ÜÇÑ 4 processor mini beowulf cluster¸¦ ¸¸µé¼ö ÀÖ ´Ù. Ãʱâ beowulf clusterÀº 8-node ¶Ç´Â 16-node·Î ethernetÀ» ¹ÙÅÁÀ¸·Î ½ÃÀÛÇÏ¿´Áö¸¸, ÇöÀç Á¦ ´ë·Î µÈ Beowulf clusterÀ» ±¸¼ºÇϱâ À§Çؼ­ shared 100MBPS±ÞÀÎ ÀÏ¹Ý fast ethernet hub º¸´Ù ´Â °¢ node°£ÀÇ network I/O bandwidth¸¦ º¸ÀåÇϱâ À§Çؼ­ dedicated 100MBPS¸¦ Á¦°øÇÏ´Â switching hub°¡ ÇʼöÀûÀÌ´Ù. ÇöÀç 16Æ÷Æ® switch¸¦ »ç¿ëÇÒ °æ¿ì ÃÖ´ë 16 node¸¦ ±¸¼ºÇÒ ¼ö ÀÖ À¸¸ç, network I/OÀÇ bandwidth°¡ ºÎÁ·ÇÒ °æ¿ì °¢ node¿¡ NIC¸¦ Ãß°¡ ¼³Ä¡ÇÏ¿© network channel bondingÀ» ÇÏ¿© node¼ö´Â ÁÙ¾îµéÁö¸¸, ³×Æ®¿÷ ´ë¿ªÆøÀ» Áõ°¡½Ãų¼öµµ ÀÖ´Ù. (¿©±â¼­ ¸»ÇÏ ´Â node´Â M/BÀÇ ¼ö·Î °¢°¢ÀÇ node´Â dual ¶Ç´Â quad cpu·Îµµ °¡´ÉÇÏ´Ù.)

100 nodeÀÌ»ó ¼³Ä¡ÇÏ¿© ¿î¿µÇÏ°í ÀÖ´Â °÷Àº ´ë°³ gigabit uplink°¡ °¡´ÉÇÑ 100MBPS switch¸¦ »ç ¿ëÇÏ¿© °¢ node¸¦ ¿¬°á½ÃÅ°°í ÀÌ·¯ÇÑ switch¸¦ gigabit switch·Î ¿¬°áÇÏ¿© °¢ node°£ÀÇ network ¸¦ ÅëÇÑ I/O bandwidth¸¦ ¼Õ½ÇÀ» ÃÖ¼ÒÈ­ ÇÑ´Ù. ÀÌ·± ¹æ½ÄÀ¸·Î ³×Æ®¿÷À» ±¸¼ºÇÒ °æ¿ì ±Ø´ÜÀûÀÎ °æ¿ì¸¦ »ý°¢Çϸé, beowulf cluster°ú ³×Æ®¿÷ ±¸¼ºÀº Ʋ¸®Áö¸¸, IntelÀÇ Pentium Pro CPU¸¦ 9152 °³¸¦ »ç¿ëÇÑ ASCI ÀÇ Red System (ÇöÀç Top500 list¿¡¼­ 1À§)À¸·Î beowulf clusterÀÇ °¡´É¼ºÀ» ÃæºÐÈ÷ ÁüÀÛÇÒ ¼ö ÀÖÀ» °ÍÀÌ´Ù. ÀÌ¿Í °°ÀÌ, Beowulf clusterÀÇ °¢ node´Â ½ÃÀå¿¡¼­ ½±°Ô ±¸ÇÒ ¼ö ÀÖ´Â PC Çϵå¿þ¾î·Î ±¸ÃàµÇÁö¸¸, ³×Æ®¿÷ ±¸¼º¿¡ »ç¿ëµÇ´Â Àåºñ´Â ¿¹¿Ü·Î¼­, Àüü Beowulf cluster¿¹»ê Áß¿¡ Å« ºÎºÐÀ» Â÷ÁöÇÏ°í ÀÖÀ¸¸ç ±â¼úÀÇ ¹ß´Þ·Î Myrinet°°Àº »õ·Î¿î ³×Æ®¿÷ Àåºñ°¡ µîÀåÇÏ°í ÀÖÀ¸³ª, channel bondingÇÑ ³×Æ®¿÷ ±¸¼º¿¡ ºñÇØ °¡°Ý´ë ¼º´Éºñ¿¡¼­ Å« È¿°ú¸¦ º¸ÀÌÁö ¸øÇÏ°í ÀÖ¾î Áö±ÝÀº ³Î¸® »ç¿ëµÇ°í ÀÖÁö ¸øÇÏ´Ù.

3. Beowulf Cluster - GALAXY

À§¿¡¼­´Â Beowulf cluster¿¡ ´ëÇÑ ÀϹÝÀûÀΠƯ¡°ú ±¸¼º¹æ½Ä¿¡ ´ëÇؼ­ ¼³¸íÀ» ÇÏ¿´´Ù. ¿©±â¼­´Â ÇÊÀÚ°¡ Á÷Á¢ ±¸¼ºÇغ» Beowulf clusterÀÇ ±¸¼º¹æ¹ý°ú Ư¡¿¡ ´ëÇؼ­ °£´ÜÈ÷ ¼Ò°³¸¦ ÇÏ°Ú´Ù. ´ëºÎ ºÐÀÇ softwareÀûÀÎ ¼ÂÆðü·ÃÀº LINUX HOW-TO ¹®¼­¿¡ Àß ³ª¿Í ÀÖÀ¸¹Ç·Î ÂüÁ¶Çϱ⠹ٶõ´Ù.

97³â º½ ÇÊÀÚÀÇ ¿¬±¸½Ç¿¡¼­´Â SUN Sparc 20¿Í HP C180 ½Ã½ºÅÛÀ» »ç¿ëÇÏ°í ÀÖ¾úÁö¸¸, ½Ç¿øµé ÀÇ ¼öÄ¡°è»ê·®À» ¼ö¿ëÇϱ⿡´Â ¿ªºÎÁ·À̾ ±× ´ç½Ã »õ·Î¿î ½Ã½ºÅÛÀ» ã´Â Áß ¾Õ¼­ ¸»ÇÑ ¹Ù¿Í °°ÀÌ ÆæƼ¾ö ÇÁ·Î¿¡ ¸®´ª½º¸¦ ¼³Ä¡ÇÏ¿© »ç¿ëÇÏ´Â °ÍÀÌ °¡°Ý´ë ¼º´Éºñ°¡ ÃÖÀûÀ̶ó´Â ÆÇ´Ü ¾Æ·¡¿¡ ÆæƼ¾ö ÇÁ·Î(200MHz)¸¦ ±¸ÀÔÇÏ¿© ¸®´ª½º¸¦ ¼³Ä¡ÇÏ°í, Àü°ø°ü·Ã ÄÚµå ÆÐÅ°Áö¸¦ ¼³Ä¡ÇÏ¿© Àû±Ø È° ¿ëÇϱ⠽ÃÀÛÇÑ °ÍÀÌ ¸®´ª½º¸¦ óÀ½À¸·Î Å×Å©´ÏÄà ÄÄÇ»Æÿ¡ ÀÌ¿ëÇÑ °ÍÀ̾ú´Ù. ¹°·Ð ±× Àü¿¡¾ß ³² µé ´Ù ÇÏ´Â °Íó·³ ¸®´ª½º·Î ºÎÆÃÇß´Ù°¡ NT·Î ºÎÆÃÇß´Ù°¡ Çϸ鼭 ÀÌ°Í Àú°Í Àå³­ Ã帴 ´Ü°è¿´ Áö, Á÷Á¢ ¿¬±¸¿¡ È°¿ëÇϱâ´Â óÀ½À̾ú´Ù. ±× ÀÌÈÄ 97³â °Ü¿ï µà¾ó ÆæƼ¾öII 300MHz·Î ¾÷±×·¹ÀÌ µåÇÏ¿´À¸¸ç, º´·Ä󸮸¦ ¿°µÎ¿¡ µÎ°í 98³â º½ ½Ì±Û ÆæƼ¾öII 300MHz¸¦ µÎ´ë¸¦ ´õ ±¸ÀÔÇÏ¿© 1GB SCSIÇϵ忡 OS¸¸ ¼³Ä¡ÇÏ°í NFS¸¦ ÀÌ¿ëÇؼ­ »ç¿ëÀÚ µð·ºÅ丮¸¦ ½Ã½ºÅÛ°£ ¼­·Î °øÀ¯ÇÏ¿© »ç¿ë ÇÏ¿´´Ù. À̶§ Àü°øºÐ¾ßÁß Monte Carlo½Ã¹°·¹À̼ÇÀ» ÇÏ´Â Äڵ尡 PVM library¸¦ ÀÌ¿ëÇÑ º´·Äó¸® ¸¦ Áö¿øÇÏ¿´±â ¶§¹®¿¡, g77°ú PVM library¸¦ ÀÌ¿ëÇÏ¿© ÄÄÆÄÀÏÇÏ¿© »ç¿ëÇÏ°Ô µÇ¾ú´Ù. Monte Carlo ½Ã¹°·¹ÀÌ¼Ç Æ¯¼º»ó ÇÁ·Î±×·¥ ½ÃÀÛ°ú ³¡¿¡¸¸ °¢ nodeµé°£ÀÇ µ¥ÀÌŸ Àü¼ÛÀÌ ÇÊ¿äÇϱ⠶§¹® ¿¡, shared 10Mbpsȯ°æ¿¡¼­µµ ¹«³­ÇÏ°Ô ÇÁ·Î¼¼½º °¹¼ö¸¸Å­, 4¹èÁ¤µµÀÇ ¼ÓµµÁõ°¡¸¦ °¡Á®¿ÔÀ¸¸ç »ó ´çÈ÷ ¸¸Á·ÇÏ°Ô »ç¿ëÇÏ¿´´Ù. ±×·¯³ª shared 10Mbpsȯ°æ¿¡¼­ 4°³ÀÇ ÇÁ·Î¼¼¼­¸¦ »ç¿ëÇÏ¿© number crunching ÀÛ¾÷À» Çϱ⿡´Â ³Ê¹« ¿­¾ÇÇÑ È¯°æÀ̾ »ý°¢Áöµµ ¸øÇÏ¿´À¸³ª, 7¿ù¿¡ KAIST Backbone networkÀÌ ±âÁ¸ÀÇ FDDI¿¡¼­ ATMÀ¸·Î ÀÌÀüÇϸ鼭 enduser¿¡°Ô dedicated 10MBPS¸¦ Á¦°øÇÔ¿¡ µû¶ó, ¿¬±¸½Ç³»¿¡¼­ Baynetwork¿¡¼­ ³ª¿Â 24Æ÷Æ® 10/100M SwitchÀÎ BayStack 350T-HD¸¦ ±¸ÀÔÇÏ°Ô µÇ¾ú´Ù.

±âÁ¸ÀÇ ½Ã½ºÅÛÀ¸·Î »õ·Ó°Ô workstation cluster°¡ ¾Æ´Ñ, Beowulf-classÀÇ ½Ã½ºÅÛÀ¸·Î ±¸ÃàÇϱâ À§ ÇØ, ÀÏ´Ü master node¿¡¸¸ ÇÏµå µð½ºÅ©¸¦ ÀåÂøÇÏ°í slave node´Â diskless·Î ÇÏ¿© ±âÁ¸¿¡ ÀÖ´ø OS¿ë 1GB SCSIÇϵ带 Á¦°ÅÇÏ°í slave node´Â M/B, 1 CPU, 10/100M NIC, 64MB RAM, ISA VGA, keyboard·Î¸¸ ±¸¼º ÇÏ¿´´Ù. ½ÇÁ¦ VGA´Â ÇÊ¿ä¾ø¾úÁö¸¸, ½Ã½ºÅÛ ºÎÆÃÀ» ÇϱâÀ§ÇØ, ¾î¿¼ö ¾øÀÌ ±¼·¯´Ù´Ï´Â ISA ºñµð¿À Ä«µå¸¦ ²È°Ô µÇ¾ú°í mini beowulf ½Ã½ºÅÛÀ̶ó Å°º¸µå °øÀ¯±â¸¦ ±¸ ÀÔÇÏ¿© master node¿¡¼­ Àüü¸¦ °ü¸®ÇÏ´Â °ÍÀº ÀÏ´Ü »ý°¢Áö ¾Ê¾Ò´Ù. ÀÌ¿Í ¹Ý¸é¿¡ master node¿¡ ¼­´Â M/B, 2 CPU, 2 10/100M NIC, 512MB RAM, 22GB SCSI HDD, PCI VGA·Î ±¸¼ºÇÏ¿´´Ù. ÀÏ´Ü BayStack 350T-HDÀÇ VLAN ±â´ÉÀ» ÀÌ¿ëÇÏ¿© 24Æ÷Æ®Áß Beowulf cluster°¡ »ç¿ëÇÏ´Â 3Æ÷ Æ®¸¦ VLAN2 ·Î ÇÏ°í, ³ª¸ÓÁö Æ÷Æ®´Â VLAN1¿¡ ¼ÓÇϵµ·Ï ¼³Á¤ÇÏ¿´°í, Master node¿¡´Â 2°³ÀÇ NIC¸¦ ¼³Ä¡ÇÏ¿´´Âµ¥ eth0´Â VLAN1 ¿¡ ¿¬°áÇÏ¿© ¿ÜºÎ ³×Æ®¿÷¿¡¼­ Á¢±Ù°¡´ÉÇÏ°Ô ÇÏ°í eth1Àº VLAN2¿¡ ¿¬°áÇÏ¿© nodeµé°£¿¡ private network¸¦ ±¸¼ºÇÏ¿´´Ù.

»ç¿ëÇÑ ¸®´ª½º ¹èÆ÷ÆÇÀº RedHat 5.1·Î¼­, RedHat»ç¿¡¼­ NASAÀÇ CESDIS¿Í ÇÔ²² Extreme Linux¶ó´Â RedHat 5.0¿¡ ±âÃÊÇÏ¿© ÀÎÅÚ X86À» À§ÇÑ Beowulf cluster¿ë ¹èÆ÷ÆÇÀ» ÆǸÅÇÏ°í ÀÖ À¸¸ç ÇöÀç anonymous ftp server·Î ºÎÅÍ ´Ù¿î·Îµå ¹ÞÀ»¼ö ÀÖ´Ù. ÇÊÀÚ°¡ ¼³Ä¡ÇÒ ½Ã±â¿¡´Â anonymous ftp server·ÎºÎÅÍ ´Ù¿î·Îµå ¹ÞÀ» ¼ö ÀÖ´Â »óȲÀÌÁö¸¸, ±× ´ç½Ã¿¡´Â Extreme Linux¸¦ ±¸ÇÒ¼ö ¾ø¾ú°í, 5.0¿¡ ±âÁØÇÏ°í ÀÖ¾î º°´Ù¸¥ ¸Þ¸®Æ®°¡ ¾ø¾î º¸¿© RedHat 5.1À» ¼³Ä¡ÇÏ°í °ü·Ã ¼Ò ÇÁÆ®¿þ¾î¸¦ Á÷Á¢ ¼³Ä¡ÇÏ¿´´Ù. ±×·¯³ª, Intel X86ȯ°æ¿¡¼­ NIC¸¦ °¢ ³ëµå¿¡ 2À徿 »ç¿ëÇÏ¿© channel bondingÇÏ¿© node°£ÀÇ network ´ë¿ªÆøÀ» 2¹è·Î Áõ°¡½ÃÅ°°Å³ª ¼ÒÇÁÆ®¿þ¾î ¼³Ä¡ÀÇ ¼ö°í¸¦ ´ú±â ¿øÇÑ´Ù¸é, Extreme Linux¸¦ »ç¿ëÇÏ´Â °ÍÀÌ ¹Ù¶÷Á÷ÇÒ °Í °°´Ù.

Master node´Â diskless slave node¸¦ À§ÇØ NFS-ROOT server°¡ µÇ°Ô ÇÏ¿´°í, NIS¼­¹ö´Â ¼³Ä¡ ÇÏÁö ¾Ê°í °¢ nodeµéÀ» À§ÇÑ /tftpboot µð·ºÅ丮ÀÇ passwd, group ÆÄÀÏÀ» master nodeÀÇ ÆÄÀÏ°ú Çϵ帵ũ ½ÃÄѳõ¾Ò´Ù. slaveµéÀÌ bootp¸¦ ÅëÇØ ip address¸¦ ¼³Á¤ÇÒ¼ö ÀÖ°Ô ÇÏ¿´À¸¸ç, DNS ¼­ ¹ö¸¦ ¼³Ä¡ÇÏ¿© private network³»¿¡¼­ nodeµé°£ÀÇ ³×Æ®¿÷ ȯ°æ¿¡ ¹®Á¦°¡ ¾ø°Ô ÇÏ¿´´Ù. ¼³Ä¡ÇÑ °øÇÐ °ü·Ã ¼ÒÇÁÆ®¿þ¾î´Â ¾ÕºÎºÐ¿¡¼­ ¸»ÇÑ ASCI Red ¼öÆÛÄÄÇ»ÅÍ¿¡¼­ »ç¿ëÁßÀÎ ÆæƼ¾ö ÇÁ ·ÎÀü¿ë BLAS, FFT math library¸¦ ¼³Ä¡ÇÏ¿´°í, message passing library·Î, MPICH, LAM MPI, PVMÀ» ¼³Ä¡ÇÏ¿© °¢ ³ëµå°£ message passingÀ» ÅëÇØ º´·Ä󸮸¦ °¡´ÉÇÏ°Ô ÇÏ¿´À¸¸ç, ±âŸ º´·Ä 󸮿ë math library¸¦ ¼³Ä¡ÇÏ¿´´Ù. Beowulf cluster »ç¿ëÀÚµéÀº master node·Î¸¸ ³×Æ®¿÷À¸·Î Á¢ ±Ù °¡´ÉÇϱ⠶§¹®¿¡, master node¿¡ jobÀÌ ÁýÁßµÉ °ÍÀ» ¿ì·ÁÇÏ¿© ºñ·Ï ¼Ò±Ô¸ð ½Ã½ºÅÛÀÌÁö¸¸, DQS¸¦ »ç¿ëÇÏ¿© »ç¿ëÀÚµéÀÇ batch jobÀ» °ü¸®ÇÏ°Ô ÇÏ¿© »ç¿ëÀÚµéÀÇ jobÀÌ ÇÁ·Î¼¼½º¸¶´Ù ±ÕµîÇÏ °Ô ¹èºÐÇÒ¼ö ÀÖ°Ô ÇÏ¿´°í, ÃÖÁ¾ÀûÀ¸·Î ÀÌ·¸°Ô ¼³Ä¡µÈ Beowulf System¿¡ ´ëÇؼ­ NAS Parallel Benchmarks (NPB)À» ÀÌ¿ëÇÏ¿© Å×½ºÆ® Çغ¸¾ÒÀ¸¸ç ÇÊÀÚÀÇ Àü°ø°ü·Ã ¹®Á¦¸¦ PETSc¶ó´Â ÅøŶÀ» ÀÌ¿ëÇؼ­ ÇÁ·Î±×·¡¹ÖÇÏ¿© Å×½ºÆ® Çغ¸¾Ò´Ù. Å×½ºÆ®Çغ¸¸é¼­ ¸î°¡Áö ¹®Á¦Á¡ÀÌ ³ªÅ¸³µ´Âµ¥, ÀÏ´Ü CPU°¡ 4°³ÀÎ ¹Ý¸é¿¡ NIC´Â 3°³¿©¼­ µ¥ÀÌŸ º´¸ñÇö»óÀÌ ¹ß°ßµÇ¾úÀ¸¸ç ¾à°£ÀÇ ¼º´É ÀúÇÏ°¡ ³ªÅ¸ ³²À» ¹ß°ßÇÏ¿´´Ù. Á¤È®ÇÑ parallel benchmark °á°ú¸¦ ½ÆÁö´Â ¾ÊÁö¸¸, °ÅÀÇ 85% ÀÌ»ó parallel efficiency¸¦ º¸¿©ÁÖ¾úÀ¸¸ç, NIC¸¦ Çϳª´õ Ãß°¡ÇÏ°í channel bondingÀ» ÇÑ´Ù¸é ´õ¿í ´õ È¿°úÀûÀÎ ½Ã½ºÅÛÀÌ µÉ°ÍÀ̶ó »ý°¢µÈ´Ù.

4. ¸¶Ä¡¸é¼­

ªÀº ³»¿ëÀÌÁö¸¸, ¼öÆÛ ÄÄÇ»Æÿ¡ µµÀüÇÏ°í ÀÖ´Â ¸®´ª½º¿¡ ´ëÇؼ­ °£·«ÇÏ°Ô ¼Ò°³ÇÏ¿´´Ù. ºñ·Ï ÀÌ·¯ ÇÑ Beowulf clusterÀ» ÀÏ¹Ý ¸®´ª½º ÀÌ¿ëÀÚ°¡ »ç¿ëÇϱ⿡´Â °Å¸®°¡ ¸Ö¾î º¸ÀÌÁö¸¸, ¸®´ª½º´Â ¾÷¹« ȯ°æ°ú °ü·ÃµÈ ¼­¹ö ½ÃÀåÀº ¹°·Ð, °íµµÀÇ Á¤È®¼º°ú ÃÊ°í¼ÓÀÇ °è»ê·ÂÀ» ÇÊ¿ä·ÎÇÏ´Â Å×Å©´ÏÄà ÄÄÇ» Æà ¿µ¿ª¿¡¼­µµ ÀÚÀ¯ÇÔÀ¸·Î µµÀüÇÏ´Â ¸®´ª½ºÀÇ ¹«ÇÑÇÑ °¡´É¼ºÀ» ¿³º¼¼ö ÀÖ´Ù.

88³âºÎÅÍ ½ÃÀÛÇÑ ±¹³» ¼öÆÛÄÄ ¿ª»ç´Â ¿ÃÇØ·Î 10³âÀÌ ³Ñ°Ô µÇ¾ú°í, ±¹³» ¼öÆÛÄÄ ¼ö´Â ¸î ½Ê´ëµÇ´Â °Í °°Áö¸¸, ´ëºÎºÐ '¹«´Ì¸¸' ¼öÆÛÄÄÀÎ °æ¿ì°¡ ´ëºÎºÐÀ¸·Î, ±Ô¸ð¸é¿¡¼­ ¹Ì±¹ÀÇ 1¹é11ºÐÀÇ 1, ÀϺ» ÀÇ 40ºÐÀÇ 1, EUÀÇ 30ºÐÀÇ 1¼öÁØ¿¡ ºÒ°úÇÑ ½ÇÁ¤À¸·Î ¼±Áø±¹µé°ú ºñ±³Çؼ­ ¿­¾ÇÇϱ⸸ ÇÏ´Ù. IMF·Î ÀÎÇÑ ±¹³» °æÁ¦¿©°Ç¾ÇÈ­·Î SERIÀÇ ¼öÆÛÄÄÇ»ÅÍ 3È£±âÀÇ µµÀÔÀÌ Àü¸é º¸·ùµÈ »óȲÀ̸ç, ¿Ã ¿©¸§ ºñ³­¸®·Î ÀÎÇØ ±â»óû¸¸ÀÌ ½Å±Ô·Î 1õ 3¹é¸¸´Þ·¯ÀÇ 100GFLOPSÀÇ ±â»ó¿¹º¸Àü¿ë ¼öÆÛÄĸ¸ÀÌ µµÀÔ¿¹Á¤ÀÌ´Ù. ÀÌ·± ±¹³» »óȲÀ¸·Î º¼¶§ ¾Õ¼­ ¸»ÇÑ ·Î½º¾Ë¶ó¸ð½º ±¹¸³¿¬±¸¼ÒÀÇ 20GFLOPSÀÇ °è »ê´É·ÂÀ» °¡Áø, 15¸¸ ´Þ·¯Â¥¸® home made supercomputer, AvalonÀº °­·ÂÇÑ 'Æë±Ï' ±º´ÜÀÇ °¡´É ¼º¿ï º¸¿©ÁØ´Ù. ÀÌ·¯´Ù º¸´Ï ½ÉÁö¾î ¾î¶² »ç¶÷Àº ºÏÇÑ, À̶óÅ©, Äí¹Ù °°Àº ³ª¶ó°¡ ±º»ç¿ëÀ¸·Î beowulf clusterÀ» »ç¿ëÇÏÁö ¾ÊÀ»±î? °ÆÁ¤Çϱ⵵ ÇÑ´Ù.

Beowulf clusterÀÌ ±âÁ¸ÀÇ ¼öÆÛÄÄÇ»ÅÍ¿¡ ºñÇØ ºñ¿ëÀº 1/10ÀÌÇÏÁö¸¸, ±×·¡µµ ºñ¿ë¸é¿¡¼­ ºÎ´ãÀº µÈ ´Ù. ±×·¯³ª, ´ëÇÐÀÇ Çаú PC·ë¿¡ ±ò·Á ÀÖ´Â Window¸¦ ¹Ð¾î¹ö¸®°í, ¸®´ª½º¸¦ ¼³Ä¡ÇÑ´Ù¸é ½±°Ô ¼Ò ±Ô¸ð beowulf cluster¸¦ ±¸ÃàÇÒ ¼ö ÀÖÀ¸¸ç, ¸¸ÀÏ KAIST°°Àº ´ë´ÜÀ§ ¿¬±¸ ȯ°æÀ̶ó¸é ±â°ü¿¡¼­ master node¿Í network Àåºñ¸¸ Ãʱâ Áö¿øÇØÁشٸé, °¢ ¿¬±¸½Ç¿¡¼­´Â slave node ¿ëÀ¸·Î ¸®´ª½º ¹Ú½º Çϳª¾¿ °¡Á®¿Í Ãß°¡ ¼³Ä¡ÇÏ¿© °­·ÂÇÑ ¼öÆÛÄÄÇ»Æà ȯ°æÀ» ½±°Ô ±¸ÃàÇÒ ¼ö ÀÖÀ»°ÍÀ¸·Î »ý°¢µÇ ¸ç ¶ÇÇÑ ¾ðÁ¦ µçÁö ÇØüÇÏ¿© ´Ù½Ã °¢ ¿¬±¸½Ç·Î °¡Á®°¥ ¼öµµ ÀÖÀ» °ÍÀÌ´Ù.

ÀÚ, ÀÌÁ¦ ³²Àº ÀÏÀ̶ó°í´Â °í°¡ÀÇ ¿÷½ºÅ×À̼Ǹ¸ °íÁýÇÏÁö ¸»°í ´«À» µ¹·Á 2´ëÀÇ Dual PII ¸® ´ª½º ¹Ú½º¸¦ channel bondingÇÏ¿© cross cable·Î Á÷Á¢ ¿¬°áÇغ¸ÀÚ. °í°¡ÀÇ switching hub ¾øÀ̵µ 4 processor beowulf clusterÀÇ ¼º´É¿¡ ¾Æ¸¶ °¨µ¿ÇÒ °ÍÀÌ´Ù.


ID
Password
Join
The person you rejected yesterday could make you happy, if you say yes.


sponsored by andamiro
sponsored by cdnetworks
sponsored by HP

Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2003-08-10 11:52:29
Processing time 0.0019 sec