Prestazioni per ZVOL presentate su iSCSI?

Ho la seguente configuration per il test: HP Microserver N36L (dual-core Athlon64 a basso consumo) 8 GB ECC RAM 2 porte Intel Gigabit NIC 4x3TB WD Green (5400 RPM?) Disco da 1 sata per l'image OS (FreeBSD 10.1)

Switch è un HP v1910-24G (switch L2 gestito, porte 24 gigabit)

Il client è: Core i5 2400 sulla scheda madre DH67BL 24 GB RAM 1 Intel Gigabit (a bordo)

La macchina FreeBSD espone i suoi zvols su iSCSI e l'iniziatore è Windows. Su Windows, i volumi iSCSI vengono formattati in NTFS e VMWare Workstation lo utilizza come disco per altri VM (in questo caso anche Windows 7 VM).

Ho provato diverse configurazioni per zvols, principalmente volblocksizes di valori diversi, da 4k a 64k, e size di cluster NTFS da 4 a 64k pure. Ho provato combinazioni di blockize = dimensione del cluster e dimensione del block> size del cluster.

In tutti i casi ottengo fondamentalmente lo stesso:

Le letture sequenziali sono a 110-120 MB / s (limite Gigabit Ethernet). Le letture casuali sono <5MB / s

La copia di file di grandi size al di fuori o all'interno dei VM è accettabile. Finestre di avvio è dolorosamente lento (> 3 minuti su una nuova installazione per la schermata di login. 1 minuto di più per il desktop)

È questo comportmento previsto?

  • JBOD: qualsiasi sistema che può fare RAID-0 può fare JBOD?
  • Manca l'OpenIndiana ZFS con la properties; shareiscsi
  • RAID 1E con ZFS
  • Dall'aggiornamento a Solaris 11, la mia dimensione ARC ha costantemente mirato a 119 MB, nonostante avesse 30 GB di RAM. Che cosa? Perché?
  • zfs con vdevs asimmetrici
  • ZFS - distruggendo il set di dati deduplicato o il set di dati si blocca il server. Come recuperare?
  • Perché ho riscontrato errori di checksum con un file system ZFS su un RDM ESXi?
  • ZFS - Recupero o riparazione di un file danneggiato in un'istantanea dal backup?
  • 2 Solutions collect form web for “Prestazioni per ZVOL presentate su iSCSI?”

    Questa configuration ha un sacco di componenti e decisioni di progettazione che contribuiscono alla sua scarsa prestazione.

    • L'HP Microserver è un prodotto a bassa prestazione. CPU limitata e bassa CPU.

    • Gli azionamenti di Western Digital Green sono bassi RPM e richiedono una particolare considerazione per la loro formattazione a 4 k-settore. Questo è probabilmente il problema principale.

    • Sembra che tu possa utilizzare RAIDZ1 in tre dischi. Le performance di lettura / scrittura casuali in quella configuration sono abbastanza basse. Si aspetta di vedere le performance di un singolo disco in entrambi i casi.

    • Nessun dispositivo di scrittura in memory / dispositivo ZIL.

    • 1GbE iSCSI ad un iniziatore di software di Windows non è grande.

    • VMware Workstation sicuramente non aiuta.

    • Alcuni attributi ZFS potrebbero lavorare contro di voi qui: il detpo è cattivo. la compressione del gzip è male (lz4 è ok). Troppa RAM allocata a ARC è male.

    Gli HDD meccanici combattono all'accesso random di I / O.

    4x WD Green che ti dà 5 MB / s di performance di lettura casuali è ancora meglio di quanto mi aspettassi.
    Alcune matematiche: a 5400 RPM, una sola rotazione richiede 11 ms, quindi una mezza rotazione ha bisogno di ~ 5.5ms. Questo è il ritardo di rotazione . Aggiungendo altri ~ 8ms di tempo di ricerca (il tempo in cui l'attuatore deve posizionare correttamente le teste di lettura / scrittura) port il tempo totale a ~ 13ms. Ciò significa che IOPS per singolo disco è 1000ms (1 sec) / 13ms = ~ 76 IOPS. A 4K lettura random, questo traduce in ~ 300 KB / s

    Considerando come la stessa ZFS RAIDZ sia piuttosto difettosa in termini di IOPS (per sua progettazione: il sacrificio ZFS IOPS per la sicurezza dei dati, leggi qui per ulteriori dettagli) Sono sorpreso di avere 5 MB / s di performance di lettura random. Hai provato con 4KB letture casuali o quelle più grandi (es .: 64KB)?

    Torna a voi problema originale: penso sia una combinazione di piccoli iSCSI volblocksize / recordsize, RAIDZ vols e 4K dischi. In RAIDZ Vols, each lettura / scrittura viene suddivisa per il numero di dischi dati e quindi inoltrata ai dischi fisici. Ad esempio sul tuo setup, una singola scrittura a 8K sarà interrotta in più scritture di ~ 3KB (3x3KB scrive per i dati e 1x 3KB scrivere per parità) e questo innescherà una lettura-modifica-scrittura sui dischi stessi (in quanto sono 4K dischi basati su disco). Poiché l'avvio di Windows è pesante a scrittura random, può essere influenzato dal comportmento dei dischi.

    Prova questo: se puoi permettersi di distruggere il tuo ZPOOL / ZDEV, distruggerlo e ricrearlo con una volubilità di 16K o 32K (vedi qui ). Quindi reinstallare una macchina Windows e riprovare il tuo scenario.

    Suggerimenti per Linux e Windows Server, quali Ubuntu, Centos, Apache, Nginx, Debian e argomenti di rete.