ਜਦੋਂ ਜ਼ਿਆਦਾਤਰ ਲੋਕ "ਆਰਟੀਫੀਸ਼ੀਅਲ ਇੰਟੈਲੀਜੈਂਸ" ਸੁਣਦੇ ਹਨ, ਤਾਂ ਉਹ ਨਿਊਰਲ ਨੈਟ, ਫੈਂਸੀ ਐਲਗੋਰਿਦਮ, ਜਾਂ ਸ਼ਾਇਦ ਉਨ੍ਹਾਂ ਥੋੜ੍ਹੇ ਜਿਹੇ ਅਜੀਬ ਹਿਊਮਨਾਈਡ ਰੋਬੋਟਾਂ ਦੀ ਕਲਪਨਾ ਕਰਦੇ ਹਨ। ਜਿਸ ਗੱਲ ਦਾ ਪਹਿਲਾਂ ਜ਼ਿਕਰ ਘੱਟ ਹੀ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਉਹ ਇਹ ਹੈ: AI ਸਟੋਰੇਜ ਨੂੰ ਲਗਭਗ ਓਨੀ ਹੀ ਜ਼ੋਰ ਨਾਲ ਖਾਂਦਾ ਹੈ ਜਿੰਨੀ ਇਹ ਕੰਪਿਊਟ ਕਰਦਾ ਹੈ। ਅਤੇ ਸਿਰਫ਼ ਕੋਈ ਵੀ ਸਟੋਰੇਜ-ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਹੀ ਨਹੀਂ ਜੋ ਬੈਕਗ੍ਰਾਊਂਡ ਵਿੱਚ ਚੁੱਪਚਾਪ ਬੈਠਦੀ ਹੈ, ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਨੂੰ ਲੋੜੀਂਦੇ ਡੇਟਾ ਨੂੰ ਫੀਡ ਕਰਨ ਦਾ ਬੇਢੰਗਾ ਪਰ ਬਿਲਕੁਲ ਜ਼ਰੂਰੀ ਕੰਮ ਕਰਦੀ ਹੈ।
ਆਓ ਆਪਾਂ ਇਹ ਜਾਣੀਏ ਕਿ ਏਆਈ ਲਈ ਵਸਤੂ ਸਟੋਰੇਜ ਨੂੰ ਇੰਨਾ ਮਹੱਤਵਪੂਰਨ ਕੀ ਬਣਾਉਂਦਾ ਹੈ, ਇਹ ਸਟੋਰੇਜ ਸਿਸਟਮ ਦੇ "ਪੁਰਾਣੇ ਗਾਰਡ" ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ, ਅਤੇ ਇਹ ਸਕੇਲੇਬਿਲਟੀ ਅਤੇ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਮੁੱਖ ਲੀਵਰਾਂ ਵਿੱਚੋਂ ਇੱਕ ਕਿਉਂ ਬਣ ਜਾਂਦਾ ਹੈ।.
ਇਸ ਤੋਂ ਬਾਅਦ ਤੁਸੀਂ ਜੋ ਲੇਖ ਪੜ੍ਹਨਾ ਪਸੰਦ ਕਰ ਸਕਦੇ ਹੋ:
🔗 ਕਾਰੋਬਾਰ ਲਈ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਜਨਰੇਟਿਵ ਏਆਈ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਕਿਹੜੀਆਂ ਤਕਨਾਲੋਜੀਆਂ ਦਾ ਹੋਣਾ ਜ਼ਰੂਰੀ ਹੈ?
ਜਨਰੇਟਿਵ ਏਆਈ ਨੂੰ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸਕੇਲ ਕਰਨ ਲਈ ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਮੁੱਖ ਤਕਨਾਲੋਜੀਆਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।.
🔗 AI ਟੂਲਸ ਲਈ ਡੇਟਾ ਪ੍ਰਬੰਧਨ ਜੋ ਤੁਹਾਨੂੰ ਦੇਖਣੇ ਚਾਹੀਦੇ ਹਨ
ਏਆਈ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣ ਲਈ ਡੇਟਾ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਅਭਿਆਸ।.
🔗 ਵਪਾਰਕ ਰਣਨੀਤੀ ਲਈ ਨਕਲੀ ਬੁੱਧੀ ਦੇ ਪ੍ਰਭਾਵ
ਏਆਈ ਕਾਰੋਬਾਰੀ ਰਣਨੀਤੀਆਂ ਅਤੇ ਲੰਬੇ ਸਮੇਂ ਦੇ ਫੈਸਲੇ ਲੈਣ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਭਾਵਤ ਕਰਦਾ ਹੈ।.
AI ਲਈ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਟਿੱਕ ਕੀ ਬਣਾਉਂਦਾ ਹੈ? 🌟
ਵੱਡਾ ਵਿਚਾਰ: ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਫੋਲਡਰਾਂ ਜਾਂ ਸਖ਼ਤ ਬਲਾਕ ਲੇਆਉਟ ਨਾਲ ਪਰੇਸ਼ਾਨ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਡੇਟਾ ਨੂੰ "ਆਬਜੈਕਟ" ਵਿੱਚ ਵੰਡਦਾ ਹੈ, ਹਰੇਕ ਨੂੰ ਮੈਟਾਡੇਟਾ ਨਾਲ ਟੈਗ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਉਹ ਮੈਟਾਡੇਟਾ ਸਿਸਟਮ-ਪੱਧਰ ਦੀਆਂ ਚੀਜ਼ਾਂ (ਆਕਾਰ, ਟਾਈਮਸਟੈਂਪ, ਸਟੋਰੇਜ ਕਲਾਸ) ਅਤੇ ਉਪਭੋਗਤਾ-ਪ੍ਰਭਾਸ਼ਿਤ ਕੀ: ਮੁੱਲ ਟੈਗ [1] ਹੋ ਸਕਦਾ ਹੈ। ਇਸਨੂੰ ਹਰ ਫਾਈਲ ਵਾਂਗ ਸੋਚੋ ਜਿਸ ਵਿੱਚ ਸਟਿੱਕੀ ਨੋਟਸ ਦਾ ਢੇਰ ਹੁੰਦਾ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਇਹ ਕੀ ਹੈ, ਇਹ ਕਿਵੇਂ ਬਣਾਇਆ ਗਿਆ ਸੀ, ਅਤੇ ਇਹ ਤੁਹਾਡੀ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਕਿੱਥੇ ਫਿੱਟ ਹੁੰਦਾ ਹੈ।
ਏਆਈ ਟੀਮਾਂ ਲਈ, ਉਹ ਲਚਕਤਾ ਇੱਕ ਗੇਮ-ਚੇਂਜਰ ਹੈ:
-
ਮਾਈਗ੍ਰੇਨ ਤੋਂ ਬਿਨਾਂ ਸਕੇਲ - ਡੇਟਾ ਲੇਕਸ ਪੇਟਾਬਾਈਟਸ ਵਿੱਚ ਫੈਲਦੇ ਹਨ, ਅਤੇ ਆਬਜੈਕਟ ਸਟੋਰ ਇਸਨੂੰ ਆਸਾਨੀ ਨਾਲ ਸੰਭਾਲਦੇ ਹਨ। ਇਹ ਲਗਭਗ-ਅਸੀਮਤ ਵਿਕਾਸ ਅਤੇ ਮਲਟੀ-ਏਜ਼ੈਡ ਟਿਕਾਊਤਾ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ (ਐਮਾਜ਼ਾਨ ਐਸ 3 ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ "11 ਨੌਂ" ਅਤੇ ਕਰਾਸ-ਜ਼ੋਨ ਪ੍ਰਤੀਕ੍ਰਿਤੀ ਬਾਰੇ ਸ਼ੇਖੀ ਮਾਰਦਾ ਹੈ) [2]।
-
ਮੈਟਾਡੇਟਾ ਅਮੀਰੀ - ਤੇਜ਼ ਖੋਜਾਂ, ਸਾਫ਼ ਫਿਲਟਰ, ਅਤੇ ਸਮਾਰਟ ਪਾਈਪਲਾਈਨਾਂ ਕਿਉਂਕਿ ਸੰਦਰਭ ਹਰੇਕ ਵਸਤੂ ਦੇ ਨਾਲ-ਨਾਲ ਚੱਲਦਾ ਹੈ [1]।
-
ਕਲਾਉਡ-ਨੇਟਿਵ - ਡੇਟਾ HTTP(S) ਉੱਤੇ ਆਉਂਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਖਿੱਚਾਂ ਨੂੰ ਸਮਾਨਾਂਤਰ ਬਣਾ ਸਕਦੇ ਹੋ ਅਤੇ ਵੰਡੀਆਂ ਗਈਆਂ ਸਿਖਲਾਈ ਨੂੰ ਗੁਣਗੁਣਾਉਂਦੇ ਰਹਿ ਸਕਦੇ ਹੋ।
-
ਲਚਕੀਲਾਪਣ ਬੇਕ ਇਨ - ਜਦੋਂ ਤੁਸੀਂ ਦਿਨਾਂ ਲਈ ਸਿਖਲਾਈ ਲੈ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਇੱਕ ਭ੍ਰਿਸ਼ਟ ਸ਼ਾਰਡ ਨੂੰ ਏਪੋਕ 12 ਨੂੰ ਮਾਰਨ ਦਾ ਜੋਖਮ ਨਹੀਂ ਲੈ ਸਕਦੇ। ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਡਿਜ਼ਾਈਨ ਦੁਆਰਾ ਇਸ ਤੋਂ ਬਚਦੀ ਹੈ [2]।
ਇਹ ਮੂਲ ਰੂਪ ਵਿੱਚ ਇੱਕ ਤਲਹੀਣ ਬੈਕਪੈਕ ਹੈ: ਸ਼ਾਇਦ ਅੰਦਰੋਂ ਗੜਬੜ ਹੋਵੇ, ਪਰ ਜਦੋਂ ਤੁਸੀਂ ਇਸ ਤੱਕ ਪਹੁੰਚਦੇ ਹੋ ਤਾਂ ਸਭ ਕੁਝ ਅਜੇ ਵੀ ਪ੍ਰਾਪਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।.
ਏਆਈ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਲਈ ਤੇਜ਼ ਤੁਲਨਾ ਸਾਰਣੀ 🗂️
| ਔਜ਼ਾਰ / ਸੇਵਾ | (ਦਰਸ਼ਕਾਂ) ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ | ਕੀਮਤ ਰੇਂਜ | ਇਹ ਕਿਉਂ ਕੰਮ ਕਰਦਾ ਹੈ (ਹਾਸ਼ੀਏ ਵਿੱਚ ਨੋਟਸ) |
|---|---|---|---|
| ਐਮਾਜ਼ਾਨ S3 | ਐਂਟਰਪ੍ਰਾਈਜ਼ + ਕਲਾਉਡ-ਫਸਟ ਟੀਮਾਂ | ਜਿਵੇਂ ਮਰਜ਼ੀ ਭੁਗਤਾਨ ਕਰੋ | ਬਹੁਤ ਹੀ ਟਿਕਾਊ, ਖੇਤਰੀ ਤੌਰ 'ਤੇ ਲਚਕੀਲਾ [2] |
| ਗੂਗਲ ਕਲਾਉਡ ਸਟੋਰੇਜ | ਡਾਟਾ ਵਿਗਿਆਨੀ ਅਤੇ ML ਵਿਕਾਸਕਾਰ | ਲਚਕਦਾਰ ਪੱਧਰ | ਮਜ਼ਬੂਤ ML ਏਕੀਕਰਨ, ਪੂਰੀ ਤਰ੍ਹਾਂ ਕਲਾਉਡ-ਨੇਟਿਵ |
| ਅਜ਼ੂਰ ਬਲੌਬ ਸਟੋਰੇਜ | ਮਾਈਕ੍ਰੋਸਾਫਟ-ਭਾਰੀ ਦੁਕਾਨਾਂ | ਟਾਇਰਡ (ਗਰਮ/ਠੰਡਾ) | Azure ਦੇ ਡੇਟਾ + ML ਟੂਲਿੰਗ ਨਾਲ ਸਹਿਜ |
| ਮਿਨਆਈਓ | ਓਪਨ-ਸੋਰਸ / DIY ਸੈੱਟਅੱਪ | ਮੁਫ਼ਤ/ਸਵੈ-ਹੋਸਟ | S3-ਅਨੁਕੂਲ, ਹਲਕਾ, ਕਿਤੇ ਵੀ ਤੈਨਾਤ 🚀 |
| ਵਸਾਬੀ ਗਰਮ ਬੱਦਲ | ਲਾਗਤ-ਸੰਵੇਦਨਸ਼ੀਲ ਸੰਸਥਾਵਾਂ | ਫਲੈਟ-ਰੇਟ ਘੱਟ $ | ਕੋਈ ਨਿਕਾਸ ਜਾਂ API-ਬੇਨਤੀ ਫੀਸ ਨਹੀਂ (ਪ੍ਰਤੀ ਪਾਲਿਸੀ) [3] |
| ਆਈਬੀਐਮ ਕਲਾਉਡ ਆਬਜੈਕਟ ਸਟੋਰੇਜ | ਵੱਡੇ ਉਦਯੋਗ | ਬਦਲਦਾ ਹੈ | ਮਜ਼ਬੂਤ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਸੁਰੱਖਿਆ ਵਿਕਲਪਾਂ ਦੇ ਨਾਲ ਪਰਿਪੱਕ ਸਟੈਕ |
ਹਮੇਸ਼ਾ ਆਪਣੀ ਅਸਲ-ਸੰਸਾਰ ਵਰਤੋਂ ਦੇ ਮੁਕਾਬਲੇ ਕੀਮਤ ਦੀ ਸਮਝਦਾਰੀ ਨਾਲ ਜਾਂਚ ਕਰੋ - ਖਾਸ ਕਰਕੇ ਬਾਹਰ ਨਿਕਲਣਾ, ਬੇਨਤੀ ਵਾਲੀਅਮ, ਅਤੇ ਸਟੋਰੇਜ-ਕਲਾਸ ਮਿਸ਼ਰਣ।.
ਏਆਈ ਸਿਖਲਾਈ ਨੂੰ ਵਸਤੂ ਸਟੋਰੇਜ ਕਿਉਂ ਪਸੰਦ ਹੈ 🧠
ਸਿਖਲਾਈ "ਮੁੱਠੀ ਭਰ ਫਾਈਲਾਂ" ਨਹੀਂ ਹੈ। ਇਹ ਲੱਖਾਂ-ਕਰੋੜਾਂ ਰਿਕਾਰਡ ਹਨ ਜੋ ਸਮਾਨਾਂਤਰ ਟੁੱਟੇ ਹੋਏ ਹਨ। ਲੜੀਵਾਰ ਫਾਈਲ ਸਿਸਟਮ ਭਾਰੀ ਸਹਿਮਤੀ ਦੇ ਅਧੀਨ ਆਉਂਦੇ ਹਨ। ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਫਲੈਟ ਨੇਮਸਪੇਸ ਅਤੇ ਸਾਫ਼ API ਦੇ ਨਾਲ ਇਸਨੂੰ ਛੱਡ ਦਿੰਦੀ ਹੈ। ਹਰੇਕ ਆਬਜੈਕਟ ਦੀ ਇੱਕ ਵਿਲੱਖਣ ਕੁੰਜੀ ਹੁੰਦੀ ਹੈ; ਵਰਕਰ ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਫੈਨ ਆਊਟ ਕਰਦੇ ਹਨ ਅਤੇ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ। ਸ਼ਾਰਡਡ ਡੇਟਾਸੈੱਟ + ਸਮਾਨਾਂਤਰ I/O = GPU ਉਡੀਕ ਕਰਨ ਦੀ ਬਜਾਏ ਰੁੱਝੇ ਰਹਿੰਦੇ ਹਨ।
ਖਾਈ ਤੋਂ ਸੁਝਾਅ: ਕੰਪਿਊਟ ਕਲੱਸਟਰ (ਇੱਕੋ ਖੇਤਰ ਜਾਂ ਜ਼ੋਨ) ਦੇ ਨੇੜੇ ਗਰਮ ਸ਼ਾਰਡ ਰੱਖੋ, ਅਤੇ SSD 'ਤੇ ਹਮਲਾਵਰ ਢੰਗ ਨਾਲ ਕੈਸ਼ ਕਰੋ। ਜੇਕਰ ਤੁਹਾਨੂੰ GPU ਵਿੱਚ ਨੇੜੇ-ਸਿੱਧੀ ਫੀਡ ਦੀ ਲੋੜ ਹੈ, ਤਾਂ NVIDIA GPUDirect ਸਟੋਰੇਜ ਦੇਖਣ ਯੋਗ ਹੈ - ਇਹ CPU ਬਾਊਂਸ ਬਫਰਾਂ ਨੂੰ ਕੱਟਦਾ ਹੈ, ਲੇਟੈਂਸੀ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਅਤੇ ਬੈਂਡਵਿਡਥ ਨੂੰ ਸਿੱਧਾ ਐਕਸਲੇਟਰਾਂ ਤੱਕ ਵਧਾਉਂਦਾ ਹੈ [4]।
ਮੈਟਾਡੇਟਾ: ਘੱਟ ਦਰਜਾ ਪ੍ਰਾਪਤ ਸੁਪਰਪਾਵਰ 🪄
ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਵਸਤੂ ਸਟੋਰੇਜ ਘੱਟ ਸਪੱਸ਼ਟ ਤਰੀਕਿਆਂ ਨਾਲ ਚਮਕਦੀ ਹੈ। ਅਪਲੋਡ ਕਰਨ ਵੇਲੇ, ਤੁਸੀਂ ਕਸਟਮ ਮੈਟਾਡੇਟਾ (ਜਿਵੇਂ ਕਿ S3 ਲਈ x-amz-meta-… ) ਜੋੜ ਸਕਦੇ ਹੋ। ਉਦਾਹਰਣ ਵਜੋਂ, ਇੱਕ ਵਿਜ਼ਨ ਡੇਟਾਸੈਟ, ਚਿੱਤਰਾਂ ਨੂੰ lighting=low ਜਾਂ blur=high ਨਾਲ ਟੈਗ ਕਰ ਸਕਦਾ ਹੈ । ਇਹ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਕੱਚੀਆਂ ਫਾਈਲਾਂ ਨੂੰ ਮੁੜ ਸਕੈਨ ਕੀਤੇ ਬਿਨਾਂ ਫਿਲਟਰ, ਸੰਤੁਲਨ, ਜਾਂ ਸਟ੍ਰੈਟੀਫਾਈ ਕਰਨ ਦਿੰਦਾ ਹੈ [1]।
ਅਤੇ ਫਿਰ ਵਰਜ਼ਨਿੰਗ। ਬਹੁਤ ਸਾਰੇ ਆਬਜੈਕਟ ਸਟੋਰ ਇੱਕ ਆਬਜੈਕਟ ਦੇ ਕਈ ਸੰਸਕਰਣਾਂ ਨੂੰ ਨਾਲ-ਨਾਲ ਰੱਖਦੇ ਹਨ - ਪ੍ਰਜਨਨਯੋਗ ਪ੍ਰਯੋਗਾਂ ਜਾਂ ਸ਼ਾਸਨ ਨੀਤੀਆਂ ਲਈ ਸੰਪੂਰਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਰੋਲਬੈਕ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ [5]।
ਆਬਜੈਕਟ ਬਨਾਮ ਬਲਾਕ ਬਨਾਮ ਫਾਈਲ ਸਟੋਰੇਜ ⚔️
-
ਬਲਾਕ ਸਟੋਰੇਜ: ਟ੍ਰਾਂਜੈਕਸ਼ਨਲ ਡੇਟਾਬੇਸ ਲਈ ਸ਼ਾਨਦਾਰ - ਤੇਜ਼ ਅਤੇ ਸਟੀਕ - ਪਰ ਪੇਟਾਬਾਈਟ-ਸਕੇਲ ਅਨਸਟ੍ਰਕਚਰਡ ਡੇਟਾ ਲਈ ਬਹੁਤ ਮਹਿੰਗਾ।
-
ਫਾਈਲ ਸਟੋਰੇਜ: ਜਾਣੂ, POSIX-ਅਨੁਕੂਲ, ਪਰ ਡਾਇਰੈਕਟਰੀਆਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸਮਾਨਾਂਤਰ ਲੋਡਾਂ ਹੇਠ ਦਮ ਘੁੱਟ ਜਾਂਦੀਆਂ ਹਨ।
-
ਵਸਤੂ ਸਟੋਰੇਜ: ਪੈਮਾਨੇ, ਸਮਾਨਤਾ, ਅਤੇ ਮੈਟਾਡੇਟਾ-ਸੰਚਾਲਿਤ ਪਹੁੰਚ ਲਈ ਮੁੱਢ ਤੋਂ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ [1]।
ਜੇ ਤੁਸੀਂ ਇੱਕ ਬੇਢੰਗੇ ਰੂਪਕ ਚਾਹੁੰਦੇ ਹੋ: ਬਲਾਕ ਸਟੋਰੇਜ ਇੱਕ ਫਾਈਲਿੰਗ ਕੈਬਿਨੇਟ ਹੈ, ਫਾਈਲ ਸਟੋਰੇਜ ਇੱਕ ਡੈਸਕਟੌਪ ਫੋਲਡਰ ਹੈ, ਅਤੇ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ਹੈ... ਸਟਿੱਕੀ ਨੋਟਸ ਵਾਲਾ ਇੱਕ ਅਥਾਹ ਟੋਆ ਜੋ ਕਿਸੇ ਤਰ੍ਹਾਂ ਇਸਨੂੰ ਵਰਤੋਂ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ।.
ਹਾਈਬ੍ਰਿਡ ਏਆਈ ਵਰਕਫਲੋ 🔀
ਇਹ ਹਮੇਸ਼ਾ ਸਿਰਫ਼-ਕਲਾਊਡ ਨਹੀਂ ਹੁੰਦਾ। ਇੱਕ ਆਮ ਮਿਸ਼ਰਣ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਦਾ ਹੈ:
-
ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਂ ਨਿਯੰਤ੍ਰਿਤ ਡੇਟਾ ਲਈ ਆਨ-ਪ੍ਰੇਮ ਆਬਜੈਕਟ ਸਟੋਰੇਜ (MinIO, Dell ECS)।
-
ਬਰਸਟ ਵਰਕਲੋਡ, ਪ੍ਰਯੋਗਾਂ, ਜਾਂ ਸਹਿਯੋਗ ਲਈ ਕਲਾਉਡ ਆਬਜੈਕਟ ਸਟੋਰੇਜ ।
ਇਹ ਸੰਤੁਲਨ ਲਾਗਤ, ਪਾਲਣਾ ਅਤੇ ਚੁਸਤੀ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ। ਮੈਂ ਦੇਖਿਆ ਹੈ ਕਿ ਟੀਮਾਂ ਇੱਕ ਅਸਥਾਈ GPU ਕਲੱਸਟਰ ਨੂੰ ਰੋਸ਼ਨ ਕਰਨ ਲਈ ਰਾਤੋ-ਰਾਤ ਟੈਰਾਬਾਈਟ ਨੂੰ S3 ਬਾਲਟੀ ਵਿੱਚ ਡੰਪ ਕਰਦੀਆਂ ਹਨ - ਫਿਰ ਸਪ੍ਰਿੰਟ ਸਮੇਟਣ 'ਤੇ ਇਹ ਸਭ ਕੁਝ ਨਿਊਕਲੀਅਰ ਕਰ ਦਿੰਦੀਆਂ ਹਨ। ਸਖ਼ਤ ਬਜਟ ਲਈ, ਵਸਾਬੀ ਦਾ ਫਲੈਟ-ਰੇਟ/ਨੋ-ਐਗਰੈਸ ਮਾਡਲ [3] ਜ਼ਿੰਦਗੀ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ ਆਸਾਨ ਬਣਾਉਂਦਾ ਹੈ।.
ਉਹ ਹਿੱਸਾ ਜਿਸ ਬਾਰੇ ਕੋਈ ਸ਼ੇਖੀ ਨਹੀਂ ਮਾਰਦਾ 😅
ਹਕੀਕਤ ਜਾਂਚ: ਇਹ ਨਿਰਦੋਸ਼ ਨਹੀਂ ਹੈ।.
-
ਲੇਟੈਂਸੀ - ਕੰਪਿਊਟ ਅਤੇ ਸਟੋਰੇਜ ਨੂੰ ਬਹੁਤ ਦੂਰ ਰੱਖੋ ਅਤੇ ਤੁਹਾਡੇ GPUs ਘੁੰਮਦੇ ਹਨ। GDS ਮਦਦ ਕਰਦਾ ਹੈ, ਪਰ ਆਰਕੀਟੈਕਚਰ ਅਜੇ ਵੀ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ [4]।
-
ਹੈਰਾਨੀਜਨਕ ਲਾਗਤ - ਐਗ੍ਰੇਸ ਅਤੇ API-ਬੇਨਤੀ ਦੇ ਖਰਚੇ ਲੋਕਾਂ ਤੋਂ ਚੋਰੀ-ਛਿਪੇ ਮਿਲਦੇ ਹਨ। ਕੁਝ ਪ੍ਰਦਾਤਾ ਉਹਨਾਂ ਨੂੰ ਛੱਡ ਦਿੰਦੇ ਹਨ (ਵਾਸਾਬੀ ਕਰਦਾ ਹੈ; ਦੂਸਰੇ ਨਹੀਂ ਕਰਦੇ) [3]।
-
ਪੈਮਾਨੇ 'ਤੇ ਮੈਟਾਡੇਟਾ ਹਫੜਾ-ਦਫੜੀ - ਟੈਗਾਂ ਅਤੇ ਸੰਸਕਰਣਾਂ ਵਿੱਚ "ਸੱਚ" ਨੂੰ ਕੌਣ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ? ਤੁਹਾਨੂੰ ਇਕਰਾਰਨਾਮੇ, ਨੀਤੀਆਂ, ਅਤੇ ਕੁਝ ਸ਼ਾਸਨ ਮਾਸਪੇਸ਼ੀ ਦੀ ਲੋੜ ਪਵੇਗੀ [5]।
ਵਸਤੂਆਂ ਦੀ ਸਟੋਰੇਜ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਪਲੰਬਿੰਗ ਹੈ: ਮਹੱਤਵਪੂਰਨ, ਪਰ ਸ਼ਾਨਦਾਰ ਨਹੀਂ।.
ਇਹ ਕਿੱਥੇ ਜਾ ਰਿਹਾ ਹੈ 🚀
-
ਸਮਾਰਟ, AI-ਜਾਗਰੂਕ ਸਟੋਰੇਜ ਜੋ SQL-ਵਰਗੀਆਂ ਪੁੱਛਗਿੱਛ ਪਰਤਾਂ [1] ਰਾਹੀਂ ਡੇਟਾ ਨੂੰ ਆਟੋ-ਟੈਗ ਕਰਦੀ ਹੈ ਅਤੇ ਐਕਸਪੋਜ਼ ਕਰਦੀ ਹੈ।
-
ਹਾਰਡਵੇਅਰ ਏਕੀਕਰਨ (DMA ਮਾਰਗ, NIC ਆਫਲੋਡ) ਦੇ ਨੇੜੇ ਤਾਂ ਜੋ GPUs I/O ਦੀ ਭੁੱਖ ਤੋਂ ਬਚ ਸਕਣ [4]।
-
ਪਾਰਦਰਸ਼ੀ, ਅਨੁਮਾਨਯੋਗ ਕੀਮਤ (ਸਰਲ ਬਣਾਏ ਮਾਡਲ, ਮੁਆਫ਼ ਕੀਤੀਆਂ ਨਿਕਾਸ ਫੀਸਾਂ) [3]।
ਲੋਕ AI ਦੇ ਭਵਿੱਖ ਵਜੋਂ ਕੰਪਿਊਟ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਹਨ। ਪਰ ਅਸਲੀਅਤ ਵਿੱਚ? ਰੁਕਾਵਟ ਬਜਟ ਨੂੰ ਉਡਾਏ ਬਿਨਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਡੇਟਾ ਫੀਡ ਕਰਨ। ਇਸੇ ਕਰਕੇ ਵਸਤੂ ਸਟੋਰੇਜ ਦੀ ਭੂਮਿਕਾ ਸਿਰਫ ਵਧਦੀ ਹੈ।
ਸੰਖੇਪ 📝
ਵਸਤੂ ਸਟੋਰੇਜ ਚਮਕਦਾਰ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਬੁਨਿਆਦੀ ਹੈ। ਸਕੇਲੇਬਲ, ਮੈਟਾਡੇਟਾ-ਜਾਗਰੂਕ, ਲਚਕੀਲੇ ਸਟੋਰੇਜ ਤੋਂ ਬਿਨਾਂ, ਵੱਡੇ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਸੈਂਡਲ ਪਾ ਕੇ ਮੈਰਾਥਨ ਦੌੜਨ ਵਾਂਗ ਮਹਿਸੂਸ ਹੁੰਦਾ ਹੈ।.
ਤਾਂ ਹਾਂ-GPU ਮਾਇਨੇ ਰੱਖਦੇ ਹਨ, ਫਰੇਮਵਰਕ ਮਾਇਨੇ ਰੱਖਦੇ ਹਨ। ਪਰ ਜੇਕਰ ਤੁਸੀਂ AI ਬਾਰੇ ਗੰਭੀਰ ਹੋ, ਤਾਂ ਇਸ ਗੱਲ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਨਾ ਕਰੋ ਕਿ ਤੁਹਾਡਾ ਡੇਟਾ ਕਿੱਥੇ ਰਹਿੰਦਾ ਹੈ। ਸੰਭਾਵਨਾ ਹੈ, ਵਸਤੂ ਸਟੋਰੇਜ ਪਹਿਲਾਂ ਹੀ ਚੁੱਪਚਾਪ ਪੂਰੇ ਕਾਰਜ ਨੂੰ ਰੋਕ ਰਹੀ ਹੈ।
ਹਵਾਲੇ
[1] AWS S3 - ਆਬਜੈਕਟ ਮੈਟਾਡੇਟਾ - ਸਿਸਟਮ ਅਤੇ ਕਸਟਮ ਮੈਟਾਡੇਟਾ
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – ਸਟੋਰੇਜ ਕਲਾਸਾਂ - ਟਿਕਾਊਤਾ ("11 ਨੌਂ") + ਲਚਕਤਾ
https://aws.amazon.com/s3/storage-classes/
[3] ਵਾਸਾਬੀ ਹੌਟ ਕਲਾਉਡ - ਕੀਮਤ - ਫਲੈਟ-ਰੇਟ, ਕੋਈ ਨਿਕਾਸ/API ਫੀਸ ਨਹੀਂ
https://wasabi.com/pricing
[4] NVIDIA GPUDirect ਸਟੋਰੇਜ - ਡੌਕਸ - GPUs ਲਈ DMA ਪਾਥ
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – ਵਰਜਨਿੰਗ - ਗਵਰਨੈਂਸ/ਪ੍ਰਜਨਨਯੋਗਤਾ ਲਈ ਮਲਟੀਪਲ ਵਰਜਨ
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html