ਛੋਟਾ ਜਵਾਬ: AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਦੁਹਰਾਉਣ ਯੋਗ ਕਦਮਾਂ ਦਾ ਇੱਕ ਸਮੂਹ ਹੈ ਜੋ ਕੱਚੇ, ਉੱਚ-ਵਿਭਿੰਨਤਾ ਡੇਟਾ ਨੂੰ ਇਕਸਾਰ ਮਾਡਲ ਇਨਪੁਟਸ ਵਿੱਚ ਬਦਲਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਸਫਾਈ, ਏਨਕੋਡਿੰਗ, ਸਕੇਲਿੰਗ, ਟੋਕਨਾਈਜ਼ਿੰਗ ਅਤੇ ਚਿੱਤਰ ਪਰਿਵਰਤਨ ਸ਼ਾਮਲ ਹਨ। ਇਹ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਜੇਕਰ ਸਿਖਲਾਈ ਇਨਪੁਟ ਅਤੇ ਉਤਪਾਦਨ ਇਨਪੁਟ ਵੱਖਰੇ ਹੁੰਦੇ ਹਨ, ਤਾਂ ਮਾਡਲ ਚੁੱਪਚਾਪ ਅਸਫਲ ਹੋ ਸਕਦੇ ਹਨ। ਜੇਕਰ ਕੋਈ ਕਦਮ ਪੈਰਾਮੀਟਰ "ਸਿੱਖਦਾ" ਹੈ, ਤਾਂ ਲੀਕੇਜ ਤੋਂ ਬਚਣ ਲਈ ਇਸਨੂੰ ਸਿਖਲਾਈ ਡੇਟਾ 'ਤੇ ਫਿੱਟ ਕਰੋ।
AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਉਹ ਸਭ ਕੁਝ ਹੈ ਜੋ ਤੁਸੀਂ ਸਿਖਲਾਈ ਜਾਂ ਅਨੁਮਾਨ ਤੋਂ ਪਹਿਲਾਂ (ਅਤੇ ਕਈ ਵਾਰ ਦੌਰਾਨ) ਕੱਚੇ ਡੇਟਾ ਨਾਲ ਕਰਦੇ ਹੋ ਤਾਂ ਜੋ ਇੱਕ ਮਾਡਲ ਅਸਲ ਵਿੱਚ ਇਸ ਤੋਂ ਸਿੱਖ ਸਕੇ। ਸਿਰਫ਼ "ਸਫਾਈ" ਹੀ ਨਹੀਂ। ਇਹ ਡੇਟਾ ਨੂੰ ਸਾਫ਼ ਕਰਨਾ, ਆਕਾਰ ਦੇਣਾ, ਸਕੇਲਿੰਗ ਕਰਨਾ, ਏਨਕੋਡਿੰਗ ਕਰਨਾ, ਵਧਾਉਣਾ ਅਤੇ ਪੈਕੇਜ ਕਰਨਾ ਹੈ ਜੋ ਬਾਅਦ ਵਿੱਚ ਤੁਹਾਡੇ ਮਾਡਲ ਨੂੰ ਚੁੱਪਚਾਪ ਟ੍ਰਿਪ ਨਹੀਂ ਕਰੇਗਾ। [1]
ਮੁੱਖ ਗੱਲਾਂ:
ਪਰਿਭਾਸ਼ਾ : ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕੱਚੇ ਟੇਬਲ, ਟੈਕਸਟ, ਚਿੱਤਰਾਂ ਅਤੇ ਲੌਗਾਂ ਨੂੰ ਮਾਡਲ-ਤਿਆਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਬਦਲਦੀ ਹੈ।
ਇਕਸਾਰਤਾ : ਬੇਮੇਲ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਰੋਕਣ ਲਈ ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਦੌਰਾਨ ਉਹੀ ਪਰਿਵਰਤਨ ਲਾਗੂ ਕਰੋ।
ਲੀਕੇਜ : ਸਕੇਲਰ, ਏਨਕੋਡਰ, ਅਤੇ ਟੋਕਨਾਈਜ਼ਰ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਡੇਟਾ 'ਤੇ ਫਿੱਟ ਕਰੋ।
ਪ੍ਰਜਨਨਯੋਗਤਾ : ਨਿਰੀਖਣਯੋਗ ਅੰਕੜਿਆਂ ਨਾਲ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਓ, ਨਾ ਕਿ ਐਡ-ਹਾਕ ਨੋਟਬੁੱਕ ਸੈੱਲ ਕ੍ਰਮਾਂ ਨਾਲ।
ਉਤਪਾਦਨ ਨਿਗਰਾਨੀ : ਸਕਿਊ ਅਤੇ ਡ੍ਰਿਫਟ ਨੂੰ ਟਰੈਕ ਕਰੋ ਤਾਂ ਜੋ ਇਨਪੁਟਸ ਹੌਲੀ-ਹੌਲੀ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਨਾ ਵਿਗਾੜ ਦੇਣ।
ਇਸ ਤੋਂ ਬਾਅਦ ਤੁਸੀਂ ਜੋ ਲੇਖ ਪੜ੍ਹਨਾ ਪਸੰਦ ਕਰ ਸਕਦੇ ਹੋ:
🔗 ਅਸਲ-ਸੰਸਾਰ ਪ੍ਰਦਰਸ਼ਨ ਲਈ AI ਮਾਡਲਾਂ ਦੀ ਜਾਂਚ ਕਿਵੇਂ ਕਰੀਏ
ਸ਼ੁੱਧਤਾ, ਮਜ਼ਬੂਤੀ ਅਤੇ ਪੱਖਪਾਤ ਦਾ ਜਲਦੀ ਮੁਲਾਂਕਣ ਕਰਨ ਲਈ ਵਿਹਾਰਕ ਤਰੀਕੇ।.
🔗 ਕੀ ਟੈਕਸਟ-ਟੂ-ਸਪੀਚ AI ਹੈ ਅਤੇ ਇਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?
TTS ਦੀਆਂ ਮੂਲ ਗੱਲਾਂ, ਮੁੱਖ ਵਰਤੋਂ, ਅਤੇ ਅੱਜ ਦੀਆਂ ਆਮ ਸੀਮਾਵਾਂ ਬਾਰੇ ਦੱਸਦਾ ਹੈ।.
🔗 ਕੀ ਅੱਜ ਏਆਈ ਕਰਸਿਵ ਹੈਂਡਰਾਈਟਿੰਗ ਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਪੜ੍ਹ ਸਕਦਾ ਹੈ?
ਪਛਾਣ ਚੁਣੌਤੀਆਂ, ਸਭ ਤੋਂ ਵਧੀਆ ਔਜ਼ਾਰ, ਅਤੇ ਸ਼ੁੱਧਤਾ ਸੁਝਾਵਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।.
🔗 ਆਮ ਕੰਮਾਂ ਵਿੱਚ AI ਕਿੰਨਾ ਕੁ ਸਹੀ ਹੈ?
ਸ਼ੁੱਧਤਾ ਕਾਰਕਾਂ, ਮਾਪਦੰਡਾਂ, ਅਤੇ ਅਸਲ-ਸੰਸਾਰ ਭਰੋਸੇਯੋਗਤਾ ਨੂੰ ਤੋੜਦਾ ਹੈ।.
ਸਧਾਰਨ ਭਾਸ਼ਾ ਵਿੱਚ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ (ਅਤੇ ਇਹ ਕੀ ਨਹੀਂ ਹੈ) 🤝
ਏਆਈ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕੱਚੇ ਇਨਪੁਟਸ (ਟੇਬਲ, ਟੈਕਸਟ, ਚਿੱਤਰ, ਲੌਗ) ਨੂੰ ਮਾਡਲ-ਤਿਆਰ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਵਿੱਚ ਬਦਲਣਾ ਹੈ। ਜੇਕਰ ਕੱਚਾ ਡੇਟਾ ਇੱਕ ਗੜਬੜ ਵਾਲਾ ਗੈਰੇਜ ਹੈ, ਤਾਂ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਤੁਸੀਂ ਬਕਸਿਆਂ ਨੂੰ ਲੇਬਲ ਕਰਨਾ, ਟੁੱਟੇ ਹੋਏ ਕਬਾੜ ਨੂੰ ਸੁੱਟਣਾ, ਅਤੇ ਚੀਜ਼ਾਂ ਨੂੰ ਸਟੈਕ ਕਰਨਾ ਹੈ ਤਾਂ ਜੋ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਬਿਨਾਂ ਕਿਸੇ ਸੱਟ ਦੇ ਚੱਲ ਸਕੋ।
ਇਹ ਮਾਡਲ ਖੁਦ ਨਹੀਂ ਹੈ। ਇਹ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ ਮਾਡਲ ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦੀ ਹੈ:
-
ਸ਼੍ਰੇਣੀਆਂ ਨੂੰ ਸੰਖਿਆਵਾਂ ਵਿੱਚ ਬਦਲਣਾ (ਇੱਕ-ਗਰਮ, ਕ੍ਰਮਵਾਰ, ਆਦਿ) [1]
-
ਵੱਡੀਆਂ ਸੰਖਿਆਤਮਕ ਰੇਂਜਾਂ ਨੂੰ ਸੇਨ ਰੇਂਜਾਂ ਵਿੱਚ ਸਕੇਲ ਕਰਨਾ (ਮਾਨਕੀਕਰਨ, ਘੱਟੋ-ਘੱਟ-ਅਧਿਕਤਮ, ਆਦਿ) [1]
-
ਇਨਪੁੱਟ ਆਈਡੀ (ਅਤੇ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਧਿਆਨ ਮਾਸਕ) ਵਿੱਚ ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਈਜ਼ ਕਰਨਾ [3]
-
ਚਿੱਤਰਾਂ ਦਾ ਆਕਾਰ ਬਦਲਣਾ/ਛਾਂਟਣਾ ਅਤੇ ਨਿਰਧਾਰਕ ਬਨਾਮ ਬੇਤਰਤੀਬ ਪਰਿਵਰਤਨਾਂ ਨੂੰ ਢੁਕਵੇਂ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕਰਨਾ [4]
-
ਦੁਹਰਾਉਣ ਯੋਗ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣਾ ਤਾਂ ਜੋ ਸਿਖਲਾਈ ਅਤੇ "ਅਸਲ ਜੀਵਨ" ਇਨਪੁਟ ਸੂਖਮ ਤਰੀਕਿਆਂ ਨਾਲ ਵੱਖ ਨਾ ਹੋਣ [2]
ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਵਿਹਾਰਕ ਗੱਲ: "ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ" ਵਿੱਚ ਉਹ ਸਭ ਕੁਝ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ ਜੋ ਮਾਡਲ ਦੁਆਰਾ ਇਨਪੁਟ ਦੇਖਣ ਤੋਂ ਪਹਿਲਾਂ ਲਗਾਤਾਰ ਹੁੰਦਾ ਹੈ । ਕੁਝ ਟੀਮਾਂ ਇਸਨੂੰ "ਫੀਚਰ ਇੰਜੀਨੀਅਰਿੰਗ" ਬਨਾਮ "ਡੇਟਾ ਸਫਾਈ" ਵਿੱਚ ਵੰਡਦੀਆਂ ਹਨ, ਪਰ ਅਸਲ ਜ਼ਿੰਦਗੀ ਵਿੱਚ ਉਹ ਲਾਈਨਾਂ ਧੁੰਦਲੀਆਂ ਹੋ ਜਾਂਦੀਆਂ ਹਨ।
ਲੋਕਾਂ ਦੇ ਮੰਨਣ ਨਾਲੋਂ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਿਉਂ ਜ਼ਿਆਦਾ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ 😬
ਇੱਕ ਮਾਡਲ ਇੱਕ ਪੈਟਰਨ-ਮੈਚਰ ਹੁੰਦਾ ਹੈ, ਮਨ ਪੜ੍ਹਨ ਵਾਲਾ ਨਹੀਂ। ਜੇਕਰ ਤੁਹਾਡੇ ਇਨਪੁਟ ਅਸੰਗਤ ਹਨ, ਤਾਂ ਮਾਡਲ ਅਸੰਗਤ ਨਿਯਮਾਂ ਨੂੰ ਸਿੱਖਦਾ ਹੈ। ਇਹ ਦਾਰਸ਼ਨਿਕ ਨਹੀਂ ਹੈ, ਇਹ ਦਰਦਨਾਕ ਤੌਰ 'ਤੇ ਸ਼ਾਬਦਿਕ ਹੈ।.
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਤੁਹਾਡੀ ਮਦਦ ਕਰਦੀ ਹੈ:
-
ਅਨੁਮਾਨਕ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਵਰਤ ਸਕਦੇ ਹਨ (ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਸਕੇਲਿੰਗ/ਏਨਕੋਡਿੰਗ ਸ਼ਾਮਲ ਹੋਵੇ) ਉਹਨਾਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਪ੍ਰਸਤੁਤੀਆਂ ਵਿੱਚ ਪਾ ਕੇ ਸਿੱਖਣ ਦੀ ਸਥਿਰਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰੋ
-
(ਅਜੀਬ ਕਲਾਕ੍ਰਿਤੀਆਂ ਨੂੰ ਯਾਦ ਕਰਨ ਦੀ ਬਜਾਏ) ਗੁੰਝਲਦਾਰ ਹਕੀਕਤ ਨੂੰ ਇੱਕ ਮਾਡਲ ਦੁਆਰਾ ਆਮ ਬਣਾਏ ਜਾਣ ਵਾਲੀ ਚੀਜ਼ ਵਾਂਗ ਦਿਖਾ ਕੇ ਸ਼ੋਰ ਘਟਾਓ
-
ਲੀਕੇਜ ਅਤੇ ਟ੍ਰੇਨ/ਸਰਵਿਸ ਮਿਸਮੈਚ (ਉਹ ਕਿਸਮ ਜੋ ਪ੍ਰਮਾਣਿਕਤਾ ਵਿੱਚ "ਸ਼ਾਨਦਾਰ" ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ ਅਤੇ ਫਿਰ ਉਤਪਾਦਨ ਵਿੱਚ ਫੇਸਪਲਾਂਟ) ਵਰਗੇ ਚੁੱਪ ਅਸਫਲਤਾ ਮੋਡਾਂ ਨੂੰ ਰੋਕੋ
-
ਦੁਹਰਾਓ ਨੂੰ ਤੇਜ਼ ਕਰੋ ਕਿਉਂਕਿ ਦੁਹਰਾਉਣ ਯੋਗ ਟ੍ਰਾਂਸਫਾਰਮ ਹਫ਼ਤੇ ਦੇ ਹਰ ਦਿਨ ਨੋਟਬੁੱਕ ਸਪੈਗੇਟੀ ਨੂੰ ਮਾਤ ਦਿੰਦੇ ਹਨ।
ਨਾਲ ਹੀ, ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਬਹੁਤ ਸਾਰਾ "ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ" ਅਸਲ ਵਿੱਚ ਆਉਂਦਾ ਹੈ। ਜਿਵੇਂ ਕਿ... ਹੈਰਾਨੀ ਦੀ ਗੱਲ ਹੈ ਕਿ ਬਹੁਤ ਸਾਰਾ। ਕਈ ਵਾਰ ਇਹ ਬੇਇਨਸਾਫ਼ੀ ਮਹਿਸੂਸ ਹੁੰਦੀ ਹੈ, ਪਰ ਇਹ ਅਸਲੀਅਤ ਹੈ 🙃
ਇੱਕ ਵਧੀਆ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਕੀ ਬਣਾਉਂਦੀ ਹੈ ✅
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਇੱਕ "ਚੰਗੇ ਸੰਸਕਰਣ" ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਇਹ ਗੁਣ ਹੁੰਦੇ ਹਨ:
-
ਦੁਬਾਰਾ ਪੈਦਾ ਕਰਨ ਯੋਗ : ਉਹੀ ਇਨਪੁੱਟ → ਉਹੀ ਆਉਟਪੁੱਟ (ਕੋਈ ਰਹੱਸਮਈ ਬੇਤਰਤੀਬੀ ਨਹੀਂ ਜਦੋਂ ਤੱਕ ਇਹ ਜਾਣਬੁੱਝ ਕੇ ਵਾਧਾ ਨਾ ਹੋਵੇ)।
-
ਟ੍ਰੇਨ-ਸਰਵਿੰਗ ਇਕਸਾਰਤਾ : ਸਿਖਲਾਈ ਸਮੇਂ ਤੁਸੀਂ ਜੋ ਵੀ ਕਰਦੇ ਹੋ, ਉਹ ਅਨੁਮਾਨ ਸਮੇਂ 'ਤੇ ਉਸੇ ਤਰ੍ਹਾਂ ਲਾਗੂ ਹੁੰਦਾ ਹੈ (ਉਹੀ ਫਿੱਟ ਕੀਤੇ ਪੈਰਾਮੀਟਰ, ਉਹੀ ਸ਼੍ਰੇਣੀ ਨਕਸ਼ੇ, ਉਹੀ ਟੋਕਨਾਈਜ਼ਰ ਸੰਰਚਨਾ, ਆਦਿ)। [2]
-
ਲੀਕੇਜ-ਸੁਰੱਖਿਅਤ : ਮੁਲਾਂਕਣ/ਟੈਸਟ ਵਿੱਚ ਕੁਝ ਵੀ ਕਿਸੇ ਵੀ
ਫਿੱਟਕਦਮ ਨੂੰ ਪ੍ਰਭਾਵਤ ਨਹੀਂ ਕਰਦਾ। (ਇਸ ਟ੍ਰੈਪ ਬਾਰੇ ਹੋਰ ਜਾਣਕਾਰੀ ਥੋੜ੍ਹੀ ਦੇਰ ਵਿੱਚ।) [2] -
ਦੇਖਣਯੋਗ : ਤੁਸੀਂ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ ਕਿ ਕੀ ਬਦਲਿਆ ਹੈ (ਵਿਸ਼ੇਸ਼ਤਾ ਅੰਕੜੇ, ਗੁੰਮਸ਼ੁਦਾ, ਸ਼੍ਰੇਣੀ ਗਿਣਤੀ) ਇਸ ਲਈ ਡੀਬੱਗਿੰਗ ਵਾਈਬਸ-ਅਧਾਰਤ ਇੰਜੀਨੀਅਰਿੰਗ ਨਹੀਂ ਹੈ।
ਜੇਕਰ ਤੁਹਾਡੀ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਨੋਟਬੁੱਕ ਸੈੱਲਾਂ ਦਾ ਢੇਰ ਹੈ ਜਿਸਨੂੰ final_v7_really_final_ok ... ਤਾਂ ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਇਹ ਕਿਵੇਂ ਹੈ। ਇਹ ਉਦੋਂ ਤੱਕ ਕੰਮ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਹੁੰਦਾ 😬
AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਦੇ ਮੁੱਖ ਬਿਲਡਿੰਗ ਬਲਾਕ 🧱
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਬਿਲਡਿੰਗ ਬਲਾਕਾਂ ਦੇ ਸਮੂਹ ਦੇ ਰੂਪ ਵਿੱਚ ਸੋਚੋ ਜੋ ਤੁਸੀਂ ਇੱਕ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਜੋੜਦੇ ਹੋ।.
1) ਸਫਾਈ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ 🧼
ਆਮ ਕੰਮ:
-
ਡੁਪਲੀਕੇਟ ਹਟਾਓ
-
ਗੁੰਮ ਮੁੱਲਾਂ ਨੂੰ ਸੰਭਾਲੋ (ਛੱਡੋ, ਲਗਾਓ, ਜਾਂ ਗੁੰਮ ਹੋਣ ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਦਰਸਾਓ)
-
ਕਿਸਮਾਂ, ਇਕਾਈਆਂ ਅਤੇ ਰੇਂਜਾਂ ਨੂੰ ਲਾਗੂ ਕਰੋ
-
ਨੁਕਸਦਾਰ ਇਨਪੁੱਟ ਦਾ ਪਤਾ ਲਗਾਓ
-
ਟੈਕਸਟ ਫਾਰਮੈਟਾਂ ਨੂੰ ਮਿਆਰੀ ਬਣਾਓ (ਵਾਈਟਸਪੇਸ, ਕੇਸਿੰਗ ਨਿਯਮ, ਯੂਨੀਕੋਡ ਕੁਇਰਕਸ)
ਇਹ ਹਿੱਸਾ ਗਲੈਮਰਸ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਬਹੁਤ ਹੀ ਮੂਰਖਤਾਪੂਰਨ ਗਲਤੀਆਂ ਨੂੰ ਰੋਕਦਾ ਹੈ। ਮੈਂ ਇਹ ਪਿਆਰ ਨਾਲ ਕਹਿੰਦਾ ਹਾਂ।.
2) ਸ਼੍ਰੇਣੀਬੱਧ ਡੇਟਾ ਨੂੰ ਏਨਕੋਡ ਕਰਨਾ 🔤
"red" ਜਾਂ "premium_user" ਵਰਗੇ ਕੱਚੇ ਸਤਰ ਨਹੀਂ ਵਰਤ ਸਕਦੇ ।
ਆਮ ਤਰੀਕੇ:
-
ਇੱਕ-ਗਰਮ ਏਨਕੋਡਿੰਗ (ਸ਼੍ਰੇਣੀ → ਬਾਈਨਰੀ ਕਾਲਮ) [1]
-
ਆਰਡੀਨਲ ਏਨਕੋਡਿੰਗ (ਸ਼੍ਰੇਣੀ → ਪੂਰਨ ਅੰਕ ID) [1]
ਮੁੱਖ ਗੱਲ ਇਹ ਨਹੀਂ ਹੈ ਕਿਹੜਾ ਏਨਕੋਡਰ ਚੁਣਦੇ ਹੋ - ਇਹ ਹੈ ਕਿ ਮੈਪਿੰਗ ਇਕਸਾਰ ਰਹੇ ਅਤੇ ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਦੇ ਵਿਚਕਾਰ "ਆਕਾਰ ਨਹੀਂ ਬਦਲਦੀ"। ਇਸ ਤਰ੍ਹਾਂ ਤੁਸੀਂ ਇੱਕ ਮਾਡਲ ਦੇ ਨਾਲ ਖਤਮ ਹੁੰਦੇ ਹੋ ਜੋ ਔਫਲਾਈਨ ਵਧੀਆ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ ਔਨਲਾਈਨ ਭੂਤ-ਪ੍ਰੇਤ ਕੰਮ ਕਰਦਾ ਹੈ। [2]
3) ਵਿਸ਼ੇਸ਼ਤਾ ਸਕੇਲਿੰਗ ਅਤੇ ਸਧਾਰਣਕਰਨ 📏
ਸਕੇਲਿੰਗ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ ਜਦੋਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਬਹੁਤ ਵੱਖਰੀਆਂ ਰੇਂਜਾਂ 'ਤੇ ਰਹਿੰਦੀਆਂ ਹਨ।.
ਦੋ ਕਲਾਸਿਕ:
-
ਮਾਨਕੀਕਰਨ : ਮੱਧਮਾਨ ਹਟਾਓ ਅਤੇ ਯੂਨਿਟ ਵੇਰੀਐਂਸ ਤੱਕ ਸਕੇਲ ਕਰੋ [1]
-
ਘੱਟੋ-ਘੱਟ-ਵੱਧ ਤੋਂ ਵੱਧ ਸਕੇਲਿੰਗ : ਹਰੇਕ ਵਿਸ਼ੇਸ਼ਤਾ ਨੂੰ ਇੱਕ ਨਿਰਧਾਰਤ ਰੇਂਜ ਵਿੱਚ ਸਕੇਲ ਕਰੋ [1]
ਭਾਵੇਂ ਤੁਸੀਂ ਅਜਿਹੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹੋ ਜੋ "ਜ਼ਿਆਦਾਤਰ ਕੰਮ ਕਰਦੇ ਹਨ", ਸਕੇਲਿੰਗ ਅਕਸਰ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਤਰਕ ਕਰਨਾ ਆਸਾਨ ਬਣਾ ਦਿੰਦੀ ਹੈ - ਅਤੇ ਗਲਤੀ ਨਾਲ ਟੁੱਟਣਾ ਔਖਾ ਬਣਾ ਦਿੰਦੀ ਹੈ।.
4) ਫੀਚਰ ਇੰਜੀਨੀਅਰਿੰਗ (ਉਰਫ਼ ਲਾਭਦਾਇਕ ਧੋਖਾਧੜੀ) 🧪
ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਤੁਸੀਂ ਬਿਹਤਰ ਸਿਗਨਲ ਬਣਾ ਕੇ ਮਾਡਲ ਦਾ ਕੰਮ ਆਸਾਨ ਬਣਾਉਂਦੇ ਹੋ:
-
ਅਨੁਪਾਤ (ਕਲਿੱਕਾਂ / ਪ੍ਰਭਾਵ)
-
ਰੋਲਿੰਗ ਵਿੰਡੋਜ਼ (ਪਿਛਲੇ N ਦਿਨ)
-
ਗਿਣਤੀ (ਪ੍ਰਤੀ ਉਪਭੋਗਤਾ ਘਟਨਾਵਾਂ)
-
ਹੈਵੀ-ਟੇਲਡ ਡਿਸਟ੍ਰੀਬਿਊਸ਼ਨਾਂ ਲਈ ਲੌਗ ਟ੍ਰਾਂਸਫਾਰਮ
ਇੱਥੇ ਇੱਕ ਕਲਾ ਹੈ। ਕਈ ਵਾਰ ਤੁਸੀਂ ਇੱਕ ਵਿਸ਼ੇਸ਼ਤਾ ਬਣਾਓਗੇ, ਮਾਣ ਮਹਿਸੂਸ ਕਰੋਗੇ... ਅਤੇ ਇਹ ਕੁਝ ਨਹੀਂ ਕਰੇਗੀ। ਜਾਂ ਇਸ ਤੋਂ ਵੀ ਮਾੜੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਦੁਖਦਾਈ ਹੈ। ਇਹ ਆਮ ਗੱਲ ਹੈ। ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨਾਲ ਭਾਵਨਾਤਮਕ ਤੌਰ 'ਤੇ ਜੁੜੋ ਨਾ - ਉਹ ਤੁਹਾਨੂੰ ਵਾਪਸ ਪਿਆਰ ਨਹੀਂ ਕਰਦੇ 😅
5) ਡੇਟਾ ਨੂੰ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਵੰਡਣਾ ✂️
ਇਹ ਸਪੱਸ਼ਟ ਜਾਪਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਨਹੀਂ ਹੁੰਦਾ:
-
ਆਈਆਈਡੀ ਡੇਟਾ ਲਈ ਬੇਤਰਤੀਬ ਵੰਡ
-
ਸਮਾਂ ਲੜੀ ਲਈ ਸਮਾਂ-ਅਧਾਰਤ ਵੰਡ
-
ਜਦੋਂ ਇਕਾਈਆਂ ਦੁਹਰਾਉਂਦੀਆਂ ਹਨ ਤਾਂ ਸਮੂਹਬੱਧ ਵੰਡ (ਉਪਭੋਗਤਾ, ਡਿਵਾਈਸਾਂ, ਮਰੀਜ਼)
ਅਤੇ ਮਹੱਤਵਪੂਰਨ ਤੌਰ 'ਤੇ: ਡੇਟਾ ਤੋਂ ਸਿੱਖਣ ਵਾਲੀ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਫਿੱਟ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਵੰਡੋ । ਜੇਕਰ ਤੁਹਾਡਾ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਦਮ ਪੈਰਾਮੀਟਰ (ਜਿਵੇਂ ਕਿ ਸਾਧਨ, ਸ਼ਬਦਾਵਲੀ, ਸ਼੍ਰੇਣੀ ਨਕਸ਼ੇ) "ਸਿੱਖਦਾ" ਹੈ, ਤਾਂ ਇਸਨੂੰ ਉਹਨਾਂ ਨੂੰ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਤੋਂ ਹੀ ਸਿੱਖਣਾ ਚਾਹੀਦਾ ਹੈ। [2]
ਡੇਟਾ ਕਿਸਮ ਦੁਆਰਾ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ: ਸਾਰਣੀ, ਟੈਕਸਟ, ਚਿੱਤਰ 🎛️
ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਤੁਹਾਡੇ ਦੁਆਰਾ ਮਾਡਲ ਨੂੰ ਕੀ ਫੀਡ ਕਰਦੇ ਹੋ, ਇਸਦੇ ਆਧਾਰ 'ਤੇ ਆਕਾਰ ਬਦਲਦੀ ਹੈ।.
ਸਾਰਣੀ ਡੇਟਾ (ਸਪ੍ਰੈਡਸ਼ੀਟ, ਲੌਗ, ਡੇਟਾਬੇਸ) 📊
ਆਮ ਕਦਮ:
-
ਗੁੰਮ ਮੁੱਲ ਰਣਨੀਤੀ
-
ਸ਼੍ਰੇਣੀਬੱਧ ਏਨਕੋਡਿੰਗ [1]
-
ਸੰਖਿਆਤਮਕ ਕਾਲਮਾਂ ਨੂੰ ਸਕੇਲਿੰਗ ਕਰਨਾ [1]
-
ਆਊਟਲੇਅਰ ਹੈਂਡਲਿੰਗ (ਡੋਮੇਨ ਨਿਯਮ ਜ਼ਿਆਦਾਤਰ ਸਮੇਂ "ਰੈਂਡਮ ਕਲਿੱਪਿੰਗ" ਨੂੰ ਮਾਤ ਦਿੰਦੇ ਹਨ)
-
ਪ੍ਰਾਪਤ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ (ਏਕੀਕਰਣ, ਲੈਗ, ਰੋਲਿੰਗ ਅੰਕੜੇ)
ਵਿਹਾਰਕ ਸਲਾਹ: ਕਾਲਮ ਸਮੂਹਾਂ ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ (ਸੰਖਿਆਤਮਕ ਬਨਾਮ ਸ਼੍ਰੇਣੀਗਤ ਬਨਾਮ ਪਛਾਣਕਰਤਾ)। ਤੁਹਾਡਾ ਭਵਿੱਖ ਤੁਹਾਡਾ ਧੰਨਵਾਦ ਕਰੇਗਾ।.
ਟੈਕਸਟ ਡੇਟਾ (NLP) 📝
ਟੈਕਸਟ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ ਅਕਸਰ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ:
-
ਟੋਕਨਾਂ/ਸਬਵਰਡਾਂ ਵਿੱਚ ਟੋਕਨੀਕਰਨ
-
ਇਨਪੁੱਟ ਆਈਡੀ ਵਿੱਚ ਰੂਪਾਂਤਰਨ
-
ਪੈਡਿੰਗ/ਕੱਟਣਾ
-
ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਵਾਲੇ ਮਾਸਕ ਬਣਾਉਣਾ [3]
ਛੋਟਾ ਜਿਹਾ ਨਿਯਮ ਜੋ ਦਰਦ ਤੋਂ ਬਚਾਉਂਦਾ ਹੈ: ਟ੍ਰਾਂਸਫਾਰਮਰ-ਅਧਾਰਿਤ ਸੈੱਟਅੱਪਾਂ ਲਈ, ਮਾਡਲ ਦੀਆਂ ਉਮੀਦ ਕੀਤੀਆਂ ਟੋਕਨਾਈਜ਼ਰ ਸੈਟਿੰਗਾਂ ਦੀ ਪਾਲਣਾ ਕਰੋ ਅਤੇ ਜਦੋਂ ਤੱਕ ਤੁਹਾਡੇ ਕੋਲ ਕੋਈ ਕਾਰਨ ਨਾ ਹੋਵੇ, ਫ੍ਰੀਸਟਾਈਲ ਨਾ ਕਰੋ। ਫ੍ਰੀਸਟਾਈਲਿੰਗ ਉਹ ਤਰੀਕਾ ਹੈ ਜਿਸ ਨਾਲ ਤੁਸੀਂ "ਇਹ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ ਪਰ ਇਹ ਅਜੀਬ ਹੈ" ਨਾਲ ਖਤਮ ਹੁੰਦੇ ਹੋ।
ਤਸਵੀਰਾਂ (ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ) 🖼️
ਆਮ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ:
-
ਇਕਸਾਰ ਆਕਾਰਾਂ ਵਿੱਚ ਆਕਾਰ ਬਦਲੋ / ਕੱਟੋ
-
ਮੁਲਾਂਕਣ ਲਈ ਨਿਰਣਾਇਕ ਪਰਿਵਰਤਨ
-
ਸਿਖਲਾਈ ਵਧਾਉਣ ਲਈ ਬੇਤਰਤੀਬ ਪਰਿਵਰਤਨ (ਜਿਵੇਂ ਕਿ, ਬੇਤਰਤੀਬ ਕ੍ਰੌਪਿੰਗ) [4]
ਇੱਕ ਗੱਲ ਜੋ ਲੋਕ ਯਾਦ ਕਰਦੇ ਹਨ: "ਰੈਂਡਮ ਟ੍ਰਾਂਸਫਾਰਮ" ਸਿਰਫ਼ ਇੱਕ ਵਾਈਬ ਨਹੀਂ ਹਨ - ਉਹ ਹਰ ਵਾਰ ਜਦੋਂ ਉਹਨਾਂ ਨੂੰ ਬੁਲਾਇਆ ਜਾਂਦਾ ਹੈ ਤਾਂ ਸ਼ਾਬਦਿਕ ਤੌਰ 'ਤੇ ਪੈਰਾਮੀਟਰਾਂ ਦਾ ਨਮੂਨਾ ਲੈਂਦੇ ਹਨ। ਸਿਖਲਾਈ ਵਿਭਿੰਨਤਾ ਲਈ ਵਧੀਆ, ਮੁਲਾਂਕਣ ਲਈ ਭਿਆਨਕ ਜੇਕਰ ਤੁਸੀਂ ਬੇਤਰਤੀਬਤਾ ਨੂੰ ਬੰਦ ਕਰਨਾ ਭੁੱਲ ਜਾਂਦੇ ਹੋ। [4]
ਜਿਸ ਜਾਲ ਵਿੱਚ ਹਰ ਕੋਈ ਫਸਦਾ ਹੈ: ਡਾਟਾ ਲੀਕ 🕳️🐍
ਲੀਕੇਜ ਉਦੋਂ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਮੁਲਾਂਕਣ ਡੇਟਾ ਤੋਂ ਜਾਣਕਾਰੀ ਸਿਖਲਾਈ ਵਿੱਚ ਘੁਸਪੈਠ ਕਰਦੀ ਹੈ - ਅਕਸਰ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਰਾਹੀਂ। ਇਹ ਤੁਹਾਡੇ ਮਾਡਲ ਨੂੰ ਪ੍ਰਮਾਣਿਕਤਾ ਦੌਰਾਨ ਜਾਦੂਈ ਬਣਾ ਸਕਦਾ ਹੈ, ਫਿਰ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਤੁਹਾਨੂੰ ਨਿਰਾਸ਼ ਕਰ ਸਕਦਾ ਹੈ।.
ਆਮ ਲੀਕੇਜ ਪੈਟਰਨ:
-
ਪੂਰੇ-ਡੇਟਾਸੈੱਟ ਅੰਕੜਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਕੇਲਿੰਗ (ਸਿਰਫ਼ ਸਿਖਲਾਈ ਦੀ ਬਜਾਏ) [2]
-
ਟ੍ਰੇਨ+ਟੈਸਟ ਇਕੱਠੇ ਵਰਤ ਕੇ ਸ਼੍ਰੇਣੀ ਦੇ ਨਕਸ਼ੇ ਬਣਾਉਣਾ [2]
-
ਕੋਈ ਵੀ
fit()ਜਾਂfit_transform()ਕਦਮ ਜੋ ਟੈਸਟ ਸੈੱਟ ਨੂੰ "ਦੇਖਦਾ" ਹੈ [2]
ਅੰਗੂਠੇ ਦਾ ਨਿਯਮ (ਸਰਲ, ਬੇਰਹਿਮ, ਪ੍ਰਭਾਵਸ਼ਾਲੀ):
-
ਫਿੱਟ ਵਾਲੀ ਕੋਈ ਵੀ ਚੀਜ਼ ਸਿਰਫ਼ ਸਿਖਲਾਈ 'ਤੇ ਹੀ ਫਿੱਟ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ।
-
ਫਿਰ ਤੁਸੀਂ ਬਦਲਦੇ ਹੋ । [2]
ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ "ਇਹ ਕਿੰਨਾ ਮਾੜਾ ਹੋ ਸਕਦਾ ਹੈ?" ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਗਟ-ਚੈੱਕ: ਸਾਈਕਿਟ-ਲਰਨ ਦੇ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ ਇੱਕ ਲੀਕੇਜ ਉਦਾਹਰਣ ਦਿਖਾਉਂਦੇ ਹਨ ਜਿੱਥੇ ਇੱਕ ਗਲਤ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਆਰਡਰ 0.76 0.5 ਤੱਕ ਵਾਪਸ ਆ ਜਾਂਦਾ ਹੈ। ਇਸ ਤਰ੍ਹਾਂ ਯਕੀਨਨ ਗਲਤ ਲੀਕੇਜ ਦਿਖਾਈ ਦੇ ਸਕਦਾ ਹੈ। [2]
ਬਿਨਾਂ ਕਿਸੇ ਹਫੜਾ-ਦਫੜੀ ਦੇ ਉਤਪਾਦਨ ਵਿੱਚ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਸ਼ੁਰੂ ਕਰਨਾ 🏗️
ਬਹੁਤ ਸਾਰੇ ਮਾਡਲ ਉਤਪਾਦਨ ਵਿੱਚ ਅਸਫਲ ਹੁੰਦੇ ਹਨ ਕਿਉਂਕਿ ਮਾਡਲ "ਮਾੜਾ" ਹੁੰਦਾ ਹੈ, ਸਗੋਂ ਇਸ ਲਈ ਕਿਉਂਕਿ ਇਨਪੁਟ ਹਕੀਕਤ ਬਦਲ ਜਾਂਦੀ ਹੈ - ਜਾਂ ਤੁਹਾਡੀ ਪਾਈਪਲਾਈਨ ਅਜਿਹਾ ਕਰਦੀ ਹੈ।
ਉਤਪਾਦਨ-ਮਨ ਵਾਲੀ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ ਆਮ ਤੌਰ 'ਤੇ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ:
-
ਸੁਰੱਖਿਅਤ ਕੀਤੀਆਂ ਕਲਾਕ੍ਰਿਤੀਆਂ (ਏਨਕੋਡਰ ਮੈਪਿੰਗ, ਸਕੇਲਰ ਪੈਰਾਮੀਟਰ, ਟੋਕਨਾਈਜ਼ਰ ਕੌਂਫਿਗ) ਇਸ ਲਈ ਅਨੁਮਾਨ ਬਿਲਕੁਲ ਉਹੀ ਸਿੱਖੇ ਹੋਏ ਪਰਿਵਰਤਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ [2]
-
ਸਖ਼ਤ ਇਨਪੁੱਟ ਇਕਰਾਰਨਾਮੇ (ਉਮੀਦ ਕੀਤੇ ਕਾਲਮ/ਕਿਸਮਾਂ/ਰੇਂਜਾਂ)
-
ਸਕਿਊ ਅਤੇ ਡ੍ਰਿਫਟ ਲਈ ਨਿਗਰਾਨੀ , ਕਿਉਂਕਿ ਉਤਪਾਦਨ ਡੇਟਾ ਰਹੇਗਾ [5]
ਜੇਕਰ ਤੁਸੀਂ ਠੋਸ ਪਰਿਭਾਸ਼ਾਵਾਂ ਚਾਹੁੰਦੇ ਹੋ: ਗੂਗਲ ਦਾ ਵਰਟੈਕਸ ਏਆਈ ਮਾਡਲ ਮਾਨੀਟਰਿੰਗ ਸਿਖਲਾਈ-ਸੇਵਾ ਕਰਨ ਵਾਲਾ ਸਕਿਊ (ਉਤਪਾਦਨ ਵੰਡ ਸਿਖਲਾਈ ਤੋਂ ਭਟਕ ਜਾਂਦੀ ਹੈ) ਅਤੇ ਇਨਫਰੈਂਸ ਡ੍ਰਿਫਟ (ਸਮੇਂ ਦੇ ਨਾਲ ਉਤਪਾਦਨ ਵੰਡ ਵਿੱਚ ਤਬਦੀਲੀਆਂ) ਨੂੰ ਵੱਖਰਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਸ਼੍ਰੇਣੀਬੱਧ ਅਤੇ ਸੰਖਿਆਤਮਕ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੋਵਾਂ ਲਈ ਨਿਗਰਾਨੀ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। [5]
ਕਿਉਂਕਿ ਹੈਰਾਨੀ ਮਹਿੰਗੀ ਹੁੰਦੀ ਹੈ। ਅਤੇ ਮਜ਼ੇਦਾਰ ਕਿਸਮ ਦੀ ਨਹੀਂ।.
ਤੁਲਨਾ ਸਾਰਣੀ: ਆਮ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ + ਨਿਗਰਾਨੀ ਟੂਲ (ਅਤੇ ਉਹ ਕਿਸ ਲਈ ਹਨ) 🧰
| ਔਜ਼ਾਰ / ਲਾਇਬ੍ਰੇਰੀ | ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ | ਕੀਮਤ | ਇਹ ਕਿਉਂ ਕੰਮ ਕਰਦਾ ਹੈ (ਅਤੇ ਥੋੜ੍ਹੀ ਜਿਹੀ ਇਮਾਨਦਾਰੀ) |
|---|---|---|---|
| ਸਾਇਕਿਟ-ਲਰਨ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ | ਸਾਰਣੀਬੱਧ ML ਪਾਈਪਲਾਈਨਾਂ | ਮੁਫ਼ਤ | ਠੋਸ ਏਨਕੋਡਰ + ਸਕੇਲਰ (OneHotEncoder, StandardScaler, ਆਦਿ) ਅਤੇ ਅਨੁਮਾਨਯੋਗ ਵਿਵਹਾਰ [1] |
| ਜੱਫੀ ਪਾਉਣ ਵਾਲੇ ਚਿਹਰੇ ਦੇ ਸੰਕੇਤ | ਐਨਐਲਪੀ ਇਨਪੁਟ ਤਿਆਰੀ | ਮੁਫ਼ਤ | ਰਨ/ਮਾਡਲਾਂ ਵਿੱਚ ਲਗਾਤਾਰ ਇਨਪੁਟ ਆਈਡੀ + ਧਿਆਨ ਮਾਸਕ ਤਿਆਰ ਕਰਦਾ ਹੈ [3] |
| ਟਾਰਚਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਸ | ਦ੍ਰਿਸ਼ਟੀ ਬਦਲਦੀ ਹੈ + ਵਾਧਾ | ਮੁਫ਼ਤ | ਇੱਕ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਨਿਰਧਾਰਕ ਅਤੇ ਬੇਤਰਤੀਬ ਪਰਿਵਰਤਨਾਂ ਨੂੰ ਮਿਲਾਉਣ ਦਾ ਸਾਫ਼ ਤਰੀਕਾ [4] |
| ਵਰਟੈਕਸ ਏਆਈ ਮਾਡਲ ਨਿਗਰਾਨੀ | ਉਤਪਾਦ ਵਿੱਚ ਡ੍ਰਿਫਟ/ਸਕਿਊ ਖੋਜ | ਭੁਗਤਾਨ ਕੀਤਾ (ਕਲਾਊਡ) | ਮਾਨੀਟਰਾਂ ਵਿੱਚ ਸਕਿਊ/ਡ੍ਰੀਫਟ ਅਤੇ ਥ੍ਰੈਸ਼ਹੋਲਡ ਪਾਰ ਹੋਣ 'ਤੇ ਚੇਤਾਵਨੀਆਂ ਦੀ ਵਿਸ਼ੇਸ਼ਤਾ ਹੁੰਦੀ ਹੈ [5] |
(ਹਾਂ, ਮੇਜ਼ 'ਤੇ ਅਜੇ ਵੀ ਰਾਏ ਹਨ। ਪਰ ਘੱਟੋ ਘੱਟ ਇਹ ਇਮਾਨਦਾਰ ਰਾਏ ਹਨ 😅)
ਇੱਕ ਵਿਹਾਰਕ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਚੈੱਕਲਿਸਟ ਜੋ ਤੁਸੀਂ ਅਸਲ ਵਿੱਚ ਵਰਤ ਸਕਦੇ ਹੋ 📌
ਸਿਖਲਾਈ ਤੋਂ ਪਹਿਲਾਂ
-
ਇੱਕ ਇਨਪੁੱਟ ਸਕੀਮਾ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ (ਕਿਸਮਾਂ, ਇਕਾਈਆਂ, ਮਨਜ਼ੂਰ ਰੇਂਜਾਂ)
-
ਗੁੰਮ ਮੁੱਲਾਂ ਅਤੇ ਡੁਪਲੀਕੇਟਾਂ ਦੀ ਆਡਿਟ ਕਰੋ
-
ਡੇਟਾ ਨੂੰ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਵੰਡੋ (ਬੇਤਰਤੀਬ / ਸਮਾਂ-ਅਧਾਰਤ / ਸਮੂਹਬੱਧ)
-
ਸਿਰਫ਼ ਸਿਖਲਾਈ 'ਤੇ ਫਿੱਟ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ (
fit/fit_transformਟ੍ਰੇਨ 'ਤੇ ਰਹਿੰਦਾ ਹੈ) [2] -
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਆਰਟੀਫੈਕਟਸ ਨੂੰ ਸੇਵ ਕਰੋ ਤਾਂ ਜੋ ਅਨੁਮਾਨ ਉਹਨਾਂ ਨੂੰ ਦੁਬਾਰਾ ਵਰਤ ਸਕੇ [2]
ਸਿਖਲਾਈ ਦੌਰਾਨ
-
ਸਿਰਫ਼ ਜਿੱਥੇ ਢੁਕਵਾਂ ਹੋਵੇ ਉੱਥੇ ਹੀ ਬੇਤਰਤੀਬ ਵਾਧਾ ਲਾਗੂ ਕਰੋ (ਆਮ ਤੌਰ 'ਤੇ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਵੰਡ) [4]
-
ਮੁਲਾਂਕਣ ਨੂੰ ਪੂਰਵ-ਪ੍ਰੋਸੈਸਿੰਗ ਨਿਰਧਾਰਕ ਰੱਖੋ [4]
-
ਮਾਡਲ ਤਬਦੀਲੀਆਂ ਵਰਗੇ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਬਦਲਾਵਾਂ ਨੂੰ ਟਰੈਕ ਕਰੋ (ਕਿਉਂਕਿ ਉਹ ਹਨ)
ਤੈਨਾਤੀ ਤੋਂ ਪਹਿਲਾਂ
-
ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਅਨੁਮਾਨ ਇੱਕੋ ਜਿਹੇ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਮਾਰਗ ਅਤੇ ਕਲਾਕ੍ਰਿਤੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ [2]
-
ਡ੍ਰਿਫਟ/ਸਕਿਊ ਨਿਗਰਾਨੀ ਸੈੱਟਅੱਪ ਕਰੋ (ਮੂਲ ਵਿਸ਼ੇਸ਼ਤਾ ਵੰਡ ਜਾਂਚਾਂ ਵੀ ਬਹੁਤ ਦੂਰ ਜਾਂਦੀਆਂ ਹਨ) [5]
ਡੂੰਘਾਈ ਨਾਲ ਸੋਚੋ: ਆਮ ਪ੍ਰੀ-ਪ੍ਰੋਸੈਸਿੰਗ ਗਲਤੀਆਂ (ਅਤੇ ਉਨ੍ਹਾਂ ਤੋਂ ਕਿਵੇਂ ਬਚਣਾ ਹੈ) 🧯
ਗਲਤੀ 1: “ਮੈਂ ਜਲਦੀ ਹੀ ਸਭ ਕੁਝ ਆਮ ਵਾਂਗ ਕਰ ਦਿਆਂਗਾ” 😵
ਜੇਕਰ ਤੁਸੀਂ ਪੂਰੇ ਡੇਟਾਸੈੱਟ 'ਤੇ ਸਕੇਲਿੰਗ ਪੈਰਾਮੀਟਰਾਂ ਦੀ ਗਣਨਾ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਮੁਲਾਂਕਣ ਜਾਣਕਾਰੀ ਲੀਕ ਕਰ ਰਹੇ ਹੋ। ਟ੍ਰੇਨ 'ਤੇ ਫਿੱਟ ਕਰੋ, ਬਾਕੀ ਨੂੰ ਬਦਲ ਦਿਓ। [2]
ਗਲਤੀ 2: ਸ਼੍ਰੇਣੀਆਂ ਹਫੜਾ-ਦਫੜੀ ਵਿੱਚ ਡੁੱਬ ਰਹੀਆਂ ਹਨ 🧩
ਜੇਕਰ ਤੁਹਾਡੀ ਸ਼੍ਰੇਣੀ ਮੈਪਿੰਗ ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਵਿਚਕਾਰ ਬਦਲ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਤੁਹਾਡਾ ਮਾਡਲ ਚੁੱਪਚਾਪ ਦੁਨੀਆ ਨੂੰ ਗਲਤ ਸਮਝ ਸਕਦਾ ਹੈ। ਸੁਰੱਖਿਅਤ ਕੀਤੀਆਂ ਕਲਾਕ੍ਰਿਤੀਆਂ ਰਾਹੀਂ ਮੈਪਿੰਗਾਂ ਨੂੰ ਸਥਿਰ ਰੱਖੋ। [2]
ਗਲਤੀ 3: ਮੁਲਾਂਕਣ ਵਿੱਚ ਬੇਤਰਤੀਬ ਵਾਧਾ 🎲
ਸਿਖਲਾਈ ਵਿੱਚ ਰੈਂਡਮ ਟ੍ਰਾਂਸਫਾਰਮ ਬਹੁਤ ਵਧੀਆ ਹੁੰਦੇ ਹਨ, ਪਰ ਜਦੋਂ ਤੁਸੀਂ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਮਾਪਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹੋ ਤਾਂ ਉਹਨਾਂ ਨੂੰ "ਗੁਪਤ ਤੌਰ 'ਤੇ ਚਾਲੂ" ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ। (ਰੈਂਡਮ ਦਾ ਮਤਲਬ ਹੈ ਰੈਂਡਮ।) [4]
ਅੰਤਿਮ ਟਿੱਪਣੀਆਂ 🧠✨
ਏਆਈ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਇੱਕ ਅਨੁਸ਼ਾਸਿਤ ਕਲਾ ਹੈ ਜਿਸ ਵਿੱਚ ਗੜਬੜ ਵਾਲੀ ਹਕੀਕਤ ਨੂੰ ਇਕਸਾਰ ਮਾਡਲ ਇਨਪੁਟਸ ਵਿੱਚ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਸਫਾਈ, ਏਨਕੋਡਿੰਗ, ਸਕੇਲਿੰਗ, ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ, ਚਿੱਤਰ ਪਰਿਵਰਤਨ, ਅਤੇ - ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ - ਦੁਹਰਾਉਣ ਯੋਗ ਪਾਈਪਲਾਈਨਾਂ ਅਤੇ ਕਲਾਕ੍ਰਿਤੀਆਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ।
-
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਜਾਣਬੁੱਝ ਕੇ ਕਰੋ, ਨਾ ਕਿ ਅਚਾਨਕ। [2]
-
ਪਹਿਲਾਂ ਵੰਡੋ, ਸਿਰਫ਼ ਸਿਖਲਾਈ 'ਤੇ ਹੀ ਟ੍ਰਾਂਸਫਾਰਮ ਫਿੱਟ ਕਰੋ, ਲੀਕੇਜ ਤੋਂ ਬਚੋ। [2]
-
ਮੋਡੈਲਿਟੀ-ਉਚਿਤ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ (ਟੈਕਸਟ ਲਈ ਟੋਕਨਾਈਜ਼ਰ, ਚਿੱਤਰਾਂ ਲਈ ਟ੍ਰਾਂਸਫਾਰਮ) ਦੀ ਵਰਤੋਂ ਕਰੋ। [3][4]
-
ਉਤਪਾਦਨ ਸਕਿਊ/ਡ੍ਰੀਫਟ ਦੀ ਨਿਗਰਾਨੀ ਕਰੋ ਤਾਂ ਜੋ ਤੁਹਾਡਾ ਮਾਡਲ ਹੌਲੀ-ਹੌਲੀ ਬਕਵਾਸ ਵਿੱਚ ਨਾ ਡੁੱਬ ਜਾਵੇ। [5]
ਅਤੇ ਜੇਕਰ ਤੁਸੀਂ ਕਦੇ ਫਸ ਜਾਂਦੇ ਹੋ, ਤਾਂ ਆਪਣੇ ਆਪ ਤੋਂ ਪੁੱਛੋ:
"ਕੀ ਇਹ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਦਮ ਅਜੇ ਵੀ ਸਮਝਦਾਰੀ ਵਾਲਾ ਹੋਵੇਗਾ ਜੇਕਰ ਮੈਂ ਇਸਨੂੰ ਕੱਲ੍ਹ ਨੂੰ ਬਿਲਕੁਲ ਨਵੇਂ ਡੇਟਾ 'ਤੇ ਚਲਾਉਂਦਾ ਹਾਂ?"
ਜੇਕਰ ਜਵਾਬ "ਓਹ... ਸ਼ਾਇਦ?" ਹੈ, ਤਾਂ ਇਹ ਤੁਹਾਡਾ ਸੁਰਾਗ ਹੈ 😬
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਸਰਲ ਸ਼ਬਦਾਂ ਵਿੱਚ, AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕੀ ਹੈ?
ਏਆਈ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਇੱਕ ਦੁਹਰਾਉਣਯੋਗ ਕਦਮਾਂ ਦਾ ਸਮੂਹ ਹੈ ਜੋ ਸ਼ੋਰ-ਸ਼ਰਾਬੇ ਵਾਲੇ, ਉੱਚ-ਵਿਭਿੰਨਤਾ ਵਾਲੇ ਕੱਚੇ ਡੇਟਾ ਨੂੰ ਇਕਸਾਰ ਇਨਪੁਟਸ ਵਿੱਚ ਬਦਲਦਾ ਹੈ ਜਿਸ ਤੋਂ ਇੱਕ ਮਾਡਲ ਸਿੱਖ ਸਕਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਸਫਾਈ, ਪ੍ਰਮਾਣਿਕਤਾ, ਏਨਕੋਡਿੰਗ ਸ਼੍ਰੇਣੀਆਂ, ਸੰਖਿਆਤਮਕ ਮੁੱਲਾਂ ਨੂੰ ਸਕੇਲ ਕਰਨਾ, ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਈਜ਼ ਕਰਨਾ, ਅਤੇ ਚਿੱਤਰ ਪਰਿਵਰਤਨ ਲਾਗੂ ਕਰਨਾ ਸ਼ਾਮਲ ਹੋ ਸਕਦਾ ਹੈ। ਟੀਚਾ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਹੈ ਕਿ ਸਿਖਲਾਈ ਅਤੇ ਉਤਪਾਦਨ ਅਨੁਮਾਨ "ਇੱਕੋ ਕਿਸਮ ਦੇ" ਇਨਪੁਟ ਨੂੰ ਵੇਖਣ, ਤਾਂ ਜੋ ਮਾਡਲ ਬਾਅਦ ਵਿੱਚ ਅਣਪਛਾਤੇ ਵਿਵਹਾਰ ਵਿੱਚ ਨਾ ਜਾਵੇ।.
ਉਤਪਾਦਨ ਵਿੱਚ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਇੰਨੀ ਮਾਇਨੇ ਕਿਉਂ ਰੱਖਦੀ ਹੈ?
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ ਕਿਉਂਕਿ ਮਾਡਲ ਇਨਪੁਟ ਪ੍ਰਤੀਨਿਧਤਾ ਪ੍ਰਤੀ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦੇ ਹਨ। ਜੇਕਰ ਸਿਖਲਾਈ ਡੇਟਾ ਨੂੰ ਸਕੇਲ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਏਨਕੋਡ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਟੋਕਨਾਈਜ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜਾਂ ਉਤਪਾਦਨ ਡੇਟਾ ਨਾਲੋਂ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਬਦਲਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਟ੍ਰੇਨ/ਸਰਵਿਸ ਮਿਸਮੈਚ ਅਸਫਲਤਾਵਾਂ ਪ੍ਰਾਪਤ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ਔਫਲਾਈਨ ਵਧੀਆ ਦਿਖਾਈ ਦਿੰਦੀਆਂ ਹਨ ਪਰ ਚੁੱਪਚਾਪ ਔਨਲਾਈਨ ਅਸਫਲ ਹੋ ਜਾਂਦੀਆਂ ਹਨ। ਮਜ਼ਬੂਤ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਸ਼ੋਰ ਨੂੰ ਘਟਾਉਂਦੀਆਂ ਹਨ, ਸਿੱਖਣ ਦੀ ਸਥਿਰਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦੀਆਂ ਹਨ, ਅਤੇ ਦੁਹਰਾਓ ਨੂੰ ਤੇਜ਼ ਕਰਦੀਆਂ ਹਨ ਕਿਉਂਕਿ ਤੁਸੀਂ ਨੋਟਬੁੱਕ ਸਪੈਗੇਟੀ ਨੂੰ ਨਹੀਂ ਸੁਲਝਾ ਰਹੇ ਹੋ।.
ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਰਦੇ ਸਮੇਂ ਮੈਂ ਡੇਟਾ ਲੀਕ ਹੋਣ ਤੋਂ ਕਿਵੇਂ ਬਚ ਸਕਦਾ ਹਾਂ?
ਇੱਕ ਸਧਾਰਨ ਨਿਯਮ ਕੰਮ ਕਰਦਾ ਹੈ: ਫਿੱਟ ਸਟੈਪ ਵਾਲੀ ਕੋਈ ਵੀ ਚੀਜ਼ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਡੇਟਾ 'ਤੇ ਫਿੱਟ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਇਸ ਵਿੱਚ ਸਕੇਲਰ, ਏਨਕੋਡਰ ਅਤੇ ਟੋਕਨਾਈਜ਼ਰ ਸ਼ਾਮਲ ਹਨ ਜੋ ਸਾਧਨ, ਸ਼੍ਰੇਣੀ ਨਕਸ਼ੇ, ਜਾਂ ਸ਼ਬਦਾਵਲੀ ਵਰਗੇ ਮਾਪਦੰਡ ਸਿੱਖਦੇ ਹਨ। ਤੁਸੀਂ ਪਹਿਲਾਂ ਵੰਡਦੇ ਹੋ, ਸਿਖਲਾਈ ਵੰਡ 'ਤੇ ਫਿੱਟ ਹੁੰਦੇ ਹੋ, ਫਿਰ ਫਿੱਟ ਕੀਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਪ੍ਰਮਾਣਿਕਤਾ/ਟੈਸਟ ਨੂੰ ਬਦਲਦੇ ਹੋ। ਲੀਕੇਜ ਪ੍ਰਮਾਣਿਕਤਾ ਨੂੰ "ਜਾਦੂਈ" ਤੌਰ 'ਤੇ ਵਧੀਆ ਬਣਾ ਸਕਦਾ ਹੈ ਅਤੇ ਫਿਰ ਉਤਪਾਦਨ ਵਰਤੋਂ ਵਿੱਚ ਢਹਿ ਸਕਦਾ ਹੈ।
ਟੇਬਲਰ ਡੇਟਾ ਲਈ ਸਭ ਤੋਂ ਆਮ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਦਮ ਕੀ ਹਨ?
ਸਾਰਣੀ ਡੇਟਾ ਲਈ, ਆਮ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਸਫਾਈ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ (ਕਿਸਮਾਂ, ਰੇਂਜਾਂ, ਗੁੰਮ ਮੁੱਲ), ਸ਼੍ਰੇਣੀਗਤ ਏਨਕੋਡਿੰਗ (ਇੱਕ-ਗਰਮ ਜਾਂ ਆਰਡੀਨਲ), ਅਤੇ ਸੰਖਿਆਤਮਕ ਸਕੇਲਿੰਗ (ਮਾਨਕੀਕਰਨ ਜਾਂ ਘੱਟੋ-ਘੱਟ-ਅਧਿਕਤਮ) ਸ਼ਾਮਲ ਹਨ। ਬਹੁਤ ਸਾਰੀਆਂ ਪਾਈਪਲਾਈਨਾਂ ਡੋਮੇਨ-ਸੰਚਾਲਿਤ ਵਿਸ਼ੇਸ਼ਤਾ ਇੰਜੀਨੀਅਰਿੰਗ ਜਿਵੇਂ ਕਿ ਅਨੁਪਾਤ, ਰੋਲਿੰਗ ਵਿੰਡੋਜ਼, ਜਾਂ ਗਿਣਤੀਆਂ ਨੂੰ ਜੋੜਦੀਆਂ ਹਨ। ਇੱਕ ਵਿਹਾਰਕ ਆਦਤ ਕਾਲਮ ਸਮੂਹਾਂ ਨੂੰ ਸਪਸ਼ਟ ਤੌਰ 'ਤੇ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ ਹੈ (ਸੰਖਿਆਤਮਕ ਬਨਾਮ ਸ਼੍ਰੇਣੀਗਤ ਬਨਾਮ ਪਛਾਣਕਰਤਾ) ਤਾਂ ਜੋ ਤੁਹਾਡੇ ਪਰਿਵਰਤਨ ਇਕਸਾਰ ਰਹਿਣ।.
ਟੈਕਸਟ ਮਾਡਲਾਂ ਲਈ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ?
ਟੈਕਸਟ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਦਾ ਆਮ ਤੌਰ 'ਤੇ ਮਤਲਬ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਨੂੰ ਟੋਕਨਾਂ/ਸਬਵਰਡਾਂ ਵਿੱਚ ਬਦਲਣਾ, ਉਹਨਾਂ ਨੂੰ ਇਨਪੁਟ ਆਈਡੀ ਵਿੱਚ ਬਦਲਣਾ, ਅਤੇ ਬੈਚਿੰਗ ਲਈ ਪੈਡਿੰਗ/ਟ੍ਰੰਕੇਸ਼ਨ ਨੂੰ ਸੰਭਾਲਣਾ ਹੁੰਦਾ ਹੈ। ਬਹੁਤ ਸਾਰੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਵਰਕਫਲੋ ਆਈਡੀ ਦੇ ਨਾਲ ਇੱਕ ਧਿਆਨ ਮਾਸਕ ਵੀ ਬਣਾਉਂਦੇ ਹਨ। ਇੱਕ ਆਮ ਪਹੁੰਚ ਮਾਡਲ ਦੀ ਉਮੀਦ ਕੀਤੀ ਟੋਕਨਾਈਜ਼ਰ ਸੰਰਚਨਾ ਨੂੰ ਸੁਧਾਰਣ ਦੀ ਬਜਾਏ ਵਰਤਣਾ ਹੈ, ਕਿਉਂਕਿ ਟੋਕਨਾਈਜ਼ਰ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਛੋਟੇ ਅੰਤਰ "ਇਹ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ ਪਰ ਇਹ ਅਣਪਛਾਤੇ ਢੰਗ ਨਾਲ ਵਿਵਹਾਰ ਕਰਦਾ ਹੈ" ਨਤੀਜਿਆਂ ਵੱਲ ਲੈ ਜਾ ਸਕਦੇ ਹਨ।.
ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਲਈ ਚਿੱਤਰਾਂ ਦੀ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
ਚਿੱਤਰ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਆਮ ਤੌਰ 'ਤੇ ਇਕਸਾਰ ਆਕਾਰਾਂ ਅਤੇ ਪਿਕਸਲ ਹੈਂਡਲਿੰਗ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੀ ਹੈ: ਰੀਸਾਈਜ਼ਿੰਗ/ਕ੍ਰੌਪਿੰਗ, ਸਧਾਰਣਕਰਨ, ਅਤੇ ਨਿਰਧਾਰਨਵਾਦੀ ਅਤੇ ਬੇਤਰਤੀਬ ਪਰਿਵਰਤਨਾਂ ਵਿਚਕਾਰ ਇੱਕ ਸਪਸ਼ਟ ਵੰਡ। ਮੁਲਾਂਕਣ ਲਈ, ਪਰਿਵਰਤਨ ਨਿਰਧਾਰਨਵਾਦੀ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ ਤਾਂ ਜੋ ਮੈਟ੍ਰਿਕਸ ਤੁਲਨਾਤਮਕ ਹੋਣ। ਸਿਖਲਾਈ ਲਈ, ਬੇਤਰਤੀਬ ਵਾਧਾ (ਜਿਵੇਂ ਕਿ ਬੇਤਰਤੀਬ ਫਸਲਾਂ) ਮਜ਼ਬੂਤੀ ਨੂੰ ਬਿਹਤਰ ਬਣਾ ਸਕਦਾ ਹੈ, ਪਰ ਬੇਤਰਤੀਬਤਾ ਨੂੰ ਜਾਣਬੁੱਝ ਕੇ ਸਿਖਲਾਈ ਵੰਡ ਤੱਕ ਘੇਰਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ, ਮੁਲਾਂਕਣ ਦੌਰਾਨ ਗਲਤੀ ਨਾਲ ਨਹੀਂ ਛੱਡਿਆ ਜਾਣਾ ਚਾਹੀਦਾ।.
ਇੱਕ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਨੂੰ ਨਾਜ਼ੁਕ ਹੋਣ ਦੀ ਬਜਾਏ "ਚੰਗਾ" ਕੀ ਬਣਾਉਂਦਾ ਹੈ?
ਇੱਕ ਚੰਗੀ AI ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਪਾਈਪਲਾਈਨ ਪ੍ਰਜਨਨਯੋਗ, ਲੀਕੇਜ-ਸੁਰੱਖਿਅਤ, ਅਤੇ ਨਿਰੀਖਣਯੋਗ ਹੁੰਦੀ ਹੈ। ਪ੍ਰਜਨਨਯੋਗ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਹੀ ਇਨਪੁੱਟ ਉਹੀ ਆਉਟਪੁੱਟ ਪੈਦਾ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੱਕ ਕਿ ਬੇਤਰਤੀਬਤਾ ਜਾਣਬੁੱਝ ਕੇ ਵਾਧਾ ਨਹੀਂ ਹੁੰਦਾ। ਲੀਕੇਜ-ਸੁਰੱਖਿਅਤ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਫਿੱਟ ਸਟੈਪਸ ਕਦੇ ਵੀ ਪ੍ਰਮਾਣਿਕਤਾ/ਟੈਸਟ ਨੂੰ ਨਹੀਂ ਛੂਹਦੇ। ਨਿਰੀਖਣਯੋਗ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਗੁੰਮਸ਼ੁਦਗੀ, ਸ਼੍ਰੇਣੀ ਗਿਣਤੀ, ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾ ਵੰਡ ਵਰਗੇ ਅੰਕੜਿਆਂ ਦੀ ਜਾਂਚ ਕਰ ਸਕਦੇ ਹੋ ਇਸ ਲਈ ਡੀਬੱਗਿੰਗ ਸਬੂਤਾਂ 'ਤੇ ਅਧਾਰਤ ਹੈ, ਨਾ ਕਿ ਅੰਤੜੀਆਂ ਦੀ ਭਾਵਨਾ 'ਤੇ। ਪਾਈਪਲਾਈਨਾਂ ਹਰ ਵਾਰ ਐਡ-ਹਾਕ ਨੋਟਬੁੱਕ ਕ੍ਰਮਾਂ ਨੂੰ ਮਾਤ ਦਿੰਦੀਆਂ ਹਨ।.
ਮੈਂ ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਨੂੰ ਇਕਸਾਰ ਕਿਵੇਂ ਰੱਖਾਂ?
ਕੁੰਜੀ ਇਹ ਹੈ ਕਿ ਉਹੀ ਸਿੱਖੀਆਂ ਗਈਆਂ ਕਲਾਕ੍ਰਿਤੀਆਂ ਨੂੰ ਅਨੁਮਾਨ ਸਮੇਂ 'ਤੇ ਦੁਬਾਰਾ ਵਰਤਿਆ ਜਾਵੇ: ਸਕੇਲਰ ਪੈਰਾਮੀਟਰ, ਏਨਕੋਡਰ ਮੈਪਿੰਗ, ਅਤੇ ਟੋਕਨਾਈਜ਼ਰ ਕੌਂਫਿਗ। ਤੁਸੀਂ ਇੱਕ ਇਨਪੁੱਟ ਇਕਰਾਰਨਾਮਾ (ਉਮੀਦ ਕੀਤੇ ਕਾਲਮ, ਕਿਸਮਾਂ, ਅਤੇ ਰੇਂਜਾਂ) ਵੀ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਜੋ ਉਤਪਾਦਨ ਡੇਟਾ ਚੁੱਪਚਾਪ ਅਵੈਧ ਆਕਾਰਾਂ ਵਿੱਚ ਨਾ ਜਾ ਸਕੇ। ਇਕਸਾਰਤਾ ਸਿਰਫ਼ "ਉਹੀ ਕਦਮ ਕਰੋ" ਨਹੀਂ ਹੈ - ਇਹ "ਉਹੀ ਫਿੱਟ ਕੀਤੇ ਪੈਰਾਮੀਟਰਾਂ ਅਤੇ ਮੈਪਿੰਗਾਂ ਨਾਲ ਉਹੀ ਕਦਮ ਕਰੋ" ਹੈ।
ਮੈਂ ਸਮੇਂ ਦੇ ਨਾਲ ਡ੍ਰਿਫਟ ਅਤੇ ਸਕਿਊ ਵਰਗੇ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਮੁੱਦਿਆਂ ਦੀ ਨਿਗਰਾਨੀ ਕਿਵੇਂ ਕਰ ਸਕਦਾ ਹਾਂ?
ਇੱਕ ਠੋਸ ਪਾਈਪਲਾਈਨ ਦੇ ਨਾਲ ਵੀ, ਉਤਪਾਦਨ ਡੇਟਾ ਬਦਲਦਾ ਹੈ। ਇੱਕ ਆਮ ਤਰੀਕਾ ਵਿਸ਼ੇਸ਼ਤਾ ਵੰਡ ਤਬਦੀਲੀਆਂ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਅਤੇ ਸਿਖਲਾਈ-ਸੇਵਾ ਕਰਨ ਵਾਲੇ ਸਕਿਊ (ਉਤਪਾਦਨ ਸਿਖਲਾਈ ਤੋਂ ਭਟਕਦਾ ਹੈ) ਅਤੇ ਅਨੁਮਾਨ ਡ੍ਰਿਫਟ (ਸਮੇਂ ਦੇ ਨਾਲ ਉਤਪਾਦਨ ਤਬਦੀਲੀਆਂ) ਬਾਰੇ ਸੁਚੇਤ ਕਰਨਾ ਹੈ। ਨਿਗਰਾਨੀ ਹਲਕਾ (ਮੂਲ ਵੰਡ ਜਾਂਚ) ਜਾਂ ਪ੍ਰਬੰਧਿਤ (ਵਰਟੈਕਸ ਏਆਈ ਮਾਡਲ ਨਿਗਰਾਨੀ ਵਾਂਗ) ਹੋ ਸਕਦੀ ਹੈ। ਟੀਚਾ ਇਨਪੁਟ ਸ਼ਿਫਟਾਂ ਨੂੰ ਜਲਦੀ ਫੜਨਾ ਹੈ - ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਕਿ ਉਹ ਹੌਲੀ-ਹੌਲੀ ਮਾਡਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਖਤਮ ਕਰ ਦੇਣ।.
ਹਵਾਲੇ
[1] scikit-learn API:
sklearn.preprocessing (ਏਨਕੋਡਰ, ਸਕੇਲਰ, ਨਾਰਮਲਾਈਜ਼ੇਸ਼ਨ) [2] scikit-learn: ਆਮ ਨੁਕਸਾਨ - ਡਾਟਾ ਲੀਕੇਜ ਅਤੇ ਇਸ ਤੋਂ ਕਿਵੇਂ ਬਚਣਾ ਹੈ
[3] ਹੱਗਿੰਗ ਫੇਸ ਟ੍ਰਾਂਸਫਾਰਮਰ ਡੌਕਸ: ਟੋਕਨਾਈਜ਼ਰ (ਇਨਪੁਟ ਆਈਡੀ, ਧਿਆਨ ਮਾਸਕ)
[4] PyTorch Torchvision ਡੌਕਸ: ਟ੍ਰਾਂਸਫਾਰਮ (ਰੀਸਾਈਜ਼/ਨਾਰਮਲਾਈਜ਼ + ਰੈਂਡਮ ਟ੍ਰਾਂਸਫਾਰਮ)
[5] ਗੂਗਲ ਕਲਾਉਡ ਵਰਟੈਕਸ ਏਆਈ ਡੌਕਸ: ਮਾਡਲ ਨਿਗਰਾਨੀ ਸੰਖੇਪ ਜਾਣਕਾਰੀ (ਫੀਚਰ ਸਕਿਊ ਅਤੇ ਡ੍ਰਿਫਟ)