ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?

ਛੋਟਾ ਜਵਾਬ: AI ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲਵੇਗਾ; ਇਹ ਦੁਹਰਾਉਣ ਵਾਲੇ ਕੰਮ ਜਿਵੇਂ ਕਿ SQL ਡਰਾਫਟਿੰਗ, ਪਾਈਪਲਾਈਨ ਸਕੈਫੋਲਡਿੰਗ, ਟੈਸਟ ਅਤੇ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰੇਗਾ। ਜੇਕਰ ਤੁਹਾਡੀ ਭੂਮਿਕਾ ਜ਼ਿਆਦਾਤਰ ਘੱਟ-ਮਾਲਕੀਅਤ, ਟਿਕਟ-ਸੰਚਾਲਿਤ ਕੰਮ ਹੈ, ਤਾਂ ਇਹ ਵਧੇਰੇ ਪ੍ਰਗਟ ਹੁੰਦਾ ਹੈ; ਜੇਕਰ ਤੁਹਾਡੇ ਕੋਲ ਭਰੋਸੇਯੋਗਤਾ, ਪਰਿਭਾਸ਼ਾਵਾਂ, ਸ਼ਾਸਨ ਅਤੇ ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ ਹੈ, ਤਾਂ AI ਮੁੱਖ ਤੌਰ 'ਤੇ ਤੁਹਾਨੂੰ ਤੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ।

ਮੁੱਖ ਗੱਲਾਂ:

ਮਾਲਕੀ : ਨਤੀਜਿਆਂ ਲਈ ਜਵਾਬਦੇਹੀ ਨੂੰ ਤਰਜੀਹ ਦਿਓ, ਨਾ ਕਿ ਸਿਰਫ਼ ਜਲਦੀ ਕੋਡ ਤਿਆਰ ਕਰਨ ਨੂੰ।

ਕੁਆਲਿਟੀ : ਟੈਸਟ, ਨਿਰੀਖਣਯੋਗਤਾ, ਅਤੇ ਇਕਰਾਰਨਾਮੇ ਬਣਾਓ ਤਾਂ ਜੋ ਪਾਈਪਲਾਈਨਾਂ ਭਰੋਸੇਯੋਗ ਰਹਿਣ।

ਸ਼ਾਸਨ : ਗੋਪਨੀਯਤਾ, ਪਹੁੰਚ ਨਿਯੰਤਰਣ, ਧਾਰਨ, ਅਤੇ ਆਡਿਟ ਟ੍ਰੇਲ ਮਨੁੱਖੀ ਮਾਲਕੀ ਵਾਲੇ ਰੱਖੋ।

ਦੁਰਵਰਤੋਂ ਪ੍ਰਤੀਰੋਧ : AI ਆਉਟਪੁੱਟ ਨੂੰ ਡਰਾਫਟ ਸਮਝੋ; ਭਰੋਸੇਮੰਦ ਗਲਤੀ ਤੋਂ ਬਚਣ ਲਈ ਉਹਨਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰੋ।

ਭੂਮਿਕਾ ਬਦਲਣ : ਬਾਇਲਰਪਲੇਟ ਟਾਈਪ ਕਰਨ ਵਿੱਚ ਘੱਟ ਸਮਾਂ ਅਤੇ ਟਿਕਾਊ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਕਰਨ ਵਿੱਚ ਜ਼ਿਆਦਾ ਸਮਾਂ ਬਿਤਾਓ।

ਜੇਕਰ ਤੁਸੀਂ ਡੇਟਾ ਟੀਮਾਂ ਦੇ ਆਲੇ-ਦੁਆਲੇ ਪੰਜ ਮਿੰਟ ਤੋਂ ਵੱਧ ਸਮਾਂ ਬਿਤਾਇਆ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਇਹ ਝਿਜਕ ਸੁਣੀ ਹੋਵੇਗੀ - ਕਈ ਵਾਰ ਫੁਸਫੁਸਾਈ, ਕਈ ਵਾਰ ਮੀਟਿੰਗ ਵਿੱਚ ਇੱਕ ਪਲਾਟ ਮੋੜ ਵਾਂਗ ਸ਼ੁਰੂ ਕੀਤੀ ਗਈ: ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?

ਅਤੇ... ਮੈਂ ਸਮਝ ਗਿਆ। AI SQL ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਾਈਪਲਾਈਨਾਂ ਬਣਾ ਸਕਦਾ ਹੈ, ਸਟੈਕ ਟਰੇਸ ਸਮਝਾ ਸਕਦਾ ਹੈ, dbt ਮਾਡਲ ਡਰਾਫਟ ਕਰ ਸਕਦਾ ਹੈ, ਇੱਥੋਂ ਤੱਕ ਕਿ ਵੇਅਰਹਾਊਸ ਸਕੀਮਾਂ ਨੂੰ ਵੀ ਬੇਚੈਨ ਵਿਸ਼ਵਾਸ ਨਾਲ ਸੁਝਾ ਸਕਦਾ ਹੈ। SQL ਲਈ GitHub Copilot dbt ਮਾਡਲਾਂ ਬਾਰੇ GitHub Copilot
ਇਹ ਇੱਕ ਫੋਰਕਲਿਫਟ ਨੂੰ ਜੁਗਲ ਕਰਨਾ ਸਿੱਖਦੇ ਦੇਖਣ ਵਰਗਾ ਮਹਿਸੂਸ ਹੁੰਦਾ ਹੈ। ਪ੍ਰਭਾਵਸ਼ਾਲੀ, ਥੋੜ੍ਹਾ ਚਿੰਤਾਜਨਕ, ਅਤੇ ਤੁਸੀਂ ਪੂਰੀ ਤਰ੍ਹਾਂ ਯਕੀਨੀ ਨਹੀਂ ਹੋ ਕਿ ਇਸਦਾ ਤੁਹਾਡੇ ਕੰਮ ਲਈ ਕੀ ਅਰਥ ਹੈ 😅

ਪਰ ਸੱਚਾਈ ਸੁਰਖੀ ਨਾਲੋਂ ਘੱਟ ਸਾਫ਼-ਸੁਥਰੀ ਹੈ। ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬਦਲ ਰਹੀ ਹੈ। ਇਹ ਸੁਸਤ, ਦੁਹਰਾਉਣ ਯੋਗ ਬਿੱਟਾਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰ ਰਹੀ ਹੈ। ਇਹ "ਮੈਨੂੰ ਪਤਾ ਹੈ ਕਿ ਮੈਂ ਕੀ ਚਾਹੁੰਦਾ ਹਾਂ ਪਰ ਸੰਟੈਕਸ ਯਾਦ ਨਹੀਂ ਰੱਖ ਸਕਦਾ" ਪਲਾਂ ਨੂੰ ਤੇਜ਼ ਕਰ ਰਹੀ ਹੈ। ਇਹ ਬਿਲਕੁਲ ਨਵੀਂ ਕਿਸਮ ਦੀ ਹਫੜਾ-ਦਫੜੀ ਵੀ ਪੈਦਾ ਕਰ ਰਹੀ ਹੈ।.

ਤਾਂ ਆਓ ਇਸਨੂੰ ਸਹੀ ਢੰਗ ਨਾਲ ਪੇਸ਼ ਕਰੀਏ, ਬਿਨਾਂ ਹੱਥ ਹਿਲਾਉਣ ਵਾਲੇ ਆਸ਼ਾਵਾਦ ਜਾਂ ਤਬਾਹੀ-ਸਕ੍ਰੌਲਿੰਗ ਘਬਰਾਹਟ ਦੇ।.

ਇਸ ਤੋਂ ਬਾਅਦ ਤੁਸੀਂ ਜੋ ਲੇਖ ਪੜ੍ਹਨਾ ਪਸੰਦ ਕਰ ਸਕਦੇ ਹੋ:

🔗 ਕੀ ਏਆਈ ਰੇਡੀਓਲੋਜਿਸਟਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?
ਇਮੇਜਿੰਗ ਏਆਈ ਵਰਕਫਲੋ, ਸ਼ੁੱਧਤਾ ਅਤੇ ਭਵਿੱਖ ਦੀਆਂ ਭੂਮਿਕਾਵਾਂ ਨੂੰ ਕਿਵੇਂ ਬਦਲਦੀ ਹੈ।.

🔗 ਕੀ ਏਆਈ ਲੇਖਾਕਾਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?
ਦੇਖੋ ਕਿ AI ਕਿਹੜੇ ਲੇਖਾਕਾਰੀ ਕਾਰਜਾਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਕਿਹੜੇ ਮਨੁੱਖੀ ਰਹਿੰਦੇ ਹਨ।.

🔗 ਕੀ ਏਆਈ ਨਿਵੇਸ਼ ਬੈਂਕਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?
ਸੌਦਿਆਂ, ਖੋਜ ਅਤੇ ਕਲਾਇੰਟ ਸਬੰਧਾਂ 'ਤੇ AI ਦੇ ਪ੍ਰਭਾਵ ਨੂੰ ਸਮਝੋ।.

🔗 ਕੀ ਏਆਈ ਬੀਮਾ ਏਜੰਟਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?
ਜਾਣੋ ਕਿ AI ਅੰਡਰਰਾਈਟਿੰਗ, ਵਿਕਰੀ ਅਤੇ ਗਾਹਕ ਸਹਾਇਤਾ ਨੂੰ ਕਿਵੇਂ ਬਦਲਦਾ ਹੈ।.

---

"ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲੈਂਦਾ ਹੈ" ਸਵਾਲ ਕਿਉਂ ਮੁੜ ਉੱਠਦਾ ਰਹਿੰਦਾ ਹੈ 😬

ਡਰ ਇੱਕ ਬਹੁਤ ਹੀ ਖਾਸ ਜਗ੍ਹਾ ਤੋਂ ਆਉਂਦਾ ਹੈ: ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਵਿੱਚ ਬਹੁਤ ਸਾਰਾ ਦੁਹਰਾਉਣਯੋਗ ਕੰਮ ਹੁੰਦਾ ਹੈ ।

• SQL ਲਿਖਣਾ ਅਤੇ ਰੀਫੈਕਟਰ ਕਰਨਾ

• ਇੰਜੈਸ਼ਨ ਸਕ੍ਰਿਪਟਾਂ ਬਣਾਉਣਾ

• ਇੱਕ ਸਕੀਮਾ ਤੋਂ ਦੂਜੀ ਸਕੀਮਾ ਵਿੱਚ ਖੇਤਰਾਂ ਦੀ ਮੈਪਿੰਗ

• ਟੈਸਟ ਅਤੇ ਮੁੱਢਲੇ ਦਸਤਾਵੇਜ਼ ਬਣਾਉਣਾ

• ਪਾਈਪਲਾਈਨ ਅਸਫਲਤਾਵਾਂ ਨੂੰ ਡੀਬੱਗ ਕਰਨਾ ਜੋ... ਇੱਕ ਤਰ੍ਹਾਂ ਦੀ ਭਵਿੱਖਬਾਣੀਯੋਗ ਹਨ

ਏਆਈ ਦੁਹਰਾਉਣ ਵਾਲੇ ਪੈਟਰਨਾਂ ਵਿੱਚ ਅਸਾਧਾਰਨ ਤੌਰ 'ਤੇ ਵਧੀਆ ਹੈ। ਅਤੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਦਾ ਇੱਕ ਹਿੱਸਾ ਬਿਲਕੁਲ ਅਜਿਹਾ ਹੀ ਹੈ - ਪੈਟਰਨਾਂ 'ਤੇ ਸਟੈਕ ਕੀਤੇ ਪੈਟਰਨ। GitHub Copilot ਕੋਡ ਸੁਝਾਅ

ਨਾਲ ਹੀ, ਟੂਲਸ ਈਕੋਸਿਸਟਮ ਪਹਿਲਾਂ ਹੀ ਜਟਿਲਤਾ ਨੂੰ "ਲੁਕ" ਰਿਹਾ ਹੈ:

• ਪ੍ਰਬੰਧਿਤ ELT ਕਨੈਕਟਰ ਫਾਈਵਟ੍ਰਾਨ ਦਸਤਾਵੇਜ਼

• ਸਰਵਰਲੈੱਸ ਕੰਪਿਊਟ AWS ਲੈਂਬਡਾ (ਸਰਵਰਲੈੱਸ ਕੰਪਿਊਟ)

• ਇੱਕ-ਕਲਿੱਕ ਵੇਅਰਹਾਊਸ ਪ੍ਰੋਵਿਜ਼ਨਿੰਗ

• ਆਟੋ-ਸਕੇਲਿੰਗ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਅਪਾਚੇ ਏਅਰਫਲੋ ਦਸਤਾਵੇਜ਼

• ਘੋਸ਼ਣਾਤਮਕ ਪਰਿਵਰਤਨ ਫਰੇਮਵਰਕ dbt ਕੀ ਹੈ?

ਇਸ ਲਈ ਜਦੋਂ AI ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਇਹ ਆਖਰੀ ਟੁਕੜੇ ਵਾਂਗ ਮਹਿਸੂਸ ਹੋ ਸਕਦਾ ਹੈ। ਜੇਕਰ ਸਟੈਕ ਪਹਿਲਾਂ ਹੀ ਐਬਸਟਰੈਕਟ ਕੀਤਾ ਗਿਆ ਹੈ, ਅਤੇ AI ਗਲੂ ਕੋਡ ਲਿਖ ਸਕਦਾ ਹੈ... ਤਾਂ ਕੀ ਬਚਿਆ ਹੈ? 🤷

ਪਰ ਇੱਥੇ ਉਹ ਚੀਜ਼ ਹੈ ਜੋ ਲੋਕ ਛੱਡ ਦਿੰਦੇ ਹਨ: ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਮੁੱਖ ਤੌਰ 'ਤੇ ਟਾਈਪਿੰਗ ਨਹੀਂ ਹੈ । ਟਾਈਪਿੰਗ ਆਸਾਨ ਹਿੱਸਾ ਹੈ। ਔਖਾ ਹਿੱਸਾ ਧੁੰਦਲਾ, ਰਾਜਨੀਤਿਕ, ਬਦਲਦਾ ਕਾਰੋਬਾਰੀ ਹਕੀਕਤ ਨੂੰ ਇੱਕ ਭਰੋਸੇਯੋਗ ਸਿਸਟਮ ਵਾਂਗ ਵਿਵਹਾਰ ਕਰਨਾ ਹੈ।

ਅਤੇ ਏਆਈ ਅਜੇ ਵੀ ਉਸ ਧੁੰਦ ਨਾਲ ਜੂਝ ਰਿਹਾ ਹੈ। ਲੋਕ ਵੀ ਜੂਝ ਰਹੇ ਹਨ - ਉਹ ਸਿਰਫ਼ ਬਿਹਤਰ ਢੰਗ ਨਾਲ ਸੁਧਾਰ ਕਰਦੇ ਹਨ।.

---

ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਅਸਲ ਵਿੱਚ ਸਾਰਾ ਦਿਨ ਕੀ ਕਰਦੇ ਹਨ (ਬੇਤੁਕੀ ਸੱਚਾਈ) 🧱

ਆਓ ਸਾਫ਼-ਸਾਫ਼ ਕਹੀਏ - "ਡੇਟਾ ਇੰਜੀਨੀਅਰ" ਦੀ ਨੌਕਰੀ ਦਾ ਸਿਰਲੇਖ ਇਸ ਤਰ੍ਹਾਂ ਲੱਗਦਾ ਹੈ ਜਿਵੇਂ ਤੁਸੀਂ ਸ਼ੁੱਧ ਗਣਿਤ ਤੋਂ ਬਾਹਰ ਰਾਕੇਟ ਇੰਜਣ ਬਣਾ ਰਹੇ ਹੋ। ਅਭਿਆਸ ਵਿੱਚ, ਤੁਸੀਂ ਵਿਸ਼ਵਾਸ ।

ਇੱਕ ਆਮ ਦਿਨ "ਨਵੇਂ ਐਲਗੋਰਿਦਮ ਦੀ ਕਾਢ ਕੱਢਣ" ਤੋਂ ਘੱਟ ਅਤੇ ਹੋਰ ਵੀ ਹੁੰਦਾ ਹੈ:

• ਡਾਟਾ ਪਰਿਭਾਸ਼ਾਵਾਂ ਬਾਰੇ ਅੱਪਸਟ੍ਰੀਮ ਟੀਮਾਂ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨਾ (ਦਰਦਨਾਕ ਪਰ ਜ਼ਰੂਰੀ)

• ਜਾਂਚ ਕਰਨਾ ਕਿ ਇੱਕ ਮੈਟ੍ਰਿਕ ਕਿਉਂ ਬਦਲਿਆ (ਅਤੇ ਕੀ ਇਹ ਅਸਲੀ ਹੈ)

• ਸਕੀਮਾ ਡ੍ਰਿਫਟ ਅਤੇ "ਕਿਸੇ ਨੇ ਅੱਧੀ ਰਾਤ ਨੂੰ ਇੱਕ ਕਾਲਮ ਜੋੜਿਆ" ਹੈਰਾਨੀਆਂ ਨੂੰ ਸੰਭਾਲਣਾ

• ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਕਿ ਪਾਈਪਲਾਈਨਾਂ ਅਯੋਗ, ਰਿਕਵਰੀਯੋਗ, ਦੇਖਣਯੋਗ ਹਨ

• ਗਾਰਡਰੇਲ ਬਣਾਉਣਾ ਤਾਂ ਜੋ ਡਾਊਨਸਟ੍ਰੀਮ ਵਿਸ਼ਲੇਸ਼ਕ ਗਲਤੀ ਨਾਲ ਬਕਵਾਸ ਡੈਸ਼ਬੋਰਡ ਨਾ ਬਣਾਉਣ।

• ਖਰਚਿਆਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨਾ ਤਾਂ ਜੋ ਤੁਹਾਡਾ ਗੋਦਾਮ ਪੈਸੇ ਦੀ ਅੱਗ ਵਿੱਚ ਨਾ ਬਦਲ ਜਾਵੇ 🔥

• ਪਹੁੰਚ, ਆਡਿਟਿੰਗ, ਪਾਲਣਾ, ਧਾਰਨ ਨੀਤੀਆਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨਾ GDPR ਸਿਧਾਂਤ (ਯੂਰਪੀਅਨ ਕਮਿਸ਼ਨ) ਸਟੋਰੇਜ ਸੀਮਾ (ICO)

• ਅਜਿਹੇ ਡੇਟਾ ਉਤਪਾਦ ਬਣਾਉਣਾ ਜਿਨ੍ਹਾਂ ਨੂੰ ਲੋਕ ਅਸਲ ਵਿੱਚ ਤੁਹਾਨੂੰ DM ਕੀਤੇ ਬਿਨਾਂ ਵਰਤ ਸਕਣ 20 ਸਵਾਲ

ਕੰਮ ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਸਮਾਜਿਕ ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਹੈ:

• "ਇਹ ਮੇਜ਼ ਕਿਸਦਾ ਹੈ?"

• "ਕੀ ਇਹ ਪਰਿਭਾਸ਼ਾ ਅਜੇ ਵੀ ਵੈਧ ਹੈ?"

• "CRM ਡੁਪਲੀਕੇਟ ਕਿਉਂ ਨਿਰਯਾਤ ਕਰ ਰਿਹਾ ਹੈ?"

• "ਕੀ ਅਸੀਂ ਇਸ ਮੈਟ੍ਰਿਕ ਨੂੰ ਬਿਨਾਂ ਸ਼ਰਮਿੰਦਗੀ ਦੇ ਅਧਿਕਾਰੀਆਂ ਨੂੰ ਭੇਜ ਸਕਦੇ ਹਾਂ?" 😭

ਯਕੀਨਨ, AI ਇਸ ਦੇ ਕੁਝ ਹਿੱਸਿਆਂ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ। ਪਰ ਇਸਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬਦਲਣਾ... ਇੱਕ ਸਮਾਂ ਹੈ।.

---

ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਭੂਮਿਕਾ ਦਾ ਇੱਕ ਮਜ਼ਬੂਤ ​​ਰੂਪ ਕੀ ਬਣਾਉਂਦਾ ਹੈ? ✅

ਇਹ ਭਾਗ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ ਕਿਉਂਕਿ ਰਿਪਲੇਸਮੈਂਟ ਗੱਲਬਾਤ ਆਮ ਤੌਰ 'ਤੇ ਇਹ ਮੰਨਦੀ ਹੈ ਕਿ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਮੁੱਖ ਤੌਰ 'ਤੇ "ਪਾਈਪਲਾਈਨ ਬਿਲਡਰ" ਹਨ। ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਮੰਨਣ ਵਾਂਗ ਹੈ ਕਿ ਸ਼ੈੱਫ ਮੁੱਖ ਤੌਰ 'ਤੇ "ਸਬਜ਼ੀਆਂ ਕੱਟਦੇ ਹਨ।" ਇਹ ਕੰਮ ਦਾ ਹਿੱਸਾ ਹੈ, ਪਰ ਇਹ ਕੰਮ ਨਹੀਂ ਹੈ।.

ਇੱਕ ਡਾਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਇੱਕ ਦਾ ਆਮ ਤੌਰ 'ਤੇ ਮਤਲਬ ਹੁੰਦਾ ਹੈ ਕਿ ਉਹ ਇਹਨਾਂ ਵਿੱਚੋਂ ਜ਼ਿਆਦਾਤਰ ਕਰ ਸਕਦੇ ਹਨ:

• ਬਦਲਾਅ ਲਈ ਡਿਜ਼ਾਈਨ
  ਡਾਟਾ ਬਦਲਦਾ ਹੈ। ਟੀਮਾਂ ਬਦਲਦੀਆਂ ਹਨ। ਔਜ਼ਾਰ ਬਦਲਦੇ ਹਨ। ਇੱਕ ਚੰਗਾ ਇੰਜੀਨੀਅਰ ਅਜਿਹੇ ਸਿਸਟਮ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਹਰ ਵਾਰ ਹਕੀਕਤ ਦੇ ਛਿੱਕਣ 'ਤੇ ਢਹਿ ਨਹੀਂ ਪੈਂਦੇ 🤧

• ਇਕਰਾਰਨਾਮਿਆਂ ਅਤੇ ਉਮੀਦਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ
  "ਗਾਹਕ" ਦਾ ਕੀ ਅਰਥ ਹੈ? "ਸਰਗਰਮ" ਦਾ ਕੀ ਅਰਥ ਹੈ? ਜਦੋਂ ਕੋਈ ਝਗੜਾ ਦੇਰ ਨਾਲ ਆਉਂਦਾ ਹੈ ਤਾਂ ਕੀ ਹੁੰਦਾ ਹੈ? ਇਕਰਾਰਨਾਮੇ ਫੈਂਸੀ ਕੋਡ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਹਫੜਾ-ਦਫੜੀ ਨੂੰ ਰੋਕਦੇ ਹਨ। ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ (ODCS) ODCS (GitHub)

• ਹਰ ਚੀਜ਼ ਵਿੱਚ ਨਿਰੀਖਣਯੋਗਤਾ ਬਣਾਓ
  ਸਿਰਫ਼ "ਕੀ ਇਹ ਚੱਲਿਆ" ਹੀ ਨਹੀਂ ਸਗੋਂ "ਕੀ ਇਹ ਸਹੀ ਢੰਗ ਨਾਲ ਚੱਲਿਆ।" ਤਾਜ਼ਗੀ, ਵਾਲੀਅਮ ਅਨਿਯਮੀਆਂ, ਨਲ ਵਿਸਫੋਟ, ਵੰਡ ਸ਼ਿਫਟਾਂ। ਡੇਟਾ ਨਿਰੀਖਣਯੋਗਤਾ (ਡਾਇਨਾਟ੍ਰੇਸ) ਡੇਟਾ ਨਿਰੀਖਣਯੋਗਤਾ ਕੀ ਹੈ?

• ਇੱਕ ਬਾਲਗ ਲਈ ਗਤੀ ਬਨਾਮ ਸ਼ੁੱਧਤਾ, ਲਾਗਤ ਬਨਾਮ ਲੇਟੈਂਸੀ, ਲਚਕਤਾ ਬਨਾਮ ਸਾਦਗੀ ਵਰਗੇ ਤਬਾਦਲੇ ਕਰੋ
  । ਕੋਈ ਸੰਪੂਰਨ ਪਾਈਪਲਾਈਨ ਨਹੀਂ ਹੁੰਦੀ, ਸਿਰਫ਼ ਉਹੀ ਪਾਈਪਲਾਈਨਾਂ ਹੁੰਦੀਆਂ ਹਨ ਜਿਨ੍ਹਾਂ ਨਾਲ ਤੁਸੀਂ ਰਹਿ ਸਕਦੇ ਹੋ।

• ਕਾਰੋਬਾਰੀ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਟਿਕਾਊ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਬਦਲੋ
  ਲੋਕ ਮੈਟ੍ਰਿਕਸ ਦੀ ਮੰਗ ਕਰਦੇ ਹਨ, ਪਰ ਉਹਨਾਂ ਨੂੰ ਇੱਕ ਡੇਟਾ ਉਤਪਾਦ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। AI ਕੋਡ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਇਹ ਜਾਦੂਈ ਢੰਗ ਨਾਲ ਕਾਰੋਬਾਰੀ ਬਾਰੂਦੀ ਸੁਰੰਗਾਂ ਨੂੰ ਨਹੀਂ ਜਾਣ ਸਕਦਾ।

• ਡੇਟਾ ਨੂੰ ਚੁੱਪ ਰੱਖੋ
  ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਦੀ ਸਭ ਤੋਂ ਵੱਡੀ ਪ੍ਰਸ਼ੰਸਾ ਇਹ ਹੈ ਕਿ ਕੋਈ ਵੀ ਇਸ ਬਾਰੇ ਗੱਲ ਨਹੀਂ ਕਰਦਾ। ਅਣਸੁਖਾਵਾਂ ਡੇਟਾ ਚੰਗਾ ਡੇਟਾ ਹੁੰਦਾ ਹੈ। ਪਲੰਬਿੰਗ ਵਾਂਗ। ਤੁਸੀਂ ਇਸਨੂੰ ਸਿਰਫ਼ ਉਦੋਂ ਹੀ ਦੇਖਦੇ ਹੋ ਜਦੋਂ ਇਹ ਅਸਫਲ ਹੋ ਜਾਂਦਾ ਹੈ 🚽

ਜੇਕਰ ਤੁਸੀਂ ਇਹ ਕੰਮ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਇਹ ਸਵਾਲ "ਕੀ AI ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?" ਥੋੜ੍ਹਾ ਜਿਹਾ ਬੇਢੰਗਾ ਲੱਗਣ ਲੱਗਦਾ ਹੈ... AI ਕੰਮਾਂ ਦੀ , ਮਾਲਕੀ ਦੀ ।

---

ਜਿੱਥੇ AI ਪਹਿਲਾਂ ਹੀ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਮਦਦ ਕਰ ਰਿਹਾ ਹੈ (ਅਤੇ ਇਹ ਸੱਚਮੁੱਚ ਬਹੁਤ ਵਧੀਆ ਹੈ) 🤖✨

ਏਆਈ ਸਿਰਫ਼ ਮਾਰਕੀਟਿੰਗ ਨਹੀਂ ਹੈ। ਚੰਗੀ ਤਰ੍ਹਾਂ ਵਰਤਿਆ ਗਿਆ, ਇਹ ਇੱਕ ਜਾਇਜ਼ ਫੋਰਸ ਗੁਣਕ ਹੈ।.

1) ਤੇਜ਼ SQL ਅਤੇ ਪਰਿਵਰਤਨ ਕੰਮ

• ਕੰਪਲੈਕਸ ਜੋੜਾਂ ਦਾ ਖਰੜਾ ਤਿਆਰ ਕਰਨਾ

• ਵਿੰਡੋ ਫੰਕਸ਼ਨ ਲਿਖਣਾ ਜਿਨ੍ਹਾਂ ਬਾਰੇ ਤੁਸੀਂ ਨਹੀਂ ਸੋਚਣਾ ਚਾਹੋਗੇ

• ਸਾਦੇ-ਭਾਸ਼ਾਈ ਤਰਕ ਨੂੰ ਪੁੱਛਗਿੱਛ ਦੇ ਪਿੰਜਰਾਂ ਵਿੱਚ ਬਦਲਣਾ

• SQL ਲਈ ਪੜ੍ਹਨਯੋਗ CTEs GitHub Copilot ਵਿੱਚ ਬਦਸੂਰਤ ਸਵਾਲਾਂ ਨੂੰ ਰੀਫੈਕਟਰ ਕਰਨਾ

ਇਹ ਬਹੁਤ ਵੱਡਾ ਹੈ ਕਿਉਂਕਿ ਇਹ "ਖਾਲੀ ਪੰਨਾ" ਪ੍ਰਭਾਵ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ, ਪਰ ਤੁਸੀਂ 0% ਦੀ ਬਜਾਏ 70% ਤੋਂ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋ।.

2) ਡੀਬੱਗਿੰਗ ਅਤੇ ਰੂਟ ਕਾਰਨ ਬਰੈੱਡਕ੍ਰੰਬਸ

AI ਇਹਨਾਂ ਗੱਲਾਂ ਵਿੱਚ ਠੀਕ ਹੈ:

• ਗਲਤੀ ਸੁਨੇਹਿਆਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨਾ

• ਸੁਝਾਅ ਦੇਣਾ ਕਿ ਕਿੱਥੇ ਦੇਖਣਾ ਹੈ

• "ਚੈੱਕ ਸਕੀਮਾ ਮਿਸਮੈਚ" ਕਿਸਮ ਦੇ ਕਦਮਾਂ ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕਰਨਾ GitHub Copilot
  ਇਹ ਇੱਕ ਅਣਥੱਕ ਜੂਨੀਅਰ ਇੰਜੀਨੀਅਰ ਵਰਗਾ ਹੈ ਜੋ ਕਦੇ ਨਹੀਂ ਸੌਂਦਾ ਅਤੇ ਕਈ ਵਾਰ ਵਿਸ਼ਵਾਸ ਨਾਲ ਝੂਠ ਬੋਲਦਾ ਹੈ 😅

3) ਦਸਤਾਵੇਜ਼ ਅਤੇ ਡੇਟਾ ਕੈਟਾਲਾਗ ਨੂੰ ਵਧਾਉਣਾ

ਸਵੈ-ਉਤਪੰਨ:

• ਕਾਲਮ ਵਰਣਨ

• ਮਾਡਲ ਸਾਰਾਂਸ਼

• ਵੰਸ਼ ਵਿਆਖਿਆਵਾਂ

• "ਇਹ ਟੇਬਲ ਕਿਸ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ?" ਡਰਾਫਟ ਡੀਬੀਟੀ ਦਸਤਾਵੇਜ਼

ਇਹ ਸੰਪੂਰਨ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਗੈਰ-ਦਸਤਾਵੇਜ਼ੀ ਪਾਈਪਲਾਈਨਾਂ ਦੇ ਸਰਾਪ ਨੂੰ ਤੋੜਦਾ ਹੈ।.

4) ਟੈਸਟ ਸਕੈਫੋਲਡਿੰਗ ਅਤੇ ਜਾਂਚਾਂ

AI ਪ੍ਰਸਤਾਵਿਤ ਕਰ ਸਕਦਾ ਹੈ:

• ਮੁੱਢਲੇ ਨਲ ਟੈਸਟ

• ਵਿਲੱਖਣਤਾ ਜਾਂਚਾਂ

• ਰੈਫਰੈਂਸ਼ੀਅਲ ਇਕਸਾਰਤਾ ਦੇ ਵਿਚਾਰ

• "ਇਹ ਮੈਟ੍ਰਿਕ ਕਦੇ ਵੀ ਘੱਟ ਨਹੀਂ ਹੋਣਾ ਚਾਹੀਦਾ" ਸ਼ੈਲੀ ਦੇ ਦਾਅਵੇ dbt ਡੇਟਾ ਟੈਸਟ ਮਹਾਨ ਉਮੀਦਾਂ: ਉਮੀਦਾਂ

ਦੁਬਾਰਾ - ਤੁਸੀਂ ਅਜੇ ਵੀ ਫੈਸਲਾ ਕਰਦੇ ਹੋ ਕਿ ਕੀ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਪਰ ਇਹ ਰੁਟੀਨ ਹਿੱਸਿਆਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ।.

5) ਪਾਈਪਲਾਈਨ "ਗੂੰਦ" ਕੋਡ

ਕੌਂਫਿਗ ਟੈਂਪਲੇਟ, YAML ਸਕੈਫੋਲਡ, ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ DAG ਡਰਾਫਟ। ਉਹ ਚੀਜ਼ਾਂ ਦੁਹਰਾਉਣ ਵਾਲੀਆਂ ਹਨ ਅਤੇ AI ਨਾਸ਼ਤੇ ਵਿੱਚ ਦੁਹਰਾਉਣ ਵਾਲੀਆਂ ਚੀਜ਼ਾਂ ਖਾਂਦਾ ਹੈ 🥣 ਅਪਾਚੇ ਏਅਰਫਲੋ DAGs

---

ਜਿੱਥੇ AI ਅਜੇ ਵੀ ਸੰਘਰਸ਼ ਕਰ ਰਿਹਾ ਹੈ (ਅਤੇ ਇਹ ਇਸਦਾ ਮੂਲ ਹੈ) 🧠🧩

ਇਹ ਉਹ ਹਿੱਸਾ ਹੈ ਜੋ ਸਭ ਤੋਂ ਵੱਧ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਅਸਲ ਬਣਤਰ ਨਾਲ ਬਦਲਵੇਂ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ।.

1) ਅਸਪਸ਼ਟਤਾ ਅਤੇ ਬਦਲਦੀਆਂ ਪਰਿਭਾਸ਼ਾਵਾਂ

ਕਾਰੋਬਾਰੀ ਤਰਕ ਬਹੁਤ ਘੱਟ ਹੀ ਸਪੱਸ਼ਟ ਹੁੰਦਾ ਹੈ। ਲੋਕ ਵਾਕ ਦੇ ਵਿਚਕਾਰ ਆਪਣਾ ਮਨ ਬਦਲ ਲੈਂਦੇ ਹਨ। "ਐਕਟਿਵ ਯੂਜ਼ਰ" "ਐਕਟਿਵ ਪੇਇੰਗ ਯੂਜ਼ਰ" ਬਣ ਜਾਂਦਾ ਹੈ "ਐਕਟਿਵ ਪੇਇੰਗ ਯੂਜ਼ਰ, ਰਿਫੰਡ ਨੂੰ ਛੱਡ ਕੇ, ਕਦੇ-ਕਦੇ"... ਤੁਸੀਂ ਜਾਣਦੇ ਹੋ ਕਿ ਇਹ ਕਿਵੇਂ ਹੈ।.

ਏਆਈ ਇਸ ਅਸਪਸ਼ਟਤਾ ਨੂੰ ਸਵੀਕਾਰ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਇਹ ਸਿਰਫ਼ ਅੰਦਾਜ਼ਾ ਲਗਾ ਸਕਦਾ ਹੈ।.

2) ਜਵਾਬਦੇਹੀ ਅਤੇ ਜੋਖਮ

ਜਦੋਂ ਕੋਈ ਪਾਈਪਲਾਈਨ ਟੁੱਟ ਜਾਂਦੀ ਹੈ ਅਤੇ ਐਗਜ਼ੀਕਿਊਟਿਵ ਡੈਸ਼ਬੋਰਡ ਬਕਵਾਸ ਦਿਖਾਉਂਦਾ ਹੈ, ਤਾਂ ਕਿਸੇ ਨੂੰ ਇਹ ਕਰਨਾ ਪੈਂਦਾ ਹੈ:

• ਟ੍ਰਾਈਏਜ

• ਪ੍ਰਭਾਵ ਸੰਚਾਰ ਕਰੋ

• ਇਸਨੂੰ ਠੀਕ ਕਰੋ

• ਦੁਬਾਰਾ ਹੋਣ ਤੋਂ ਰੋਕੋ

• ਪੋਸਟਮਾਰਟਮ ਲਿਖੋ

• ਫੈਸਲਾ ਕਰੋ ਕਿ ਕੀ ਕਾਰੋਬਾਰ ਅਜੇ ਵੀ ਪਿਛਲੇ ਹਫ਼ਤੇ ਦੇ ਅੰਕੜਿਆਂ 'ਤੇ ਭਰੋਸਾ ਕਰ ਸਕਦਾ ਹੈ

ਏਆਈ ਸਹਾਇਤਾ ਕਰ ਸਕਦੀ ਹੈ, ਪਰ ਇਹ ਅਰਥਪੂਰਨ ਤਰੀਕੇ ਨਾਲ ਜਵਾਬਦੇਹ ਨਹੀਂ ਹੋ ਸਕਦੀ। ਸੰਸਥਾਵਾਂ ਵਾਈਬਸ 'ਤੇ ਨਹੀਂ ਚੱਲਦੀਆਂ - ਉਹ ਜ਼ਿੰਮੇਵਾਰੀ 'ਤੇ ਚੱਲਦੀਆਂ ਹਨ।.

3) ਸਿਸਟਮ ਸੋਚ

ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਈਕੋਸਿਸਟਮ ਹਨ: ਇੰਜੈਸ਼ਨ, ਸਟੋਰੇਜ, ਪਰਿਵਰਤਨ, ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ, ਗਵਰਨੈਂਸ, ਲਾਗਤ ਨਿਯੰਤਰਣ, SLA। ਇੱਕ ਪਰਤ ਲਹਿਰਾਂ ਵਿੱਚ ਤਬਦੀਲੀ। ਅਪਾਚੇ ਏਅਰਫਲੋ ਸੰਕਲਪ

ਏਆਈ ਸਥਾਨਕ ਅਨੁਕੂਲਤਾਵਾਂ ਦਾ ਪ੍ਰਸਤਾਵ ਦੇ ਸਕਦਾ ਹੈ ਜੋ ਗਲੋਬਲ ਦਰਦ ਪੈਦਾ ਕਰਦੇ ਹਨ। ਇਹ ਦਰਵਾਜ਼ਾ ਹਟਾ ਕੇ ਚੀਕਣ ਵਾਲੇ ਦਰਵਾਜ਼ੇ ਨੂੰ ਠੀਕ ਕਰਨ ਵਰਗਾ ਹੈ 😬

4) ਸੁਰੱਖਿਆ, ਗੋਪਨੀਯਤਾ, ਪਾਲਣਾ

ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਬਦਲ ਦੀਆਂ ਕਲਪਨਾਵਾਂ ਮਰ ਜਾਂਦੀਆਂ ਹਨ।.

• ਪਹੁੰਚ ਨਿਯੰਤਰਣ

• ਕਤਾਰ-ਪੱਧਰ ਸੁਰੱਖਿਆ ਸਨੋਫਲੇਕ ਕਤਾਰ ਪਹੁੰਚ ਨੀਤੀਆਂ BigQuery ਕਤਾਰ-ਪੱਧਰ ਸੁਰੱਖਿਆ

• PII NIST ਗੋਪਨੀਯਤਾ ਫਰੇਮਵਰਕ ਨੂੰ

• ਧਾਰਨ ਨਿਯਮ ਸਟੋਰੇਜ ਸੀਮਾ (ICO) ਧਾਰਨ 'ਤੇ EU ਮਾਰਗਦਰਸ਼ਨ

• ਆਡਿਟ ਟ੍ਰੇਲਜ਼ NIST SP 800-92 (ਲੌਗ ਪ੍ਰਬੰਧਨ) CIS ਕੰਟਰੋਲ 8 (ਆਡਿਟ ਲਾਗ ਪ੍ਰਬੰਧਨ)

• ਡਾਟਾ ਰੈਜ਼ੀਡੈਂਸੀ ਪਾਬੰਦੀਆਂ

ਏਆਈ ਨੀਤੀਆਂ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਉਹਨਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਲਾਗੂ ਕਰਨਾ ਅਸਲ ਇੰਜੀਨੀਅਰਿੰਗ ਹੈ।.

5) "ਅਣਜਾਣ ਅਣਜਾਣ"

ਡੇਟਾ ਘਟਨਾਵਾਂ ਅਕਸਰ ਅਣਪਛਾਤੀਆਂ ਹੁੰਦੀਆਂ ਹਨ:

• ਇੱਕ ਵਿਕਰੇਤਾ API ਚੁੱਪਚਾਪ ਅਰਥ ਸ਼ਾਸਤਰ ਬਦਲਦਾ ਹੈ

• ਇੱਕ ਸਮਾਂ-ਖੇਤਰ ਧਾਰਨਾ ਪਲਟ ਜਾਂਦੀ ਹੈ

• ਇੱਕ ਬੈਕਫਿਲ ਇੱਕ ਭਾਗ ਦੀ ਨਕਲ ਕਰਦਾ ਹੈ

• ਇੱਕ ਮੁੜ ਕੋਸ਼ਿਸ਼ ਵਿਧੀ ਦੋਹਰੇ ਲਿਖਣ ਦਾ ਕਾਰਨ ਬਣਦੀ ਹੈ

• ਇੱਕ ਨਵੀਂ ਉਤਪਾਦ ਵਿਸ਼ੇਸ਼ਤਾ ਨਵੇਂ ਇਵੈਂਟ ਪੈਟਰਨ ਪੇਸ਼ ਕਰਦੀ ਹੈ

ਜਦੋਂ ਸਥਿਤੀ ਇੱਕ ਜਾਣਿਆ-ਪਛਾਣਿਆ ਪੈਟਰਨ ਨਹੀਂ ਹੁੰਦੀ ਤਾਂ AI ਕਮਜ਼ੋਰ ਹੁੰਦਾ ਹੈ।.

---

ਤੁਲਨਾ ਸਾਰਣੀ: ਅਭਿਆਸ ਵਿੱਚ ਕੀ ਘਟ ਰਿਹਾ ਹੈ 🧾🤔

ਹੇਠਾਂ ਇੱਕ ਵਿਹਾਰਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਹੈ। "ਲੋਕਾਂ ਦੀ ਥਾਂ ਲੈਣ ਵਾਲੇ ਔਜ਼ਾਰ" ਨਹੀਂ, ਸਗੋਂ ਔਜ਼ਾਰ ਅਤੇ ਪਹੁੰਚ ਜੋ ਕੁਝ ਖਾਸ ਕੰਮਾਂ ਨੂੰ ਸੁੰਗੜਦੇ ਹਨ।.

ਔਜ਼ਾਰ / ਪਹੁੰਚ	ਦਰਸ਼ਕ	ਕੀਮਤ ਦਾ ਮਾਹੌਲ	ਇਹ ਕਿਉਂ ਕੰਮ ਕਰਦਾ ਹੈ
ਏਆਈ ਕੋਡ ਕੋਪਾਇਲਟ (SQL + ਪਾਈਥਨ ਸਹਾਇਕ) GitHub ਕੋਪਾਇਲਟ	ਇੰਜੀਨੀਅਰ ਜੋ ਬਹੁਤ ਸਾਰਾ ਕੋਡ ਲਿਖਦੇ ਹਨ	ਮੁਫ਼ਤ ਤੋਂ ਭੁਗਤਾਨ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ	ਸਕੈਫੋਲਡਿੰਗ, ਰਿਫੈਕਟਰ, ਸਿੰਟੈਕਸ ਵਿੱਚ ਬਹੁਤ ਵਧੀਆ... ਕਈ ਵਾਰ ਬਹੁਤ ਹੀ ਖਾਸ ਤਰੀਕੇ ਨਾਲ ਸਮਝਿਆ ਜਾਂਦਾ ਹੈ
ਪ੍ਰਬੰਧਿਤ ELT ਕਨੈਕਟਰ ਫਾਈਵਟ੍ਰਾਨ	ਟੀਮਾਂ ਇੰਜੈਸ਼ਨ ਬਣਾਉਣ ਤੋਂ ਥੱਕ ਗਈਆਂ ਹਨ	ਗਾਹਕੀ-y	ਕਸਟਮ ਇੰਜੈਸ਼ਨ ਦਰਦ ਨੂੰ ਦੂਰ ਕਰਦਾ ਹੈ, ਪਰ ਮਜ਼ੇਦਾਰ ਨਵੇਂ ਤਰੀਕਿਆਂ ਨਾਲ ਟੁੱਟਦਾ ਹੈ
ਡਾਟਾ ਨਿਰੀਖਣਯੋਗਤਾ ਪਲੇਟਫਾਰਮ ਡਾਟਾ ਨਿਰੀਖਣਯੋਗਤਾ (ਡਾਇਨਾਟ੍ਰੇਸ)	SLAs ਦਾ ਮਾਲਕ ਕੋਈ ਵੀ ਵਿਅਕਤੀ	ਮਿਡ ਟੂ ਐਂਟਰਪ੍ਰਾਈਜ਼	ਅਸਧਾਰਨਤਾਵਾਂ ਨੂੰ ਜਲਦੀ ਫੜਦਾ ਹੈ - ਜਿਵੇਂ ਕਿ ਪਾਈਪਲਾਈਨਾਂ ਲਈ ਧੂੰਏਂ ਦੇ ਅਲਾਰਮ 🔔
ਪਰਿਵਰਤਨ ਫਰੇਮਵਰਕ (ਘੋਸ਼ਣਾਤਮਕ ਮਾਡਲਿੰਗ) dbt	ਵਿਸ਼ਲੇਸ਼ਣ + ਡੀਈ ਹਾਈਬ੍ਰਿਡ	ਆਮ ਤੌਰ 'ਤੇ ਟੂਲ + ਕੰਪਿਊਟ	ਤਰਕ ਨੂੰ ਮਾਡਯੂਲਰ ਅਤੇ ਟੈਸਟੇਬਲ ਬਣਾਉਂਦਾ ਹੈ, ਘੱਟ ਸਪੈਗੇਟੀ
ਡੇਟਾ ਕੈਟਾਲਾਗ + ਸਿਮੈਂਟਿਕ ਲੇਅਰਸ dbt ਸਿਮੈਂਟਿਕ ਲੇਅਰ	ਮੈਟ੍ਰਿਕ ਉਲਝਣ ਵਾਲੀਆਂ ਸੰਸਥਾਵਾਂ	ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਅਭਿਆਸ ਵਿੱਚ	"ਸੱਚ" ਨੂੰ ਇੱਕ ਵਾਰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ - ਬੇਅੰਤ ਮੀਟ੍ਰਿਕ ਬਹਿਸਾਂ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ
ਟੈਂਪਲੇਟਸ ਨਾਲ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਅਪਾਚੇ ਏਅਰਫਲੋ	ਪਲੇਟਫਾਰਮ-ਦਿਮਾਗੀ ਟੀਮਾਂ	ਓਪਨ + ਓਪਸ ਲਾਗਤ	ਵਰਕਫਲੋ ਨੂੰ ਮਿਆਰੀ ਬਣਾਉਂਦਾ ਹੈ; ਘੱਟ ਸਨੋਫਲੇਕ DAG
ਏਆਈ-ਸਹਾਇਤਾ ਪ੍ਰਾਪਤ ਦਸਤਾਵੇਜ਼ ਡੀਬੀਟੀ ਦਸਤਾਵੇਜ਼ ਜਨਰੇਸ਼ਨ	ਉਹ ਟੀਮਾਂ ਜੋ ਦਸਤਾਵੇਜ਼ ਲਿਖਣ ਤੋਂ ਨਫ਼ਰਤ ਕਰਦੀਆਂ ਹਨ	ਸਸਤਾ ਤੋਂ ਦਰਮਿਆਨਾ	"ਕਾਫ਼ੀ ਵਧੀਆ" ਦਸਤਾਵੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ ਤਾਂ ਜੋ ਗਿਆਨ ਅਲੋਪ ਨਾ ਹੋਵੇ
ਆਟੋਮੇਟਿਡ ਗਵਰਨੈਂਸ ਨੀਤੀਆਂ NIST ਗੋਪਨੀਯਤਾ ਢਾਂਚਾ	ਨਿਯੰਤ੍ਰਿਤ ਵਾਤਾਵਰਣ	ਐਂਟਰਪ੍ਰਾਈਜ਼-ਵਾਈ	ਨਿਯਮਾਂ ਨੂੰ ਲਾਗੂ ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ - ਪਰ ਫਿਰ ਵੀ ਨਿਯਮਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਮਨੁੱਖਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਧਿਆਨ ਦਿਓ ਕਿ ਕੀ ਗੁੰਮ ਹੈ: ਇੱਕ ਕਤਾਰ ਜੋ ਕਹਿੰਦੀ ਹੈ "ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਹਟਾਉਣ ਲਈ ਬਟਨ ਦਬਾਓ।" ਹਾਂ... ਉਹ ਕਤਾਰ ਮੌਜੂਦ ਨਹੀਂ ਹੈ 🙃

---

ਤਾਂ... ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ, ਜਾਂ ਸਿਰਫ਼ ਭੂਮਿਕਾ ਬਦਲ ਦੇਵੇਗਾ? 🛠️

ਇੱਥੇ ਗੈਰ-ਨਾਟਕੀ ਜਵਾਬ ਹੈ: AI ਵਰਕਫਲੋ ਦੇ ਹਿੱਸਿਆਂ ਨੂੰ ਬਦਲ ਦੇਵੇਗਾ, ਪੇਸ਼ੇ ਨੂੰ ਨਹੀਂ।

ਪਰ ਇਹ ਕਰੇਗਾ । ਅਤੇ ਜੇ ਤੁਸੀਂ ਇਸਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਦਬਾਅ ਮਹਿਸੂਸ ਹੋਵੇਗਾ।

ਕੀ ਬਦਲਾਅ:

• ਬਾਇਲਰਪਲੇਟ ਲਿਖਣ ਵਿੱਚ ਘੱਟ ਸਮਾਂ

• ਦਸਤਾਵੇਜ਼ਾਂ ਦੀ ਖੋਜ ਕਰਨ ਵਿੱਚ ਘੱਟ ਸਮਾਂ

• ਸਮੀਖਿਆ ਕਰਨ, ਪ੍ਰਮਾਣਿਤ ਕਰਨ, ਡਿਜ਼ਾਈਨ ਕਰਨ ਲਈ ਵਧੇਰੇ ਸਮਾਂ

• ਇਕਰਾਰਨਾਮਿਆਂ ਅਤੇ ਗੁਣਵੱਤਾ ਦੀਆਂ ਉਮੀਦਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਲਈ ਵਧੇਰੇ ਸਮਾਂ ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ (ODCS)

• ਉਤਪਾਦ, ਸੁਰੱਖਿਆ, ਵਿੱਤ ਨਾਲ ਵਧੇਰੇ ਸਮਾਂ ਸਾਂਝੇਦਾਰੀ ਕਰੋ

ਇਹ ਸੂਖਮ ਤਬਦੀਲੀ ਹੈ: ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ "ਪਾਈਪਲਾਈਨਾਂ ਬਣਾਉਣ" ਬਾਰੇ ਘੱਟ ਅਤੇ "ਇੱਕ ਭਰੋਸੇਯੋਗ ਡੇਟਾ ਉਤਪਾਦ ਪ੍ਰਣਾਲੀ ਬਣਾਉਣ" ਬਾਰੇ ਵਧੇਰੇ ਬਣ ਜਾਂਦੀ ਹੈ।

ਅਤੇ ਇੱਕ ਸ਼ਾਂਤ ਮੋੜ ਵਿੱਚ, ਇਹ ਵਧੇਰੇ ਕੀਮਤੀ ਹੈ, ਘੱਟ ਨਹੀਂ।.

ਨਾਲ ਹੀ - ਅਤੇ ਮੈਂ ਇਹ ਕਹਿਣ ਜਾ ਰਿਹਾ ਹਾਂ ਭਾਵੇਂ ਇਹ ਨਾਟਕੀ ਲੱਗਦਾ ਹੈ - AI ਉਹਨਾਂ ਲੋਕਾਂ ਦੀ ਗਿਣਤੀ ਵਧਾਉਂਦਾ ਹੈ ਜੋ ਡੇਟਾ ਆਰਟੀਫੈਕਟ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹਨ , ਜਿਸ ਨਾਲ ਪੂਰੀ ਚੀਜ਼ ਨੂੰ ਸਹੀ ਰੱਖਣ ਲਈ ਕਿਸੇ ਦੀ ਜ਼ਰੂਰਤ ਵੱਧ ਜਾਂਦੀ ਹੈ। ਵਧੇਰੇ ਆਉਟਪੁੱਟ ਦਾ ਅਰਥ ਹੈ ਵਧੇਰੇ ਸੰਭਾਵੀ ਉਲਝਣ। GitHub Copilot

ਇਹ ਸਾਰਿਆਂ ਨੂੰ ਪਾਵਰ ਡ੍ਰਿਲ ਦੇਣ ਵਰਗਾ ਹੈ। ਬਹੁਤ ਵਧੀਆ! ਹੁਣ ਕਿਸੇ ਨੂੰ "ਕਿਰਪਾ ਕਰਕੇ ਪਾਣੀ ਦੀ ਪਾਈਪ ਵਿੱਚ ਡ੍ਰਿਲ ਨਾ ਕਰੋ" ਨਿਯਮ ਲਾਗੂ ਕਰਨ ਦੀ ਲੋੜ ਹੈ 🪠

---

ਨਵਾਂ ਹੁਨਰ ਸਟੈਕ ਜੋ ਕੀਮਤੀ ਰਹਿੰਦਾ ਹੈ (ਹਰ ਥਾਂ AI ਹੋਣ ਦੇ ਬਾਵਜੂਦ) 🧠⚙️

ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਵਿਹਾਰਕ "ਭਵਿੱਖ-ਸਬੂਤ" ਚੈੱਕਲਿਸਟ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ:

ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਮਾਨਸਿਕਤਾ

• ਡਾਟਾ ਮਾਡਲਿੰਗ ਜੋ ਬਦਲਾਅ ਤੋਂ ਬਚਦੀ ਹੈ

• ਬੈਚ ਬਨਾਮ ਸਟ੍ਰੀਮਿੰਗ ਟ੍ਰੇਡਆਫ

• ਦੇਰੀ, ਲਾਗਤ, ਭਰੋਸੇਯੋਗਤਾ ਬਾਰੇ ਸੋਚ

ਡਾਟਾ ਕੁਆਲਿਟੀ ਇੰਜੀਨੀਅਰਿੰਗ

• ਇਕਰਾਰਨਾਮੇ, ਪ੍ਰਮਾਣਿਕਤਾਵਾਂ, ਅਨਿਯਮਤਾ ਖੋਜ ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ (ODCS) ਡੇਟਾ ਨਿਰੀਖਣਯੋਗਤਾ (ਡਾਇਨਾਟ੍ਰੇਸ)

• SLA, SLO, ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ ਆਦਤਾਂ

• ਅਨੁਸ਼ਾਸਨ ਨਾਲ ਮੂਲ ਕਾਰਨ ਵਿਸ਼ਲੇਸ਼ਣ (ਵਾਈਬਸ ਨਹੀਂ)

ਸ਼ਾਸਨ ਅਤੇ ਟਰੱਸਟ ਆਰਕੀਟੈਕਚਰ

• ਪੈਟਰਨਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰੋ

• ਆਡਿਟਯੋਗਤਾ NIST SP 800-92 (ਲੌਗ ਪ੍ਰਬੰਧਨ)

• ਡਿਜ਼ਾਈਨ ਅਨੁਸਾਰ ਗੋਪਨੀਯਤਾ NIST ਗੋਪਨੀਯਤਾ ਫਰੇਮਵਰਕ

• ਡਾਟਾ ਜੀਵਨਚੱਕਰ ਪ੍ਰਬੰਧਨ ਧਾਰਨ 'ਤੇ EU ਮਾਰਗਦਰਸ਼ਨ

ਪਲੇਟਫਾਰਮ ਸੋਚ

• ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਟੈਂਪਲੇਟ, ਸੁਨਹਿਰੀ ਰਸਤੇ

• ਇੰਜੈਸ਼ਨ, ਟ੍ਰਾਂਸਫਾਰਮ, ਟੈਸਟਿੰਗ ਫਾਈਵਟ੍ਰਾਨ ਡੀਬੀਟੀ ਡੇਟਾ ਟੈਸਟਾਂ

• ਸਵੈ-ਸੇਵਾ ਟੂਲਿੰਗ ਜੋ ਪਿਘਲਦੀ ਨਹੀਂ ਹੈ

ਸੰਚਾਰ (ਹਾਂ, ਸੱਚਮੁੱਚ)

• ਸਪੱਸ਼ਟ ਦਸਤਾਵੇਜ਼ ਲਿਖਣਾ

• ਪਰਿਭਾਸ਼ਾਵਾਂ ਨੂੰ ਇਕਸਾਰ ਕਰਨਾ

• ਨਿਮਰਤਾ ਨਾਲ ਪਰ ਦ੍ਰਿੜਤਾ ਨਾਲ "ਨਹੀਂ" ਕਹਿਣਾ

• ਰੋਬੋਟ ਵਾਂਗ ਆਵਾਜ਼ ਕੀਤੇ ਬਿਨਾਂ ਸੌਦੇਬਾਜ਼ੀ ਬਾਰੇ ਸਮਝਾਉਣਾ 🤖

ਜੇਕਰ ਤੁਸੀਂ ਇਹ ਕਰ ਸਕਦੇ ਹੋ, ਤਾਂ "ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?" ਇਹ ਸਵਾਲ ਘੱਟ ਖ਼ਤਰਾ ਬਣ ਜਾਂਦਾ ਹੈ। ਏਆਈ ਤੁਹਾਡਾ ਐਕਸੋਸਕੇਲਟਨ ਬਣ ਜਾਂਦਾ ਹੈ, ਤੁਹਾਡਾ ਬਦਲ ਨਹੀਂ।.

---

ਯਥਾਰਥਵਾਦੀ ਦ੍ਰਿਸ਼ ਜਿੱਥੇ ਕੁਝ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਭੂਮਿਕਾਵਾਂ ਸੁੰਗੜ ਜਾਂਦੀਆਂ ਹਨ 📉

ਠੀਕ ਹੈ, ਜਲਦੀ ਅਸਲੀਅਤ ਦੀ ਜਾਂਚ ਕਰੋ, ਕਿਉਂਕਿ ਇਹ ਸਭ ਧੁੱਪ ਅਤੇ ਇਮੋਜੀ ਕੰਫੇਟੀ ਨਹੀਂ ਹੈ 🎉

ਕੁਝ ਭੂਮਿਕਾਵਾਂ ਵਧੇਰੇ ਉਜਾਗਰ ਹੁੰਦੀਆਂ ਹਨ:

• ਸ਼ੁੱਧ ਇੰਜੈਸ਼ਨ-ਸਿਰਫ਼ ਭੂਮਿਕਾਵਾਂ ਜਿੱਥੇ ਸਭ ਕੁਝ ਮਿਆਰੀ ਕਨੈਕਟਰ ਹੈ ਫਾਈਵਟ੍ਰਾਨ ਕਨੈਕਟਰ

• ਟੀਮਾਂ ਘੱਟੋ-ਘੱਟ ਡੋਮੇਨ ਸੂਖਮਤਾ ਦੇ ਨਾਲ ਜ਼ਿਆਦਾਤਰ ਦੁਹਰਾਉਣ ਵਾਲੀਆਂ ਰਿਪੋਰਟਿੰਗ ਪਾਈਪਲਾਈਨਾਂ ਕਰ ਰਹੀਆਂ ਹਨ

• ਉਹ ਸੰਗਠਨ ਜਿੱਥੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਨੂੰ "SQL ਬਾਂਦਰ" ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ (ਕਠੋਰ, ਪਰ ਸੱਚ)

• ਘੱਟ-ਮਾਲਕੀਅਤ ਵਾਲੀਆਂ ਨੌਕਰੀਆਂ ਜਿੱਥੇ ਨੌਕਰੀ ਸਿਰਫ਼ ਟਿਕਟਾਂ ਅਤੇ ਕਾਪੀ-ਪੇਸਟ ਹੈ

ਏਆਈ ਪਲੱਸ ਪ੍ਰਬੰਧਿਤ ਟੂਲਿੰਗ ਉਨ੍ਹਾਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਘਟਾ ਸਕਦੀ ਹੈ।.

ਪਰ ਉੱਥੇ ਵੀ, ਬਦਲੀ ਆਮ ਤੌਰ 'ਤੇ ਇਸ ਤਰ੍ਹਾਂ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ:

• ਘੱਟ ਲੋਕ ਇੱਕੋ ਜਿਹਾ ਕੰਮ ਦੁਹਰਾਉਂਦੇ ਹਨ

• ਪਲੇਟਫਾਰਮ ਮਾਲਕੀ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ 'ਤੇ ਵਧੇਰੇ ਜ਼ੋਰ

• "ਇੱਕ ਵਿਅਕਤੀ ਹੋਰ ਪਾਈਪਲਾਈਨਾਂ ਦਾ ਸਮਰਥਨ ਕਰ ਸਕਦਾ ਹੈ" ਵੱਲ ਇੱਕ ਤਬਦੀਲੀ

ਤਾਂ ਹਾਂ - ਗਿਣਤੀ ਦੇ ਪੈਟਰਨ ਬਦਲ ਸਕਦੇ ਹਨ। ਭੂਮਿਕਾਵਾਂ ਵਿਕਸਤ ਹੁੰਦੀਆਂ ਹਨ। ਸਿਰਲੇਖ ਬਦਲਦੇ ਹਨ। ਉਹ ਹਿੱਸਾ ਅਸਲੀ ਹੈ।.

ਫਿਰ ਵੀ, ਭੂਮਿਕਾ ਦਾ ਉੱਚ-ਮਾਲਕੀਅਤ, ਉੱਚ-ਵਿਸ਼ਵਾਸ ਵਾਲਾ ਸੰਸਕਰਣ ਜਿਉਂ ਦਾ ਤਿਉਂ ਬਣਿਆ ਰਹਿੰਦਾ ਹੈ।.

---

ਸਮਾਪਤੀ ਸਾਰ 🧾✅

ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲੈ ਲਵੇਗਾ? ਸਾਫ਼-ਸੁਥਰੇ, ਪੂਰੇ ਤਰੀਕੇ ਨਾਲ ਨਹੀਂ ਜਿਵੇਂ ਲੋਕ ਕਲਪਨਾ ਕਰਦੇ ਹਨ।

AI ਕਰੇਗਾ:

• ਦੁਹਰਾਉਣ ਵਾਲੇ ਕੰਮਾਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰੋ

• ਕੋਡਿੰਗ, ਡੀਬੱਗਿੰਗ, ਅਤੇ ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਨੂੰ ਤੇਜ਼ ਕਰੋ dbt ਦਸਤਾਵੇਜ਼ੀਕਰਨ ਲਈ GitHub Copilot

• ਪਾਈਪਲਾਈਨਾਂ ਦੇ ਉਤਪਾਦਨ ਦੀ ਲਾਗਤ ਘਟਾਉਣਾ

ਪਰ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਮੂਲ ਰੂਪ ਵਿੱਚ ਇਸ ਬਾਰੇ ਹੈ:

• ਜਵਾਬਦੇਹੀ

• ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ

• ਵਿਸ਼ਵਾਸ, ਗੁਣਵੱਤਾ, ਅਤੇ ਸ਼ਾਸਨ ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ (ODCS) NIST ਗੋਪਨੀਯਤਾ ਢਾਂਚਾ

• ਧੁੰਦਲੀ ਕਾਰੋਬਾਰੀ ਹਕੀਕਤ ਨੂੰ ਭਰੋਸੇਯੋਗ ਡੇਟਾ ਉਤਪਾਦਾਂ ਵਿੱਚ ਬਦਲਣਾ

AI ਇਸ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ... ਪਰ ਇਹ ਇਸਦਾ "ਮਾਲਕ" ਨਹੀਂ ਹੈ।.

ਜੇਕਰ ਤੁਸੀਂ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਹੋ, ਤਾਂ ਇਹ ਕਦਮ ਸੌਖਾ ਹੈ (ਸੌਖਾ ਨਹੀਂ, ਪਰ ਸਰਲ):
ਮਾਲਕੀ, ਗੁਣਵੱਤਾ, ਪਲੇਟਫਾਰਮ ਸੋਚ ਅਤੇ ਸੰਚਾਰ ਵੱਲ ਝੁਕੋ। ਜਦੋਂ ਤੁਸੀਂ ਮਹੱਤਵਪੂਰਨ ਹਿੱਸਿਆਂ ਨੂੰ ਸੰਭਾਲਦੇ ਹੋ ਤਾਂ AI ਨੂੰ ਬਾਇਲਰਪਲੇਟ ਨੂੰ ਸੰਭਾਲਣ ਦਿਓ।

ਅਤੇ ਹਾਂ - ਕਈ ਵਾਰ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਮਰੇ ਵਿੱਚ ਵੱਡਾ ਹੋਣਾ। ਗਲੈਮਰਸ ਨਹੀਂ। ਹਾਲਾਂਕਿ ਚੁੱਪਚਾਪ ਸ਼ਕਤੀਸ਼ਾਲੀ 😄

ਕੀ ਏਆਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲਵੇਗਾ?
ਇਹ ਕੁਝ ਕੰਮਾਂ ਨੂੰ ਬਦਲ ਦੇਵੇਗਾ, ਪੌੜੀ ਨੂੰ ਬਦਲ ਦੇਵੇਗਾ, ਅਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਨੂੰ ਹੋਰ ਵੀ ਕੀਮਤੀ ਬਣਾ ਦੇਵੇਗਾ। ਇਹੀ ਅਸਲ ਕਹਾਣੀ ਹੈ।

---

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ ਏਆਈ ਪੂਰੀ ਤਰ੍ਹਾਂ ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਦੀ ਥਾਂ ਲੈ ਲਵੇਗਾ?

ਜ਼ਿਆਦਾਤਰ ਸੰਗਠਨਾਂ ਵਿੱਚ, AI ਭੂਮਿਕਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਮਿਟਾਉਣ ਦੀ ਬਜਾਏ ਖਾਸ ਕੰਮਾਂ ਨੂੰ ਸੰਭਾਲਣ ਦੀ ਜ਼ਿਆਦਾ ਸੰਭਾਵਨਾ ਰੱਖਦਾ ਹੈ। ਇਹ SQL ਡਰਾਫਟਿੰਗ, ਪਾਈਪਲਾਈਨ ਸਕੈਫੋਲਡਿੰਗ, ਦਸਤਾਵੇਜ਼ੀ ਪਹਿਲੇ ਪਾਸ, ਅਤੇ ਬੁਨਿਆਦੀ ਟੈਸਟ ਰਚਨਾ ਨੂੰ ਤੇਜ਼ ਕਰ ਸਕਦਾ ਹੈ। ਪਰ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਮਾਲਕੀ ਅਤੇ ਜਵਾਬਦੇਹੀ ਵੀ ਰੱਖਦੀ ਹੈ, ਨਾਲ ਹੀ ਗੜਬੜ ਵਾਲੇ ਕਾਰੋਬਾਰੀ ਹਕੀਕਤ ਨੂੰ ਇੱਕ ਭਰੋਸੇਯੋਗ ਪ੍ਰਣਾਲੀ ਵਾਂਗ ਵਿਵਹਾਰ ਕਰਨ ਦਾ ਗੈਰ-ਗਲੈਮਰ ਕੰਮ ਵੀ ਕਰਦੀ ਹੈ। ਉਨ੍ਹਾਂ ਹਿੱਸਿਆਂ ਨੂੰ ਅਜੇ ਵੀ ਮਨੁੱਖਾਂ ਨੂੰ ਇਹ ਫੈਸਲਾ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਕਿ "ਸਹੀ" ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਚੀਜ਼ਾਂ ਟੁੱਟਦੀਆਂ ਹਨ ਤਾਂ ਜ਼ਿੰਮੇਵਾਰੀ ਲੈਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।.

ਏਆਈ ਪਹਿਲਾਂ ਹੀ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਦੇ ਕਿਹੜੇ ਹਿੱਸਿਆਂ ਨੂੰ ਸਵੈਚਾਲਿਤ ਕਰ ਰਿਹਾ ਹੈ?

AI ਦੁਹਰਾਉਣ ਯੋਗ ਕੰਮ 'ਤੇ ਸਭ ਤੋਂ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ: SQL ਦਾ ਖਰੜਾ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਰੀਫੈਕਟਰ ਕਰਨਾ, dbt ਮਾਡਲ ਸਕੈਲਟਨ ਤਿਆਰ ਕਰਨਾ, ਆਮ ਗਲਤੀਆਂ ਨੂੰ ਸਮਝਾਉਣਾ, ਅਤੇ ਦਸਤਾਵੇਜ਼ੀ ਰੂਪ-ਰੇਖਾ ਤਿਆਰ ਕਰਨਾ। ਇਹ ਨਲ ਜਾਂ ਵਿਲੱਖਣਤਾ ਜਾਂਚਾਂ ਵਰਗੇ ਟੈਸਟਾਂ ਨੂੰ ਵੀ ਸਕੈਫੋਲਡ ਕਰ ਸਕਦਾ ਹੈ ਅਤੇ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਟੂਲਸ ਲਈ ਟੈਂਪਲੇਟ "ਗਲੂ" ਕੋਡ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ। ਜਿੱਤ ਗਤੀ ਹੈ - ਤੁਸੀਂ ਇੱਕ ਕਾਰਜਸ਼ੀਲ ਹੱਲ ਦੇ ਨੇੜੇ ਸ਼ੁਰੂ ਕਰਦੇ ਹੋ - ਪਰ ਤੁਹਾਨੂੰ ਅਜੇ ਵੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ ਕਿ ਇਹ ਤੁਹਾਡੇ ਵਾਤਾਵਰਣ ਵਿੱਚ ਫਿੱਟ ਹੈ।.

ਜੇਕਰ AI SQL ਅਤੇ ਪਾਈਪਲਾਈਨਾਂ ਲਿਖ ਸਕਦਾ ਹੈ, ਤਾਂ ਡੇਟਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਕੀ ਬਚਦਾ ਹੈ?

ਬਹੁਤ ਕੁਝ: ਡੇਟਾ ਕੰਟਰੈਕਟਸ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨਾ, ਸਕੀਮਾ ਡ੍ਰਿਫਟ ਨੂੰ ਸੰਭਾਲਣਾ, ਅਤੇ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣਾ ਕਿ ਪਾਈਪਲਾਈਨਾਂ ਅਯੋਗ, ਨਿਰੀਖਣਯੋਗ ਅਤੇ ਰਿਕਵਰੀਯੋਗ ਹਨ। ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਮੀਟ੍ਰਿਕ ਤਬਦੀਲੀਆਂ ਦੀ ਜਾਂਚ ਕਰਨ, ਡਾਊਨਸਟ੍ਰੀਮ ਉਪਭੋਗਤਾਵਾਂ ਲਈ ਗਾਰਡਰੇਲ ਬਣਾਉਣ, ਅਤੇ ਲਾਗਤ ਅਤੇ ਭਰੋਸੇਯੋਗਤਾ ਵਪਾਰ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਵਿੱਚ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹਨ। ਕੰਮ ਅਕਸਰ ਵਿਸ਼ਵਾਸ ਬਣਾਉਣ ਅਤੇ ਡੇਟਾ ਪਲੇਟਫਾਰਮ ਨੂੰ "ਸ਼ਾਂਤ" ਰੱਖਣ, ਭਾਵ ਇੰਨਾ ਸਥਿਰ ਰੱਖਣ ਤੱਕ ਆਉਂਦਾ ਹੈ ਕਿ ਕਿਸੇ ਨੂੰ ਵੀ ਇਸ ਬਾਰੇ ਦਿਨ-ਬ-ਦਿਨ ਸੋਚਣਾ ਨਾ ਪਵੇ।.

ਏਆਈ ਇੱਕ ਡੇਟਾ ਇੰਜੀਨੀਅਰ ਦੇ ਰੋਜ਼ਾਨਾ ਦੇ ਕੰਮ ਨੂੰ ਕਿਵੇਂ ਬਦਲਦਾ ਹੈ?

ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਬਾਇਲਰਪਲੇਟ ਅਤੇ "ਲੁੱਕਅੱਪ ਟਾਈਮ" ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਟਾਈਪਿੰਗ ਵਿੱਚ ਘੱਟ ਸਮਾਂ ਅਤੇ ਸਮੀਖਿਆ ਕਰਨ, ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਅਤੇ ਡਿਜ਼ਾਈਨ ਕਰਨ ਵਿੱਚ ਜ਼ਿਆਦਾ ਸਮਾਂ ਬਿਤਾਉਂਦੇ ਹੋ। ਇਹ ਤਬਦੀਲੀ ਹਰ ਚੀਜ਼ ਨੂੰ ਹੱਥੀਂ ਕੋਡ ਕਰਨ ਦੀ ਬਜਾਏ ਉਮੀਦਾਂ, ਗੁਣਵੱਤਾ ਦੇ ਮਿਆਰਾਂ ਅਤੇ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਪੈਟਰਨਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਵੱਲ ਭੂਮਿਕਾ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ। ਅਭਿਆਸ ਵਿੱਚ, ਤੁਸੀਂ ਸੰਭਾਵਤ ਤੌਰ 'ਤੇ ਉਤਪਾਦ, ਸੁਰੱਖਿਆ ਅਤੇ ਵਿੱਤ ਨਾਲ ਵਧੇਰੇ ਭਾਈਵਾਲੀ ਦਾ ਕੰਮ ਕਰੋਗੇ - ਕਿਉਂਕਿ ਤਕਨੀਕੀ ਆਉਟਪੁੱਟ ਬਣਾਉਣਾ ਆਸਾਨ ਹੋ ਜਾਂਦਾ ਹੈ, ਪਰ ਨਿਯੰਤਰਿਤ ਕਰਨਾ ਔਖਾ ਹੋ ਜਾਂਦਾ ਹੈ।.

ਏਆਈ ਨੂੰ "ਸਰਗਰਮ ਉਪਭੋਗਤਾ" ਵਰਗੀਆਂ ਅਸਪਸ਼ਟ ਵਪਾਰਕ ਪਰਿਭਾਸ਼ਾਵਾਂ ਨਾਲ ਕਿਉਂ ਸੰਘਰਸ਼ ਕਰਨਾ ਪੈਂਦਾ ਹੈ?

ਕਿਉਂਕਿ ਕਾਰੋਬਾਰੀ ਤਰਕ ਸਥਿਰ ਜਾਂ ਸਟੀਕ ਨਹੀਂ ਹੁੰਦਾ - ਇਹ ਪ੍ਰੋਜੈਕਟ ਦੇ ਵਿਚਕਾਰ ਬਦਲਦਾ ਹੈ ਅਤੇ ਹਿੱਸੇਦਾਰ ਦੁਆਰਾ ਬਦਲਦਾ ਹੈ। AI ਇੱਕ ਵਿਆਖਿਆ ਦਾ ਖਰੜਾ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਜਦੋਂ ਪਰਿਭਾਸ਼ਾਵਾਂ ਵਿਕਸਤ ਹੁੰਦੀਆਂ ਹਨ ਜਾਂ ਟਕਰਾਅ ਸਾਹਮਣੇ ਆਉਂਦਾ ਹੈ ਤਾਂ ਇਹ ਫੈਸਲੇ ਦਾ ਮਾਲਕ ਨਹੀਂ ਹੋ ਸਕਦਾ। ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਲਈ ਅਕਸਰ ਗੱਲਬਾਤ, ਧਾਰਨਾਵਾਂ ਨੂੰ ਦਸਤਾਵੇਜ਼ੀਕਰਨ, ਅਤੇ ਅਸਪਸ਼ਟ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਟਿਕਾਊ ਇਕਰਾਰਨਾਮਿਆਂ ਵਿੱਚ ਬਦਲਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਉਹ "ਮਨੁੱਖੀ ਅਨੁਕੂਲਤਾ" ਕੰਮ ਇੱਕ ਮੁੱਖ ਕਾਰਨ ਹੈ ਕਿ ਭੂਮਿਕਾ ਅਲੋਪ ਨਹੀਂ ਹੁੰਦੀ ਭਾਵੇਂ ਟੂਲਿੰਗ ਵਿੱਚ ਸੁਧਾਰ ਹੋਵੇ।.

ਕੀ ਏਆਈ ਡੇਟਾ ਗਵਰਨੈਂਸ, ਗੋਪਨੀਯਤਾ ਅਤੇ ਪਾਲਣਾ ਦੇ ਕੰਮ ਨੂੰ ਸੁਰੱਖਿਅਤ ਢੰਗ ਨਾਲ ਸੰਭਾਲ ਸਕਦਾ ਹੈ?

AI ਨੀਤੀਆਂ ਦਾ ਖਰੜਾ ਤਿਆਰ ਕਰਨ ਜਾਂ ਪਹੁੰਚਾਂ ਦਾ ਸੁਝਾਅ ਦੇਣ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ, ਪਰ ਸੁਰੱਖਿਅਤ ਲਾਗੂਕਰਨ ਅਜੇ ਵੀ ਅਸਲ ਇੰਜੀਨੀਅਰਿੰਗ ਅਤੇ ਧਿਆਨ ਨਾਲ ਨਿਗਰਾਨੀ ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ। ਸ਼ਾਸਨ ਵਿੱਚ ਪਹੁੰਚ ਨਿਯੰਤਰਣ, PII ਹੈਂਡਲਿੰਗ, ਧਾਰਨ ਨਿਯਮ, ਆਡਿਟ ਟ੍ਰੇਲ, ਅਤੇ ਕਈ ਵਾਰ ਰਿਹਾਇਸ਼ੀ ਪਾਬੰਦੀਆਂ ਸ਼ਾਮਲ ਹੁੰਦੀਆਂ ਹਨ। ਇਹ ਉੱਚ-ਜੋਖਮ ਵਾਲੇ ਖੇਤਰ ਹਨ ਜਿੱਥੇ "ਲਗਭਗ ਸਹੀ" ਸਵੀਕਾਰਯੋਗ ਨਹੀਂ ਹੈ। ਮਨੁੱਖਾਂ ਨੂੰ ਨਿਯਮਾਂ ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ, ਲਾਗੂ ਕਰਨ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ, ਅਤੇ ਪਾਲਣਾ ਦੇ ਨਤੀਜਿਆਂ ਲਈ ਜਵਾਬਦੇਹ ਰਹਿਣਾ ਚਾਹੀਦਾ ਹੈ।.

ਜਿਵੇਂ-ਜਿਵੇਂ ਏਆਈ ਵਿੱਚ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ, ਡਾਟਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਕਿਹੜੇ ਹੁਨਰ ਕੀਮਤੀ ਰਹਿੰਦੇ ਹਨ?

ਸਿਸਟਮਾਂ ਨੂੰ ਲਚਕੀਲਾ ਬਣਾਉਣ ਵਾਲੇ ਹੁਨਰ: ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਸੋਚ, ਡੇਟਾ ਗੁਣਵੱਤਾ ਇੰਜੀਨੀਅਰਿੰਗ, ਅਤੇ ਪਲੇਟਫਾਰਮ-ਮਨ ਵਾਲਾ ਮਾਨਕੀਕਰਨ। ਇਕਰਾਰਨਾਮੇ, ਨਿਰੀਖਣਯੋਗਤਾ, ਘਟਨਾ ਪ੍ਰਤੀਕਿਰਿਆ ਆਦਤਾਂ, ਅਤੇ ਅਨੁਸ਼ਾਸਿਤ ਮੂਲ ਕਾਰਨ ਵਿਸ਼ਲੇਸ਼ਣ ਹੋਰ ਵੀ ਮਹੱਤਵਪੂਰਨ ਹੋ ਜਾਂਦੇ ਹਨ ਜਦੋਂ ਵਧੇਰੇ ਲੋਕ ਡੇਟਾ ਕਲਾਕ੍ਰਿਤੀਆਂ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਤਿਆਰ ਕਰ ਸਕਦੇ ਹਨ। ਸੰਚਾਰ ਵੀ ਇੱਕ ਵੱਖਰਾ ਕਾਰਕ ਬਣ ਜਾਂਦਾ ਹੈ - ਪਰਿਭਾਸ਼ਾਵਾਂ ਨੂੰ ਇਕਸਾਰ ਕਰਨਾ, ਸਪੱਸ਼ਟ ਦਸਤਾਵੇਜ਼ ਲਿਖਣਾ, ਅਤੇ ਨਾਟਕ ਤੋਂ ਬਿਨਾਂ ਵਪਾਰ ਨੂੰ ਸਮਝਾਉਣਾ ਡੇਟਾ ਨੂੰ ਭਰੋਸੇਯੋਗ ਰੱਖਣ ਦਾ ਇੱਕ ਵੱਡਾ ਹਿੱਸਾ ਹੈ।.

ਏਆਈ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਟੂਲਿੰਗ ਤੋਂ ਕਿਹੜੇ ਡੇਟਾ ਇੰਜੀਨੀਅਰਿੰਗ ਰੋਲ ਸਭ ਤੋਂ ਵੱਧ ਜੋਖਮ ਵਿੱਚ ਹਨ?

ਦੁਹਰਾਉਣ ਵਾਲੇ ਇੰਜੈਸ਼ਨ ਜਾਂ ਸਟੈਂਡਰਡ ਰਿਪੋਰਟਿੰਗ ਪਾਈਪਲਾਈਨਾਂ 'ਤੇ ਸੀਮਤ ਤੌਰ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਭੂਮਿਕਾਵਾਂ ਵਧੇਰੇ ਪ੍ਰਗਟ ਹੁੰਦੀਆਂ ਹਨ, ਖਾਸ ਕਰਕੇ ਜਦੋਂ ਪ੍ਰਬੰਧਿਤ ELT ਕਨੈਕਟਰ ਜ਼ਿਆਦਾਤਰ ਸਰੋਤਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ। ਘੱਟ-ਮਾਲਕੀਅਤ, ਟਿਕਟ-ਸੰਚਾਲਿਤ ਕੰਮ ਸੁੰਗੜ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ AI ਅਤੇ ਐਬਸਟਰੈਕਸ਼ਨ ਪ੍ਰਤੀ ਪਾਈਪਲਾਈਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ। ਪਰ ਇਹ ਆਮ ਤੌਰ 'ਤੇ ਘੱਟ ਲੋਕ ਦੁਹਰਾਉਣ ਵਾਲੇ ਕੰਮ ਕਰਦੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ, ਨਾ ਕਿ "ਕੋਈ ਡੇਟਾ ਇੰਜੀਨੀਅਰ"। ਭਰੋਸੇਯੋਗਤਾ, ਗੁਣਵੱਤਾ ਅਤੇ ਵਿਸ਼ਵਾਸ 'ਤੇ ਕੇਂਦ੍ਰਿਤ ਉੱਚ-ਮਾਲਕੀਅਤ ਭੂਮਿਕਾਵਾਂ ਟਿਕਾਊ ਰਹਿੰਦੀਆਂ ਹਨ।.

ਮੈਨੂੰ ਹਫੜਾ-ਦਫੜੀ ਪੈਦਾ ਕੀਤੇ ਬਿਨਾਂ AI ਨਾਲ GitHub Copilot ਜਾਂ dbt ਵਰਗੇ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਿਵੇਂ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ?

AI ਆਉਟਪੁੱਟ ਨੂੰ ਇੱਕ ਡਰਾਫਟ ਵਜੋਂ ਮੰਨੋ, ਇੱਕ ਫੈਸਲੇ ਵਜੋਂ ਨਹੀਂ। ਇਸਦੀ ਵਰਤੋਂ ਪੁੱਛਗਿੱਛ ਦੇ ਪਿੰਜਰ ਤਿਆਰ ਕਰਨ, ਪੜ੍ਹਨਯੋਗਤਾ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣ, ਜਾਂ ਸਕੈਫੋਲਡ dbt ਟੈਸਟਾਂ ਅਤੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਬਣਾਉਣ ਲਈ ਕਰੋ, ਫਿਰ ਅਸਲ ਡੇਟਾ ਅਤੇ ਕਿਨਾਰੇ ਦੇ ਮਾਮਲਿਆਂ ਦੇ ਵਿਰੁੱਧ ਪ੍ਰਮਾਣਿਤ ਕਰੋ। ਇਸਨੂੰ ਮਜ਼ਬੂਤ ​​ਪਰੰਪਰਾਵਾਂ ਨਾਲ ਜੋੜੋ: ਇਕਰਾਰਨਾਮੇ, ਨਾਮਕਰਨ ਮਿਆਰ, ਨਿਰੀਖਣ ਜਾਂਚਾਂ, ਅਤੇ ਸਮੀਖਿਆ ਅਭਿਆਸ। ਟੀਚਾ ਭਰੋਸੇਯੋਗਤਾ, ਲਾਗਤ ਨਿਯੰਤਰਣ, ਜਾਂ ਸ਼ਾਸਨ ਦੀ ਕੁਰਬਾਨੀ ਦਿੱਤੇ ਬਿਨਾਂ ਤੇਜ਼ ਡਿਲੀਵਰੀ ਹੈ।.

ਹਵਾਲੇ

1. ਯੂਰਪੀਅਨ ਕਮਿਸ਼ਨ - ਡੇਟਾ ਸੁਰੱਖਿਆ ਦੀ ਵਿਆਖਿਆ ਕੀਤੀ ਗਈ: GDPR ਸਿਧਾਂਤ - commission.europa.eu

2. ਸੂਚਨਾ ਕਮਿਸ਼ਨਰ ਦਫ਼ਤਰ (ICO) - ਸਟੋਰੇਜ ਸੀਮਾ - ico.org.uk

3. ਯੂਰਪੀਅਨ ਕਮਿਸ਼ਨ - ਡੇਟਾ ਨੂੰ ਕਿੰਨਾ ਸਮਾਂ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ ਅਤੇ ਕੀ ਇਸਨੂੰ ਅਪਡੇਟ ਕਰਨਾ ਜ਼ਰੂਰੀ ਹੈ? - commission.europa.eu

4. ਨੈਸ਼ਨਲ ਇੰਸਟੀਚਿਊਟ ਆਫ਼ ਸਟੈਂਡਰਡਜ਼ ਐਂਡ ਟੈਕਨਾਲੋਜੀ (NIST) - ਗੋਪਨੀਯਤਾ ਢਾਂਚਾ - nist.gov

5. NIST ਕੰਪਿਊਟਰ ਸੁਰੱਖਿਆ ਸਰੋਤ ਕੇਂਦਰ (CSRC) - SP 800-92: ਕੰਪਿਊਟਰ ਸੁਰੱਖਿਆ ਲਾਗ ਪ੍ਰਬੰਧਨ ਲਈ ਗਾਈਡ - csrc.nist.gov

6. ਸੈਂਟਰ ਫਾਰ ਇੰਟਰਨੈੱਟ ਸਿਕਿਓਰਿਟੀ (CIS) - ਆਡਿਟ ਲੌਗ ਮੈਨੇਜਮੈਂਟ (CIS ਕੰਟਰੋਲ) - cisecurity.org

7. ਸਨੋਫਲੇਕ ਦਸਤਾਵੇਜ਼ - ਕਤਾਰ ਪਹੁੰਚ ਨੀਤੀਆਂ - docs.snowflake.com

8. ਗੂਗਲ ਕਲਾਉਡ ਡੌਕੂਮੈਂਟੇਸ਼ਨ - ਬਿਗਕਿਊਰੀ ਕਤਾਰ-ਪੱਧਰ ਦੀ ਸੁਰੱਖਿਆ - docs.cloud.google.com

9. BITOL - ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ (ODCS) v3.1.0 - bitol-io.github.io

10. BITOL (GitHub) - ਓਪਨ ਡੇਟਾ ਕੰਟਰੈਕਟ ਸਟੈਂਡਰਡ - github.com

11. ਅਪਾਚੇ ਏਅਰਫਲੋ - ਦਸਤਾਵੇਜ਼ੀਕਰਨ (ਸਥਿਰ) - airflow.apache.org

12. ਅਪਾਚੇ ਏਅਰਫਲੋ - ਡੀਏਜੀ (ਮੁੱਖ ਸੰਕਲਪ) - airflow.apache.org

13. dbt ਲੈਬਜ਼ ਦਸਤਾਵੇਜ਼ - dbt ਕੀ ਹੈ? - docs.getdbt.com

14. dbt ਲੈਬਜ਼ ਦਸਤਾਵੇਜ਼ - dbt ਮਾਡਲਾਂ ਬਾਰੇ - docs.getdbt.com

15. dbt ਲੈਬਜ਼ ਦਸਤਾਵੇਜ਼ - ਦਸਤਾਵੇਜ਼ੀਕਰਨ - docs.getdbt.com

16. dbt ਲੈਬਜ਼ ਦਸਤਾਵੇਜ਼ - ਡੇਟਾ ਟੈਸਟ - docs.getdbt.com

17. dbt ਲੈਬਜ਼ ਦਸਤਾਵੇਜ਼ - dbt ਸਿਮੈਂਟਿਕ ਲੇਅਰ - docs.getdbt.com

18. ਫਾਈਵਟਰਾਨ ਦਸਤਾਵੇਜ਼ - ਸ਼ੁਰੂਆਤ ਕਰਨਾ - fivetran.com

19. ਫਾਈਵਟ੍ਰਾਨ - ਕਨੈਕਟਰ - fivetran.com

20. AWS ਦਸਤਾਵੇਜ਼ - AWS ਲੈਂਬਡਾ ਡਿਵੈਲਪਰ ਗਾਈਡ - docs.aws.amazon.com

21. ਗਿੱਟਹੱਬ - ਗਿੱਟਹੱਬ ਕੋਪਾਇਲਟ - github.com

22. GitHub Docs - GitHub Copilot ਨਾਲ ਤੁਹਾਡੇ IDE ਵਿੱਚ ਕੋਡ ਸੁਝਾਅ ਪ੍ਰਾਪਤ ਕਰਨਾ - docs.github.com

23. ਮਾਈਕ੍ਰੋਸਾਫਟ ਲਰਨ - SQL (VS ਕੋਡ ਐਕਸਟੈਂਸ਼ਨ) ਲਈ GitHub ਕੋਪਾਇਲਟ - learn.microsoft.com

24. ਡਾਇਨਾਟ੍ਰੇਸ ਦਸਤਾਵੇਜ਼ੀਕਰਨ - ਡੇਟਾ ਨਿਰੀਖਣਯੋਗਤਾ - docs.dynatrace.com

25. ਡਾਟਾਗਲੈਕਸੀ - ਡਾਟਾ ਨਿਰੀਖਣਯੋਗਤਾ ਕੀ ਹੈ? - datagalaxy.com

26. ਸ਼ਾਨਦਾਰ ਉਮੀਦਾਂ ਦਸਤਾਵੇਜ਼ - ਉਮੀਦਾਂ ਦਾ ਸੰਖੇਪ ਜਾਣਕਾਰੀ - docs.greatexpectations.io

ਅਧਿਕਾਰਤ AI ਸਹਾਇਕ ਸਟੋਰ 'ਤੇ ਨਵੀਨਤਮ AI ਲੱਭੋ

ਸਾਡੇ ਬਾਰੇ