Trading bot కోసం VPSలో నిజంగా ముఖ్యమైనవి ఏమిటి?
Trading bot కోసం VPS ఎంచుకునేటప్పుడు systemd restart discipline, సరైన clock, API keys భద్రత, heartbeats మరియు వాస్తవ latency పరిమితులను తెలుసుకోండి.
VPS నుంచి trading bot కు అవసరమైనవి
Trading bot కోసం ఉపయోగించే VPS ను నాలుగు అంశాల ఆధారంగా అంచనా వేయాలి: process ఆగిపోయిన తర్వాత మళ్లీ ప్రారంభమవుతుందా, system clock సరైన సమయాన్ని చూపుతుందా, API (application programming interface) keys ను దొంగిలించడం కష్టమా, అది ఆగిపోయినప్పుడు మీకు సమాచారం అందుతుందా. Retail bot కు raw speed ఈ జాబితాలో చాలా దిగువన ఉంటుంది. మీ order path లో నెమ్మదిగా పనిచేసే భాగం Python ను నడుపుతున్న host కాదు; మీ broker మరియు దానికి ఉన్న network distance.
ఇది engineering guide. ఇందులోని సమాచారం financial advice కాదు. ఏ strategy గురించి చర్చించలేదు.
Uptime అనేది sales page పై కనిపించే సంఖ్య కాదు; restart discipline పై ఆధారపడి ఉంటుంది
ప్రకటించిన uptime commitments వేర్వేరుగా ఉంటాయి. ఒకే EC2 instance కోసం AWS కనీసం 99.5 percent uptime ను, అనేక availability zones పై అర్హత కలిగిన deployments కోసం 99.99 percent uptime ను పేర్కొంటుంది. ఈ commitments infrastructure availability కు మాత్రమే వర్తిస్తాయి; మీ bot ఆరోగ్యానికి కాదు. Unhandled exception, తిరిగి reconnect కాని websocket, లేదా OOM (out of memory) killer కారణంగా bot ఆగిపోవచ్చు. అయినా server మొత్తం సమయం పనిచేస్తూనే ఉండవచ్చు. అందువల్ల ఉపయోగకరమైన ప్రశ్న: మీ process exit అయిన తరువాతి పది సెకన్లలో ఏమి జరుగుతుంది?
Bot ను systemd service గా నడిపించి, restart బాధ్యతను init system కు అప్పగించండి. ఒక unit file దీన్ని నిర్వహిస్తుంది.
[Unit]
Description=Trading bot
After=network-online.target
Wants=network-online.target
StartLimitIntervalSec=0
[Service]
Type=simple
User=bot
WorkingDirectory=/opt/tradingbot
EnvironmentFile=/etc/tradingbot/api.env
ExecStart=/opt/tradingbot/venv/bin/python -m tradingbot
Restart=always
RestartSec=10
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
PrivateTmp=true
ReadWritePaths=/var/lib/tradingbot
[Install]
WantedBy=multi-user.targetStartLimitIntervalSec=0 అనేది చాలామంది పట్టించుకోని line. Upstream systemd defaults ప్రకారం 10 seconds లో 5 starts కు పరిమితి ఉంటుంది. ఇందులో initial start మరియు manual starts కూడా ఉంటాయి. Manager configuration ఈ defaults ను మార్చగలదు. ఈ పరిమితిని చేరుకున్న తరువాత automatic restart attempts ఆగిపోతాయి. అయితే interval ముగిసిన తరువాత unit ను manual గా, timer ద్వారా లేదా socket ద్వారా ప్రారంభించవచ్చు. దీనిని 0 గా సెట్ చేస్తే rate limit నిలిపివేయబడుతుంది. అందువల్ల crash-loop లో ఉన్న bot నిశ్శబ్దంగా ఆగకుండా మళ్లీ మళ్లీ ప్రయత్నిస్తుంది. RestartSec=10 ఆ loop exchange పై reconnects తో అధిక భారం కలిగించకుండా ఆపుతుంది.
మీరు దానిపై ఆధారపడే ముందు file ను తనిఖీ చేసి, తరువాత దాన్ని start చేయండి:
sudo systemd-analyze verify /etc/systemd/system/tradingbot.service
sudo systemctl daemon-reload
sudo systemctl enable --now tradingbot
systemctl status tradingbotenable reboot తర్వాత కూడా కొనసాగే భాగం. Kernel updates వల్ల reboots అవసరం అవుతాయి. Bot నిశ్శబ్దంగా ఆగిపోతుందో లేదో చూడటానికి restart counter ను systemd ద్వారా పరిశీలించండి:
systemctl show tradingbot -p NRestarts
journalctl -u tradingbot --since "24 hours ago" | tail -50NRestarts=0 counter చివరిసారి reset చేసినప్పటి నుంచి జరిగిన automatic restart jobs సంఖ్యను చూపిస్తుంది. ఇది bot ఆరోగ్యంగా ఉందని లేదా crash-free week గడిచిందని నిరూపించదు. Manual restarts మరియు systemctl reset-failed counter ను reset చేస్తాయి. Hang అయిన bot మాత్రం ఇప్పటికీ zero చూపించవచ్చు. NRestarts=812 812 restart jobs ను లెక్కిస్తుంది. ఇది విజయవంతమైన exchange reconnections లేదా trades ను లెక్కించదు. అవి ఎప్పుడు జరిగాయో కూడా ఇది చెప్పదు. సమయం మరియు కారణం తెలుసుకోవడానికి journal ను పరిశీలించండి. Bot connect అవ్వకముందు జరిగిన failures ను కూడా చేర్చండి. Daily report వంటి scheduled jobs కోసం timers సహా పూర్తి unit file anatomy ను systemd service గా program నడపడం లో వివరించారు.
గడియారాన్ని UTCకు సెట్ చేసి, అది సమకాలీకరించబడిందని నిర్ధారించండి
సంతకం చేసిన అభ్యర్థనలను ధృవీకరించడానికి Exchange APIలు timestamps ను ఉపయోగిస్తాయి; Binance Spotలో default receive window 5 seconds, అలాగే server time కంటే కనీసం 1 second ముందున్న timestamps ను అది తిరస్కరిస్తుంది. Clock drift వల్ల authentication failureలా కనిపించే errors వస్తాయి. అందువల్ల timeను పరిశీలించకముందే కొందరు గంటల తరబడి keys ను మార్చుతుంటారు. Binance-style APIలలో message స్పష్టంగా ఉంటుంది: Timestamp for this request was 1000ms ahead of the server's time.
Serverను UTCకు సెట్ చేయండి. Local time zones వల్ల చూపించే సమయాల్లో daylight saving మార్పులు వస్తాయి; APIలు ఉపయోగించే Unix timestampsలో display timezone మారినప్పుడు ఎలాంటి మార్పు ఉండదు.
sudo timedatectl set-timezone UTC
timedatectlUbuntuలో 25.10 నుంచి defaultగా chrony ఉంటుంది; పాత installationsలో SNTP (simple network time protocol) client అయిన systemd-timesyncd ను ఉపయోగించవచ్చు. systemd-timesyncd clockను సరిచేస్తుంది, కానీ తప్పు time sourceను గుర్తించడానికి ఒకేసారి అనేక serversను poll చేయలేరు. దాని బదులుగా chrony ఉపయోగించండి:
sudo apt update && sudo apt install -y chrony
sudo systemctl enable --now chrony
chronyc tracking
chronyc sources -vchronyc tracking నుంచి చదవాల్సిన line System time, ఉదాహరణకు System time : 0.000031415 seconds fast of NTP time. చిన్న value chrony యొక్క NTP clockకు మిగిలి ఉన్న correction చిన్నదని చూపిస్తుంది; accuracyను నిర్ణయించే ముందు synchronisation, Root delay మరియు Root dispersion ను కూడా పరిశీలించండి. అది Leap status : Not synchronised గా చూపిస్తే, servers స్పందించినప్పటికీ chrony synchronised కాలేదు; measurements చాలా inaccurateగా ఉన్నాయని తిరస్కరించబడవచ్చు. ఒక నిమిషం వేచి, firewall rulesను మార్చే ముందు మళ్లీ పరిశీలించండి.
మీరు కాపీ చేసే ప్రదేశాల్లో API keys ఉంచవద్దు
లీకైన exchange key, లీకైన SSH key కంటే ప్రమాదకరం. Withdrawal permission ఉంటే అది వెంటనే డబ్బుగా మారుతుంది. ఈ ప్రమాదంలో ఎక్కువ భాగాన్ని తగ్గించడానికి రెండు అలవాట్లు సరిపోతాయి.
మొదట, bot key కు ఎప్పుడూ withdrawal permission ఇవ్వవద్దు. Exchange ఈ సదుపాయాన్ని అందిస్తే, ఆ key ను మీ server IP address కు bind చేయండి. దొంగిలించబడిన key దాదాపు పనికిరాకుండా చేసే ఏకైక ముఖ్యమైన నియంత్రణ ఇదే.
రెండవది, secret ను code directory వెలుపల ఉంచండి. /opt/tradingbot లో ఉన్న ఏదైనా విషయం చివరికి git repository లేదా backup archive లోకి చేరుతుంది. systemd చదివే root-owned file లో దాన్ని ఉంచండి:
sudo install -d -m 750 -o root -g bot /etc/tradingbot
sudo install -m 640 -o root -g bot /dev/null /etc/tradingbot/api.env
sudo nano /etc/tradingbot/api.envఈ file లో quotes మరియు export లేకుండా plain KEY=value lines ఉంటాయి. Mode 640 వల్ల root owner కు read/write access, group bot సభ్యులకు read access లభిస్తాయి. ఇతర users కు ఎలాంటి permissions ఉండవు. sudo -u bot cat /etc/tradingbot/api.env తో verify చేయండి. తరువాత group bot వెలుపల ఉన్న unprivileged user తో కూడా పరీక్షించండి. ఆ పరీక్ష Permission denied తో విఫలమవ్వాలి.
Bot ను root గా లేదా మీ login user గా నడపకండి. Service ప్రారంభించే ముందు, లేదా group bot సొంతమైన files సృష్టించే ముందు, nologin shell మరియు home directoryగా /var/lib/tradingbot కలిగిన system account ను సృష్టించండి:
sudo useradd --system --shell /usr/sbin/nologin --home-dir /var/lib/tradingbot --create-home botఆ flags ప్రతి ఒక్కటి ఎందుకు అవసరమో, అలాగే ProtectSystem=strict వాస్తవంగా ఎంతవరకు పనిచేస్తుందో unprivileged user గా services నడపడం లో వివరించాం. మిగిలిన server baseline, SSH keys మరియు firewall ను కొత్త VPS లో మొదటి పది నిమిషాలు లో అమలు చేయాలి.
మీ broker గుర్తించేలోపే అది డౌన్ అయిందని తెలుసుకోండి
systemctl status ప్రక్రియ నడుస్తోందని మాత్రమే చెబుతుంది. బాట్ ఏదైనా పని చేస్తోందని అది చెప్పదు. పనిచేయని websocket కు వ్యతిరేకంగా retry loop లో ఇరుక్కున్న ప్రక్రియ, పైన ఉన్న unit లోని process checks ను విజయవంతంగా దాటుతుంది.
దానికి బదులుగా heartbeat ఉపయోగించండి. Uptime Kuma లో push monitors ఉన్నాయి. అవి మీ బాట్ నిర్ణీత వ్యవధిలో ఒక URL ను call చేయాలని ఆశిస్తాయి. ఆ call రావడం ఆగిపోతే అవి alert పంపుతాయి. బాట్ సజీవంగా ఉందని నిరూపించే భాగం పూర్తయ్యాక, మీ main loop చివరలో ఈ call ను ఉంచండి. ఉదాహరణకు, market data విజయవంతంగా చదివిన తర్వాత ఉంచవచ్చు.
curl -fsS "http://monitor.example.com:3001/api/push/YOUR_TOKEN?status=up&msg=loop_ok"సాధారణ jitter వల్ల మీకు page రాకుండా monitor interval ను మీ loop time కు సుమారు రెండింతలుగా సెట్ చేయండి. Monitor ను బాట్ నడుస్తున్న server కు భిన్నమైన server పై నడపండి. ఎందుకంటే అది పర్యవేక్షించే అంశంతోపాటు monitor కూడా ఆగిపోతే, monitor ఏ నివేదికనూ పంపదు. Setup వివరాలు Uptime Kuma తో self-hosted status monitoring లో ఉన్నాయి.
Disk alert కూడా జోడించండి. verbose logs రాస్తున్న బాట్ కొన్ని వారాల్లో root filesystem ను నింపవచ్చు. Disk నిండిపోతే network call కాకుండా database write ఆగిపోతుంది. అందువల్ల లక్షణాలు వింతగా కనిపిస్తాయి. journalctl --vacuum-time=14d మరియు /etc/systemd/journald.conf లోని SystemMaxUse= line journal పరిమాణాన్ని పరిమితం చేస్తాయి.
నిజం చెప్పాలంటే: latencyలో ఎక్కువ భాగం మీ host వల్ల కాదు
ఇక్కడ trading VPS ఉత్పత్తుల మార్కెట్ సాంకేతిక విషయాలను దాటి వెళ్తుంది. Marketing పేజీలు sub-millisecond గణాంకాలను చూపిస్తూ, మీకు order fill లభించడానికి మధ్యలో hostే ప్రధాన అడ్డంకి అన్న భావన కలిగిస్తాయి. దాదాపు ప్రతి retail bot విషయంలో ఇది నిజం కాదు.
మీ order bot నుంచి public internet మీదుగా exchange లేదా broker endpoint కు ప్రయాణిస్తుంది. ఆ మార్గాన్ని ప్రధానంగా భౌతిక దూరం, అలాగే మీ provider మరియు వారి provider మధ్య peering నిర్ణయిస్తాయి. తరువాత broker స్వంత systems తమ queue, risk checks మరియు rate limits ను జోడిస్తాయి.
ఊహించకుండా కొలవండి. నిజమైన endpoint కోసం connection మరియు first-byte times ను curl చూపిస్తుంది:
curl -s -o /dev/null -w 'dns=%{time_namelookup}s connect=%{time_connect}s ttfb=%{time_starttransfer}s\n' \
https://api.kraken.com/0/public/Time
mtr -rwzc 100 api.kraken.comమీరు నిర్ణయం తీసుకునే ముందు candidate server నుంచి దీన్ని run చేయండి. connect విలువ 0.180 seconds అయితే, అందులో DNS resolution మరియు TCP connection ఉంటాయి; అయితే మీరు ఏ continent లో ఉన్నారో అది నిర్ధారించదు. connect విలువ 0.004 seconds, ttfb విలువ 0.140 seconds అయితే, ఆ తేడాలో TLS setup, request transmission, network delays మరియు server processing ఉంటాయి. Host మార్చడం వల్ల ఈ components లో కొన్నింటిపై ప్రభావం ఉండవచ్చు. అందువల్ల candidate locations నుంచి measurements ను పోల్చండి.
అయితే host ఎప్పుడు ముఖ్యమవుతుంది? మీరు venue కు colocated లేదా cross-connected అయి queue position కోసం పోటీ పడుతున్నప్పుడు. అది వేరే బడ్జెట్తో నడిచే వేరే business. అలాగే మీ స్వంత code bottleneck అయినప్పుడు కూడా host ముఖ్యం: ప్రతి tick సమయంలో full historyపై indicators ను మళ్లీ లెక్కించే bot ప్రతి loopకు 200 milliseconds CPU సమయాన్ని వినియోగించవచ్చు. ఇది మీరు ఎటువంటి అదనపు ఖర్చు లేకుండా నియంత్రించగల నిజమైన latency. వేగమైన server కోసం వెతకడానికి ముందు loop ను profile చేయండి.
మీరు ఎంచుకునే hostలో ముఖ్యమైనవి geography, స్థిరమైన networking, అలాగే OOM killer నిర్ణయించాల్సిన పరిస్థితి ఎప్పుడూ రాకుండా ఉండేంత memory. Tick history ను local databaseలో ఉంచితే memoryని పెంచండి.
లైవ్కు వెళ్లే ముందు సంక్షిప్త తనిఖీ జాబితా
systemctl is-enabled tradingbot,enabledను ప్రదర్శిస్తుంది. సేవsudo rebootతర్వాత కూడా కొనసాగుతుంది.chronyc trackingసమకాలీకరణను, కొన్ని మిల్లీసెకండ్ల కంటే తక్కువ system time offset ను, అలాగే మీ timing budget లోపు root delay మరియు dispersion ను చూపిస్తుంది.- API key కు trading అనుమతి ఉంది. withdrawal అనుమతి లేదు. exchange అందిస్తే IP allowlist కూడా అమలు చేయాలి.
sudo systemctl kill -s SIGKILL tradingbotతో process ను ఆపిన తర్వాత,RestartSecdelay మరియు startup time పూర్తయ్యాక అది మళ్లీ ప్రారంభమవుతుంది.- మీరు bot ను ఉద్దేశపూర్వకంగా ఆపితే, heartbeat monitor configured interval తర్వాత alert పంపుతుంది మరియు మళ్లీ ప్రయత్నిస్తుంది.
- Logs పరిమిత పరిమాణంలో ఉంటాయి.
df -hలో root filesystem కు తగినంత ఖాళీ ఉంటుంది.
నిజమైన నిధులను ఉపయోగించే ముందు, మొత్తం వ్యవస్థను exchange యొక్క sandbox లో లేదా paper mode లో ఒక వారం నడపండి. ఆ వారంలో పై ప్రతి అంశం కనీసం ఒక్కసారి విఫలమవుతుంది. ఆ వారం నిర్వహించడానికి ఇదే కారణం.
FAQ
ట్రేడింగ్ బాట్కు తక్కువ latency ఉన్న server లేదా bare metal server అవసరమా?
అదే venueలో ఇతర automated participantsతో execution speed కోసం పోటీ పడుతున్నప్పుడు మాత్రమే ఇది అవసరం. అలాంటి సందర్భాల్లో సాధారణంగా general purpose VPS కంటే colocation అనుకూలంగా ఉంటుంది. Retail bot విషయంలో round tripపై geography మరియు broker యొక్క స్వంత processing ఎక్కువ ప్రభావం చూపుతాయి. కాబట్టి API endpointకు దగ్గరగా ఉన్న serverను ఎంచుకోండి. వేగవంతమైనదాని కోసం చెల్లించే ముందు curl మరియు mtr ఉపయోగించి కొలవండి.
ట్రేడింగ్ బాట్కు ఎంత RAM మరియు CPU అవసరం?
చాలా single-strategy bots network-boundగా ఉంటాయి. Events మధ్య అవి idleగా ఉంటాయి. Tick historyని processలో ఉంచినప్పుడు లేదా local database నడిపినప్పుడు memory పరిమితిగా మారుతుంది. కాబట్టి అంచనా వేయకుండా free -h మరియు journalలో OOM kill messagesను పరిశీలించండి.
timestamp errorతో నా exchange API requestsను ఎందుకు తిరస్కరిస్తోంది?
Request timestamp exchange అంగీకరించే window వెలుపల ఉంది. Clock drift మరియు request delays రెండూ ప్రభావం చూపుతాయి. chronyను install చేయండి. chronyc trackingలో చిన్న System time offset మరియు synchronised leap status కనిపిస్తున్నాయో నిర్ధారించండి. Root delay మరియు dispersionను కూడా పరిశీలించండి. Machineను UTCకు అమర్చడం displayed timesను సమానంగా ఉంచుతుంది. కానీ అది clock driftను సరిచేయదు. API keyను మార్చడం వల్ల clock సమస్య పరిష్కారం కాదు.
నాకు తెలియకుండా రాత్రివేళ నా బాట్ ఆగిపోకుండా ఎలా నిరోధించాలి?
దాన్ని systemd కింద Restart=always మరియు StartLimitIntervalSec=0తో నడపండి. అప్పుడు crash loop start rate limitను తాకకుండా మళ్లీ ప్రయత్నిస్తుంది. ప్రతి successful loop చివర bot పంపే heartbeatను కూడా జోడించండి. Restart ప్రక్రియను నిర్వహిస్తుంది. Process aliveగా ఉన్నా stuck అయిన పరిస్థితిని heartbeat గుర్తిస్తుంది.
Bot మరియు monitoringను ఒకే VPSలో నడపవచ్చా?
నడపవచ్చు. అయితే అవసరమైన రోజున monitoring మీకు తప్పుదారి చూపుతుంది. ఎందుకంటే botను ఆపే outage monitoringను కూడా ఆపుతుంది. Alertingను వేరే machineలో ఉంచండి. సాధ్యమైనంతవరకు వేరే provider లేదా regionను ఉపయోగించండి. Bot serverను bot మరియు దాని logs కోసం మాత్రమే ఉపయోగించండి.