Squid tunen...

Message
Author
Max

Squid tunen...

#1 Post by Max »

Habe hier einen Intel II 400 MHz.
und squid hat mit ca. 50 Clients laut top ein Auslastung von 80-90%
Mir kommt das nicht wie ein Bug vor.
Squid läuft transparent und nutzt einen parent-cache.
Welche Optionen hat man zum tunen??
Speicher scheint nicht das Problem zu sein (25%) aber Prozessor ist bis zum Anschlag in Benutzung.

Hat jemand Erfahrungen wie man da noch was reissen kann??
Gruss Max

User avatar
hjb
Pro-Linux
Posts: 3264
Joined: 15. Aug 1999 16:59
Location: Bruchsal
Contact:

Re: Squid tunen...

#2 Post by hjb »

Hi,

vielleicht kannst du über den cachemgr noch ein paar Details in Erfahrung bringen. Meine Erfahrung mit diesen Dingen ist begrenzt, aber versuche mal, das Dateisystem schneller zu machen (evtl. kein Journalling, Mount-Option noatime, größere Blockgröße, was aber leider eine Neuformatierung erfordert).

Compiliere Squid mit CPU-spezifischer Optimierung. Das könnte 5% oder auch mehr bringen.

Auch ein Prozessor-Upgrade kann in so einem Fall Sinn machen, allerdings sollte man erst ausschließen, daß nicht irgendwo sinnlos die CPU-Zeit verbraten wird.

Gruß,
hjb
Pro-Linux - warum durch Fenster steigen, wenn es eine Tür gibt?

Max

Re: Squid tunen...

#3 Post by Max »

Ich habe eigentlich eine solche Auslastungg nicht als normal angesehen...
Hat wieder was gedauert, aber ich konnte jetzt Squid wieder dazu bringen "normal" zu arbeiten.
Jetzt hat er, wenn er nicht gerade wieder spinnt, 2-3% cpu und 20% Speicher Auslastung.
Jetzt habe ich nur wieder ein altes Problem...
Er kriegt manchmal einen "Rappel" und knallt mit der CPU-Auslastung hoch..
Ich habe schon die squid Mailingliste abgegrasst. Es sind einige die dieselben Probleme haben, aber bis jetzt noch keine brauchbare Antwort gefunden.
Ich würde mich mal gerne mit einen kurzschliessen der Squid genauer kennt.
Mein Squid arbeitet transparent und reicht alle Anfragen an einen parent-Cache (localhost) weiter.
So braucht er eigentlich nicht cachen sondern nur durchreichen.
Cachen lässt sich leider nicht deaktivieren ohne das er gleich hochspringt.

Gibt es irgendwo jemanden der squid transparent laufen hat mit einen Nicht-Squid-Proxy als parent??
Mist, bin wohl der Einzige...

Thx HJB
Finde ich übrigens wirklich gut das man von dir fast immer mit Antworten rechnen kann und du jeden hilfst.

Gruß Max

PS: Gibt es einen Proxy von DJB??? *g*

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#4 Post by killerhippy »

Hi Max,

ich hatte mal Squid transparent laufen, indem ich ipchains rules mit redirect laufen hatte.

konnte jedoch nie exorbitantes cpuzeitverbraten beobachten - vielleicht kriegste ne idee, wennde meine squid.conf liest.

Aber eigentlich will ich mich hier hinzugesellen, in der Hoffnung, dass <b>Viralator</b> User sich das hier angucken:

Situation: Viralator arbeitet nur bei ftp-downloads, bei http meldet squirm.error:
"Fri Aug 10 16:51:27 2001:-1 = incorrect number of scanned fields "

Squid bedient wrapzap, dass squirm sagt, starte die zwei redirectors.

hier mal n bischen konfigs...

squid.conf:
---schnipp---
47: http_port 3128
651: redirect_children 10
652: redirect_program /usr/local/bin/wrapzap
666: redirect_rewrites_host_header on
832: refresh_pattern ^ftp: 1440 20% 10080
833: refresh_pattern ^gopher: 1440 0% 1440
834: refresh_pattern . 0 20% 4320
1156: acl all src 0.0.0.0/0.0.0.0
1157: acl manager proto cache_object
1158: acl localhost src 127.0.0.1/255.255.255.255
1159: acl SSL_ports port 443 563
1160: acl Safe_ports port 80 21 443 563 70 210 1025-65535
1161: acl Safe_ports port 280 # http-mgmt
1162: acl Safe_ports port 488 # gss-http
1163: acl Safe_ports port 591 # filemaker
1164: acl Safe_ports port 777 # multiling http
1165: acl CONNECT method CONNECT
1190: acl localclients src 192.168.111.0/24
1191: http_access allow manager localclients
1192: http_access deny manager !localclients
1193: http_access deny !Safe_ports
1194: http_access deny CONNECT !SSL_ports
1199: acl localclients src 192.168.111.0/24
1200: http_access allow localclients
1205: icp_access allow all
1221: acl localclients src 192.168.111.0/24
1222: miss_access allow localclients
1223: miss_access deny !localclients
1392: httpd_accel_uses_host_header off
1760: anonymize_headers deny From Referer Server
1761: anonymize_headers deny User-Agent WWW-Authenticate Link
1762: fake_user_agent Nutscrape/1.0 (CP/M; 8-bit)
2185: acl PURGE method purge
2186: acl localhost src 127.0.0.1
2187: http_access allow purge localhost
2188: http_access deny purge ---schnapp---

squirm.conf:
---schnipp---
26: begin
28: network 192.168.111.0/24
38: log logs/match.log
39: abort-log logs/abort.log
40: pattern squirm.patterns get
43: end
46: begin
47: network 127.0.0.0/24
48: log logs/private-match.log
49: abort-log logs/private-abort.log
50: pattern squirm.patterns get
53: end
---schnapp---

squirm.patterns:
---schnipp---
1: abortregexi ^http://192\.168\.111\.1/.*
2: abortregexi ^http://killerghost\.alderdweg\.de/.*
3: abortregexi ^http://killerghost/.*
4: abortregexi ^http://gate/.*
5: regexi ^(^.*\.zip$) http://192.168.111.1/cgi-bin/viralator.cgi?url=|\1
6: regexi ^(^.*\.doc$) http://192.168.111.1/cgi-bin/viralator.cgi?url=|\1
7: regexi ^(^.*\.exe$) http://192.168.111.1/cgi-bin/viralator.cgi?url=|\1
8: regexi ^(^.*\.com$) http://192.168.111.1/cgi-bin/viralator.cgi?url=|\1
9: regexi ^(^.*\.xls$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
10: regexi ^(^.*\.tgz$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
11: regexi ^(^.*\.gz$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
12: regexi ^(^.*\.tar$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
13: regexi ^(^.*\.arj$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
14: regexi ^(^.*\.vbs$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
15: regexi ^(^.*\.shs$) http://192.168.100.1/cgi-bin/viralator.cgi?url=|\1
---schnapp---
Note: Hier hatte ich mal die Klammern gesetzt, wie aus der Vorlage zu entnehmen war. Im F-PROT News thread postete reniar die ohne, getestet, gleiches ergebnis...

wrapzap:
---schnipp---
19: zapper=/usr/local/bin/squid_redirect
20: squirm=/usr/local/squirm/bin/squirm
22: ZAP_MODE= # or "CLEAR"
23: ZAP_BASE=http://adzap.cs.zip.com.au # a local web server will be better
24: ZAP_PREMATCH= # pathname of extra pattern file
25: # for patterns to preempt the stock
26: # zapper
27: ZAP_POSTMATCH= # pathname of extra pattern file
28: # for patterns in addition to the
29: # stock zapper; this is the one to
30: # which you should add new ads
31: STUBURL_AD=$ZAP_BASE/ad.gif
32: STUBURL_ADBG=$ZAP_BASE/adbg.gif
33: STUBURL_ADJS=$ZAP_BASE/no-op.js
34: STUBURL_ADHTML=$ZAP_BASE/no-op.html
35: STUBURL_ADMP3=$ZAP_BASE/ad.mp3
36: STUBURL_ADPOPUP=$ZAP_BASE/closepopup.html
37: STUBURL_ADSWF=$ZAP_BASE/ad.swf
38: STUBURL_COUNTER=$ZAP_BASE/counter.gif
39: STUBURL_WEBBUG=$ZAP_BASE/webbug.gif
40: STUBURL_WEBBUGJS=$ZAP_BASE/webbug.js
42: export ZAP_MODE ZAP_BASE ZAP_PREMATCH ZAP_POSTMATCH
43: export STUBURL_AD STUBURL_ADJS STUBURL_ADHTML STUDURL_ADMP3 STUBURL_ADPOPUP \
44: STUBURL_ADSWF STUBURL_COUNTER STUBURL_WEBBUG
54: exec /usr/local/bin/zapchain "$zapper" "$squirm"
---schnapp---

wie spaetestens hier ersichtlich wird, werden zwei redirecors gestartet:
1. adzap
2. viralator

da ftp-downloads durch viralator.cgi geschickt werden, funktionierts ja offenbar!
da http-downloads <i>nicht</i> durch viralator.cgi geschickt werden, ist wohl was misskonfiguriert.

Wer weiss's und hilft mir?

PS: adzap funktioniert prima und ersetzt die blinkis und zappelgifs durch stille.
Es gibt keine dumme Fragen!

Killerhippy

Max

Re: Squid tunen...

#5 Post by Max »

Danke erstmal...
aber keine Ahnung von Wrapzap und Co.

Nur soviel zu deiner squid.conf

Laut diversen Doks soll das zusätzlich rein für transparentes Proxie

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy off
Und das funktioniert??
Sobald ich die User draussen habe werde ich das mal auskommentieren...
Nutzt du Squid 2.2 Stable 5?

Vielleicht war es das ja...

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#6 Post by killerhippy »

Squid Cache: Version 2.3.STABLE2

hatte vorher eine ipchains rule mit redirekt laufen, um den proxy transparent zu machen.
Es gibt keine dumme Fragen!

Killerhippy

Max

Re: Squid tunen...

#7 Post by Max »

hmmm... warum bekomme ich das nicht für potato???

Hast du was mit elug zu tun??
Falls nicht, sorry, dann verwechlse ich dich..

Langsam aber sicher,bin ich mir sicher das squid nicht den Zusatz stable verdient. :<!--no-->-(

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#8 Post by killerhippy »

>hmmm... warum bekomme ich das nicht für >potato???

wenn du auf aptget verzichten kannst und tar.gz installieren moechtest, steht dir jede version offen

>
>Hast du was mit elug zu tun??
>Falls nicht, sorry, dann verwechlse ich >dich..

nope, no eluger.

>
>Langsam aber sicher,bin ich mir sicher das squid nicht den Zusatz stable verdient. <img src="http://www.pl-forum.de/UltraBoard/Images/Sad.gif" border="0" align="middle">

wie kommste darauf? kann ich so nicht bestaetigen...
Es gibt keine dumme Fragen!

Killerhippy

Max

Re: Squid tunen...

#9 Post by Max »

Ich will nur ungern selbstkompilieren...
(un)Stable ?? Weil das Ding bei mir offensichtlich nicht stabil läuft...

Übrigens ist es nötig

httpd_accel_host virtual
httpd_accel_port 80

zu setzen sonst läuft squid nicht transparent..
Gruss Max

User avatar
Stormbringer
Posts: 1570
Joined: 11. Jan 2001 11:01
Location: Ruhrgebiet

Re: Squid tunen...

#10 Post by Stormbringer »

Hi Sascha,
habe Squid nicht transparent laufen .... kann es denn ggf. sein das die Berechtigungen nicht passen?
Hatte ich am Anfang auch, daß Daten daownzuloaden waren, ohne das viralator die Daten gescannt hat. Und dies lag an einem Berechtigungsproblem (http = wwwuser / ftp = ftpuser)

Gruß
Continuum Hierarchy Supervisor:
You have already been assimilated.
(Rechtschreibungsreformverweigerer!)

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#11 Post by killerhippy »

>kann es denn ggf. sein das die Berechtigungen nicht passen?

habe /usr/local/apache/htdocs/downloads auf user nobody.nogroup gechmowned und auf 777 gechmoded.

daran kann's also nicht liegen.
Es gibt keine dumme Fragen!

Killerhippy

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#12 Post by killerhippy »

stormbringer, kannst du mir bitte zum Vergleich deine funktionierende squid.conf mailen?

ADthanxVANCE
Es gibt keine dumme Fragen!

Killerhippy

User avatar
Stormbringer
Posts: 1570
Joined: 11. Jan 2001 11:01
Location: Ruhrgebiet

Re: Squid tunen...

#13 Post by Stormbringer »

Ich hoffe, weder hjb noch demon (oder andere) werden mich nun steinigen wollen ... <img src="http://www.pl-forum.de/UltraBoard/Images/Wilk.gif" border="0" align="middle">

Hier meine, um die Kommentarbereich gekürtzte, vollständige squid.conf:
<pre>
#cache_dir ufs /var/squid/cache 100 16 256
#cache_access_log /var/squid/logs/access.log
#cache_log /var/squid/logs/cache.log
#cache_store_log /var/squid/logs/store.log
#cache_swap_log
#emulate_httpd_log off
#mime_table /usr/share/squid/mime.conf
#log_mime_hdrs off
#useragent_log none
#pid_filename /var/run/squid.pid
#debug_options ALL,1
#log_fqdn off
#client_netmask 255.255.255.255
#ftp_user Squid@
#ftp_list_width 32
##ftp_passive on
#cache_dns_program /usr/sbin/dnsserver
#dns_children 5
#dns_defnames off
#dns_nameservers none
#unlinkd_program /usr/sbin/unlinkd
#pinger_program /usr/sbin/pinger
#redirect_program none
#redirect_program /usr/local/squirm/bin/squirm
#redirect_children 15
#redirect_rewrites_host_header on
#authenticate_program none
#authenticate_children 5
#authenticate_ttl 3600
#authenticate_ip_ttl 0
#wais_relay_host localhost
#wais_relay_port 8000
#request_header_max_size 10 KB
#request_body_max_size 1 MB
#reply_body_max_size 0

#Default:
#refresh_pattern ^ftp: 1440 20% 10080
#refresh_pattern ^gopher: 1440 0% 1440
#refresh_pattern . 0 20% 4320
#replacement_policy LFUDA
#reference_age 1 year
#quick_abort_min 16 KB
#quick_abort_max 16 KB
#quick_abort_pct 95
#negative_ttl 5 minutes
#positive_dns_ttl 6 hours
#negative_dns_ttl 5 minutes
#range_offset_limit 0 KB
#connect_timeout 120 seconds
#peer_connect_timeout 30 seconds
#siteselect_timeout 4 seconds
#read_timeout 15 minutes
#request_timeout 5 minutes
#client_lifetime 1 day
#half_closed_clients on
#pconn_timeout 120 seconds
#ident_timeout 10 seconds
#shutdown_lifetime 30 seconds

#Defaults:
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl SSL_ports port 443 563
acl Safe_ports port 80 21 443 563 70 210 1025-65535
acl Safe_ports port 280
acl Safe_ports port 488
acl Safe_ports port 591
acl Safe_ports port 777
acl CONNECT method CONNECT
acl skar_net src 192.168.10.0-192.168.10.254/255.255.255.0 10.104.10.0-10.104.10.254/255.0.0.0
acl skar_name srcdomain skar.dt
#Default configuration:
http_access allow manager localhost
http_access allow skar_net
http_access allow skar_name
http_access deny manager
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny all
icp_access allow all
miss_access allow all
#proxy_auth_realm Squid proxy-caching web server
#ident_lookup_access deny all
#cache_mgr webmaster
cache_effective_user squid
cache_effective_group nogroup
#visible_hostname www-cache.foo.org
#unique_hostname www-cache1.foo.org
#announce_period 1 day
#announce_host tracker.ircache.net
#announce_port 3131
#httpd_accel_host hostname
#httpd_accel_port port
#httpd_accel_with_proxy off
#httpd_accel_uses_host_header off
#dns_testnames netscape.com internic.net nlanr.net microsoft.com
#logfile_rotate 0
#append_domain .yourdomain.com
#tcp_recv_bufsize 0 bytes
#err_html_text
#memory_pools on
#forwarded_for on
log_icp_queries on
icp_hit_stale off
#minimum_direct_hops 4
#cachemgr_passwd secret shutdown
#cachemgr_passwd lesssssssecret info stats/objects
#cachemgr_passwd disable all
#store_avg_object_size 6 KB
#store_objects_per_bucket 50
#client_db on
#netdb_low 900
#netdb_high 1000
#netdb_ping_period 5 minutes
#query_icmp off
#test_reachability off
#buffered_logs off
#reload_into_ims off
#anonymize_headers
#fake_user_agent none
#minimum_retry_timeout 5 seconds
#maximum_single_addr_tries 3
#snmp_port -1
#snmp_access allow snmppublic localhost
#snmp_access deny all
#snmp_incoming_address 0.0.0.0
#snmp_outgoing_address 0.0.0.0
#wccp_router 0.0.0.0
#wccp_version 4
#wccp_incoming_address 0.0.0.0
#wccp_outgoing_address 0.0.0.0
#delay_pools 0
#delay_pools 2 # 2 delay pools
#delay_class 1 2 # pool 1 is a class 2 pool
#delay_class 2 3 # pool 2 is a class 3 pool
#delay_access 1 allow some_big_clients
#delay_access 1 deny all
#delay_access 2 allow lotsa_little_clients
#delay_access 2 deny all
#delay_parameters pool aggregate
#delay_parameters pool aggregate individual
#delay_parameters pool aggregate network individual
#delay_parameters 1 -1/-1 8000/8000
#delay_parameters 2 32000/32000 8000/8000 600/64000
#delay_initial_bucket_level 50
#incoming_icp_average 6
#incoming_http_average 4
#min_icp_poll_cnt 8
#min_http_poll_cnt 8
#uri_whitespace strip
#acl buggy_server url_regex ^http://....
#broken_posts allow buggy_server
#prefer_direct on
#strip_query_terms on
#ignore_unknown_nameservers on
#digest_generation on
#digest_bits_per_entry 5
#digest_rebuild_period 1 hour
#digest_rewrite_period 1 hour
#digest_swapout_chunk_size 4096 bytes
#digest_rebuild_chunk_percentage 10
#client_persistent_connections on
#server_persistent_connections on

http_port 3128
icp_port 3130
cache_mem 16 MB
fqdncache_size 2048
cache_swap_high 85
cache_swap_low 80
maximum_object_size 16384 MB
minimum_object_size 0 KB
ipcache_size 1024
ipcache_high 85
ipcache_low 80
cache_mgr webadm@skar.dt
visible_hostname proxy.skar.dt
</pre>

Gruß
Continuum Hierarchy Supervisor:
You have already been assimilated.
(Rechtschreibungsreformverweigerer!)

User avatar
killerhippy
Posts: 529
Joined: 19. May 2000 19:36
Contact:

Re: Squid tunen...

#14 Post by killerhippy »

Stormbringer, vielen dank.

jetzt faengt nach der rumexperimentiererei das fehlerausschlussverfahren an :)
Es gibt keine dumme Fragen!

Killerhippy

User avatar
Stormbringer
Posts: 1570
Joined: 11. Jan 2001 11:01
Location: Ruhrgebiet

Re: Squid tunen...

#15 Post by Stormbringer »

@Sascha
Kaum zu glauben, habe mich nun einmal etwas mit viralator auseinander gesetzt, und auch einmal durchkonfiguriert und getestet <img src="http://www.pl-forum.de/UltraBoard/Images/Wilk.gif" border="0" align="middle">
Bei funzen ftp downloads, aber keine http downloads - bei mir ist es umgekehrt *LMAO*

Hast Du eine Idee, warum es nicht funzt?
Soll ich all meine Konfigs posten?

Gruß
Continuum Hierarchy Supervisor:
You have already been assimilated.
(Rechtschreibungsreformverweigerer!)

Post Reply