Merge branch 'jc/grep' into next

* jc/grep:
  built-in "git grep"

built-in "git grep"

This attempts to set up built-in "git grep" to further reduce
our dependence on the shell, while at the same time optionally
allowing to run grep against object database.  You could do
funky things like these:

git grep --cached -e pattern ;# grep from index
git grep -e pattern master ;# or in a rev
git grep -e pattern master next ;# or in multiple revs
git grep -e pattern pu^@ ;# even like this with an
;# extension from another topic ;-)
git grep -e pattern master..next ;# or even from rev ranges
git grep -e pattern master~20:Documentation
;# or an arbitrary tree
git grep -e pattern next:git-commit.sh
         ;# or an arbitrary blob

Right now, it does not understand and/or obey many options grep
should accept, and the pattern must be given with -e option due
to the way the parameter parser is structured, both of which
obviously need to be fixed for usability.

But this is going in the right direction.  The shell script
version is one of the worst Portability offender in the git
barebone Porcelainish; it uses xargs -0 to pass paths around and
shell arrays to sift flags and parameters.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'lt/push' into next

* lt/push:
  Fix builtin-push to honor Push: lines in remotes file.
  builtin-push: resurrect parsing of Push: lines

Fix builtin-push to honor Push: lines in remotes file.

[jc: originally from Johannes Schindelin, but reworked to lift a
 hard limit of Push: lines]

Signed-off-by: Junio C Hamano <junkio@cox.net>

builtin-push: resurrect parsing of Push: lines

The C'ification of push left these behind.

Signed-off-by: Johannes Schindelin <Johannes.Schindelin@gmx.de>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/diff' into next

* jc/diff:
  builtin-diff.c: die() formatting type fix.

Merge branch 'lt/push' into next

* lt/push:
  git builtin "push"
  git-format-patch: Use rfc2822 compliant date.

git builtin "push"

This adds a builtin "push" command, which is largely just a C'ification of
the "git-push.sh" script.

Now, the reason I did it as a built-in is partly because it's yet another
step on relying less on shell, but it's actually mostly because I've
wanted to be able to push to _multiple_ repositories, and the most obvious
and simplest interface for that would seem be to just have a "remotes"
file that has multiple URL entries.

(For "pull", having multiple entries should either just select the first
one, or you could fall back on the others on failure - your choice).

And quite frankly, it just became too damn messy to do that in shell.
Besides, we actually have a fair amount of infrastructure in C, so it just
wasn't that hard to do.

Of course, this is almost totally untested. It probably doesn't work for
anything but the one trial I threw at it. "Simple" doesn't necessarily
mean "obviously correct".

Signed-off-by: Linus Torvalds <torvalds@osdl.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'fix'

* fix:
  git-format-patch: Use rfc2822 compliant date.

git-format-patch: Use rfc2822 compliant date.

Signed-off-by: Huw Davies <huw@codeweavers.com>
Signed-off-by: Junio C Hamano <junkio@cox.net>

builtin-diff.c: die() formatting type fix.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/diff' into next

* jc/diff:
  built-in diff: assorted updates.
  built-in diff.

built-in diff: assorted updates.

"git diff(n)" without --base, --ours, etc. defaults to --cc,
which usually is the same as -p unless you are in the middle of
a conflicted merge, just like the shell script version.

"git diff(n) blobA blobB path" complains and dies.

"git diff(n) tree0 tree1 tree2...treeN" does combined diff that
shows a merge of tree1..treeN to result in tree0.

Giving "-c" option to any command that defaults to "--cc" turns
off dense-combined flag.

Signed-off-by: Junio C Hamano <junkio@cox.net>

built-in diff.

This starts to replace the shell script version of "git diff".

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'np/delta' into next

* np/delta:
  replace adler32 with Rabin's polynomial in diff-delta

replace adler32 with Rabin's polynomial in diff-delta

This brings another small repacking speedup for sensibly the same pack
size.  On the Linux kernel repo, git-repack -a -f is 3.7% faster for a
0.4% larger pack.

Credits to Geert Bosch who brought the Rabin's polynomial idea to my
attention.

This also eliminate the issue of adler32() reading past the data buffer,
as noticed by Johannes Schindelin.

Signed-off-by: Nicolas Pitre <nico@cam.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'master' into next

* master:
  Fix trivial typo in git-log man page.
  Properly render asciidoc "callouts" in git man pages.
  Fix up remaining man pages that use asciidoc "callouts".
  Update the git-branch man page to include the "-r" option,
  annotate: display usage information if no filename was given
  annotate: fix warning about uninitialized scalar
  git-am --resolved: more usable error message.

Merge branch 'fix'

* fix:
  Fix trivial typo in git-log man page.
  Properly render asciidoc "callouts" in git man pages.
  Fix up remaining man pages that use asciidoc "callouts".
  Update the git-branch man page to include the "-r" option,
  annotate: display usage information if no filename was given
  annotate: fix warning about uninitialized scalar
  git-am --resolved: more usable error message.

Fix trivial typo in git-log man page.

Signed-off-by: Sean Estabrooks <seanlkml@sympatico.ca>

Properly render asciidoc "callouts" in git man pages.

Adds an xsl fragment to render docbook callouts when
converting to man page format.  Update the Makefile
to have "xmlto" use it when generating man pages.

Signed-off-by: Sean Estabrooks <seanlkml@sympatico.ca>

Fix up remaining man pages that use asciidoc "callouts".

Unfortunately docbook does not allow a callout to be
referenced from inside a callout list description.
Rewrite one paragraph in git-reset man page to work
around this limitation.

Signed-off-by: Sean Estabrooks <seanlkml@sympatico.ca>

Update the git-branch man page to include the "-r" option,

and fix up asciidoc "callouts"

Signed-off-by: Sean Estabrooks <seanlkml@sympatico.ca>

annotate: display usage information if no filename was given

Signed-off-by: Matthias Kestenholz <matthias@spinlock.ch>

annotate: fix warning about uninitialized scalar

Use of uninitialized value in scalar chomp at
./git-annotate.perl line 212, <$kid> chunk 4.

Signed-off-by: Matthias Kestenholz <matthias@spinlock.ch>

git-am --resolved: more usable error message.

After doing the hard work of hand resolving the conflicts in the
working tree, if the user forgets to run update-index to mark
the paths that have been resolved, the command gave an
unfriendly "fatal: git-write-tree: not able to write tree" error
message.  Catch the situation early and give more meaningful
message and suggestion.

Noticed and suggested by Len Brown.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  cache-tree.c: typefix

cache-tree.c: typefix

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/count' into next

* jc/count:
  built-in count-objects.
  pack-objects: update size heuristucs.
  verify-pack: check integrity in a saner order.

built-in count-objects.

Also it learned to do -v (verbose) to report:

- number of loose objects
- disk occupied by loose objects
- number of objects in local packs
- number of loose objects that are also in pack
- unrecognised garbage in .git/objects/??/.

Signed-off-by: Junio C Hamano <junkio@cox.net>

pack-objects: update size heuristucs.

We used to omit delta base candidates that is much bigger than
the target, but delta size does not grow when we delete more, so
that was not a very good heuristics.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'np/delta' into next

* np/delta:
  use delta index data when finding best delta matches

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  test-dump-cache-tree: validate the cached data as well.
  cache_tree_update: give an option to update cache-tree only.

test-dump-cache-tree: validate the cached data as well.

While dumping the cached data, try recomputing everything from
scratch to make sure things match.

Signed-off-by: Junio C Hamano <junkio@cox.net>

cache_tree_update: give an option to update cache-tree only.

When the extra "dryrun" parameter is true, cache_tree_update()
recomputes the invalid entry but does not actually creates
new tree object.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'fix'

* fix:
  verify-pack: check integrity in a saner order.

verify-pack: check integrity in a saner order.

Check internal integrity to report corrupt pack or idx, and
then check cross-integrity between idx and pack.

Signed-off-by: Linus Torvalds <torvalds@osdl.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/pathcheck' into next

* jc/pathcheck:
  revision parsing: make "rev -- paths" checks stronger.

Fix mismerged update-index from jc/cache-tree branch.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Retire rabinpoly fingerprinting code

For now let's retire this and reintroduce it as part of the updated
pack-objects series from Geert when it is ready.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'master' into next

* master:
  Fix "git help -a" terminal autosizing
  diff-index: fix compilation warnings.

Merge branch 'pb/config'

* pb/config:
  git-cvsserver: typofixes
  Deprecate usage of git-var -l for getting config vars list
  git-repo-config --list support

Merge branch 'jc/diffstat'

* jc/diffstat:
  diff --stat: show complete rewrites consistently.

Fix "git help -a" terminal autosizing

When I split out the builtin commands into their own files, I left the
include of <sys/ioctl.h> in git.c rather than moving it to the file that
needed it (builtin-help.c).

Nobody seems to have noticed, because everything still worked, but because
the TIOCGWINSZ macro was now no longer defined when compiling the
"term_columns()" function, it would no longer automatically notice the
terminal size unless your system used the ancient "COLUMNS" environment
variable approach.

Trivially fixed by just moving the header include to the file that
actually needs it.

Signed-off-by: Linus Torvalds <torvalds@osdl.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

diff-index: fix compilation warnings.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  read-tree: teach 1-way merege and plain read to prime cache-tree.
  read-tree: teach 1 and 2 way merges about cache-tree.
  update-index: when --unresolve, smudge the relevant cache-tree entries.

read-tree: teach 1-way merege and plain read to prime cache-tree.

This teaches read-tree to fully populate valid cache-tree when
reading a tree from scratch, or reading a single tree into an
existing index, reusing only the cached stat information (i.e.
one-way merge).  We have already taught update-index about cache-tree,
so "git checkout" followed by updates to a few path followed by
a "git commit" would become very efficient.

Signed-off-by: Junio C Hamano <junkio@cox.net>

read-tree: teach 1 and 2 way merges about cache-tree.

This teaches one-way and two-way "read-tree -m" (and its special
form, "read-tree --reset" as well) not to discard cache-tree but
invalidate only the changed parts of the tree.  When switching
between related branches, this helps the eventual commit
(i.e. write-tree) by keeping cache-tree valid as much as
possible.

This does not prime cache-tree yet, but we ought to be able to
do that for no-merge (i.e. reading from a tree object) case and,
and also perhaps 1 way merge case.

With this patch applied, switching between the tip of Linux 2.6
kernel tree and a branch that touches one path (fs/ext3/Makefile)
from it invalidates only 3 paths out of 1201 cache-tree entries
in the index, and subsequent write-tree takes about a half as
much time as before.

Signed-off-by: Junio C Hamano <junkio@cox.net>

update-index: when --unresolve, smudge the relevant cache-tree entries.

Signed-off-by: Junio C Hamano <junkio@cox.net>

use delta index data when finding best delta matches

This patch allows for computing the delta index for each base object
only once and reuse it when trying to find the best delta match.

This should set the mark and pave the way for possibly better delta
generator algorithms.

Signed-off-by: Nicolas Pitre <nico@cam.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  t0000-basic: more commit-tree tests.

Merge branch 'master' into jc/cache-tree

* master:
  t0000-basic: more commit-tree tests.
  commit-tree.c: check_valid() microoptimization.
  Fix filename verification when in a subdirectory
  rebase: typofix.
  socksetup: don't return on set_reuse_addr() error

t0000-basic: more commit-tree tests.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'se/rebase' into next

* se/rebase:
  Add --continue and --abort options to git-rebase.

Merge branch 'nh/fetch-http' into next

* nh/fetch-http:
  git-fetch: resolve remote symrefs for HTTP transport
  commit-tree.c: check_valid() microoptimization.
  Fix filename verification when in a subdirectory
  rebase: typofix.
  socksetup: don't return on set_reuse_addr() error

git-fetch: resolve remote symrefs for HTTP transport

git-fetch validates that a remote ref resolves to a SHA1 prior to calling
git-http-fetch.  This adds support for resolving a few levels of symrefs
to get to the SHA1.

Signed-off-by: Nick Hengeveld <nickh@reactrix.com>
Signed-off-by: Junio C Hamano <junkio@cox.net>

Add --continue and --abort options to git-rebase.

  git rebase [--onto <newbase>] <upstream> [<branch>]
  git rebase --continue
  git rebase --abort

Add "--continue" to restart the rebase process after
manually resolving conflicts.  The user is warned if
there are still differences between the index and the
working files.

Add "--abort" to restore the original branch, and
remove the .dotest working files.

Some minor additions to the git-rebase documentation.

[jc: fix that applies to the maintenance track has been dealt
 with separately.]

Signed-off-by: Junio C Hamano <junkio@cox.net>

revision parsing: make "rev -- paths" checks stronger.

If you don't have a "--" marker, then:

 - all of the arguments we are going to assume are pathspecs
   must exist in the working tree.

 - none of the arguments we parsed as revisions could be
   interpreted as a filename.

so that there really isn't any possibility of confusion in case
somebody does have a revision that looks like a pathname too.

The former rule has been in effect; this implements the latter.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'fix'

* fix:
  commit-tree.c: check_valid() microoptimization.
  Fix filename verification when in a subdirectory
  rebase: typofix.
  socksetup: don't return on set_reuse_addr() error

commit-tree.c: check_valid() microoptimization.

There is no point reading the whole object just to make sure it exists and
it is of the expected type.  We added sha1_object_info() for such need
after this code was written, so use it.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Fix filename verification when in a subdirectory

When we are in a subdirectory of a git archive, we need to take the prefix
of that subdirectory into accoung when we verify filename arguments.

Noted by Matthias Lederhofer

This also uses the improved error reporting for all the other git commands
that use the revision parsing interfaces, not just git-rev-parse. Also, it
makes the error reporting for mixed filenames and argument flags clearer
(you cannot put flags after the start of the pathname list).

[jc: with fix to a trivial typo noticed by Timo Hirvonen]

Signed-off-by: Linus Torvalds <torvalds@osdl.org>
Signed-off-by: Junio C Hamano <junkio@cox.net>

rebase: typofix.

Noticed by Sean.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  commit-tree: allow generic object name for the tree as well.
  Makefile: remove and create xdiff library from scratch.
  t0000-basic: Add ls-tree recursive test back.

Merge branch 'master' into jc/cache-tree

* master:
  commit-tree: allow generic object name for the tree as well.
  Makefile: remove and create xdiff library from scratch.
  t0000-basic: Add ls-tree recursive test back.
  Libified diff-index: backward compatibility fix.
  Libify diff-index.
  Libify diff-files.
  Makefile: remove and create libgit.a from scratch.
  Document the configuration file
  Document git-var -l listing also configuration variables
  rev-parse: better error message for ambiguous arguments
  make update-index --chmod work with multiple files and --stdin
  socksetup: don't return on set_reuse_addr() error
  Fix "git show --stat"
  git-update-index --unresolve
  Add git-unresolve <paths>...
  Add colordiff for git to contrib/colordiff.
  gitk: Let git-rev-list do the argument list parsing

commit-tree: allow generic object name for the tree as well.

We use get_sha1() for -p (parent) objects, but still used
get_sha1_hex() for the tree.  Just to be consistent, allow
extended SHA1 expression for the tree object name.

Note that this is not to encourage funky things like this:

git-commit-tree HEAD^{tree} -p HEAD

Signed-off-by: Junio C Hamano <junkio@cox.net>

Makefile: remove and create xdiff library from scratch.

... in the same spirit as 71459c193d04870076efa0a387c317390b53e3e2.

Signed-off-by: Junio C Hamano <junkio@cox.net>

t0000-basic: Add ls-tree recursive test back.

When we updated ls-tree recursive output to omit the tree nodes,
246cc52f388cae8ca99e5a12b8458c9bfa467765 adjusted the old test
so that we do not expect to see trees in its output.  Later,
with 0f8f45cb4a7e664b396f73c25891da46b953b8b8, we added back the
ability to show both with -t option, but we forgot to update the
test as well.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'pb/config' into next

* pb/config:
  git-cvsserver: typofixes

git-cvsserver: typofixes

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/diffstat' into next

* jc/diffstat:
  diff --stat: show complete rewrites consistently.
  Makefile: remove and create libgit.a from scratch.

diff --stat: show complete rewrites consistently.

The patch format shows complete rewrite as deletion of all old lines
followed by addition of all new lines.  Count lines consistenly with
that when doing diffstat.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/diff'

* jc/diff:
  Libified diff-index: backward compatibility fix.
  Libify diff-index.
  Libify diff-files.

Makefile: remove and create libgit.a from scratch.

Foolishly I renamed diff.o around which caused an old diff.o
taken out of libgit.a and got linked into resulting binary and
exhibited mysterious breakage for many people.  This borrows
from the kernel Makefile (scripts/Makefile.build) to first remove
the target and then recreate.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  test-dump-cache-tree: report number of subtrees.
  cache-tree: sort the subtree entries.
  Teach fsck-objects about cache-tree.

test-dump-cache-tree: report number of subtrees.

Signed-off-by: Junio C Hamano <junkio@cox.net>

cache-tree: sort the subtree entries.

Not that this makes practical performance difference; the kernel tree
for example has 200 or so directories that have subdirectory, and the
largest ones have 57 of them (fs and drivers).  With a test to apply
600 patches with git-apply and git-write-tree, this did not make more
than one per-cent of a difference, but it is a good cleanup.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Teach fsck-objects about cache-tree.

Signed-off-by: Junio C Hamano <junkio@cox.net>

socksetup: don't return on set_reuse_addr() error

The set_reuse_addr() error case was the only error case in
socklist() where we returned rather than continued.  Not sure
why.  Either we must free the socklist, or continue.  This patch
continues on error.

Signed-off-by: Serge E. Hallyn <serue@us.ibm.com>
Signed-off-by: Junio C Hamano <junkio@cox.net>
(cherry picked from 0032d548db56eac9ea09b4ba05843365f6325b85 commit)

Merge branch 'pb/config' into next

* pb/config:
  Deprecate usage of git-var -l for getting config vars list
  git-repo-config --list support

Merge branch 'np/delta' into next

* np/delta:
  split the diff-delta interface
  Document the configuration file
  Document git-var -l listing also configuration variables
  rev-parse: better error message for ambiguous arguments

Deprecate usage of git-var -l for getting config vars list

This has been an unfortunate sideway in the git API evolution.
We use git-repo-config for all the other .git/config interaction
so let's also use git-repo-config -l for the variable listing.

Signed-off-by: Petr Baudis <pasky@suse.cz>

git-repo-config --list support

This adds git-repo-config --list (or git-repo-config -l) support,
similar to what git-var -l does now (to be phased out so that we
have a single sane interface to the config file instead of fragmented
and confused API).

Signed-off-by: Petr Baudis <pasky@suse.cz>

split the diff-delta interface

This patch splits the diff-delta interface into index creation and delta
generation.  A wrapper is provided to preserve the diff-delta() call.

This will allow for an optimization in pack-objects.c where the source
object could be fixed and a full window of objects tentatively tried
against
that same source object without recomputing the source index each time.

This patch only restructure things, plus a couple cleanups for good
measure. There is no performance change yet.

Signed-off-by: Nicolas Pitre <nico@cam.org>

Merge branch 'fix'

* fix:
  Document the configuration file
  Document git-var -l listing also configuration variables
  rev-parse: better error message for ambiguous arguments

Document the configuration file

This patch adds a Documentation/config.txt file included by git-repo-config
and currently aggregating hopefully all the available git plumbing / core
porcelain configuration variables, as well as briefly describing the format.

It also updates an outdated bit of the example in git-repo-config(1).

Signed-off-by: Petr Baudis <pasky@suse.cz>

Document git-var -l listing also configuration variables

Signed-off-by: Petr Baudis <pasky@suse.cz>

rev-parse: better error message for ambiguous arguments

Currently, if git-rev-parse encounters an argument that is neither a
recognizable revision name nor the name of an existing file or
directory, and it hasn't encountered a "--" argument, it prints an
error message saying "No such file or directory".  This can be
confusing for users, including users of programs such as gitk that
use git-rev-parse, who may then think that they can't ask about the
history of files that no longer exist.

This makes it print a better error message, one that points out the
ambiguity and tells the user what to do to fix it.

Signed-off-by: Paul Mackerras <paulus@samba.org>

Merge branch 'jc/cache-tree' into next

* jc/cache-tree:
  index: make the index file format extensible.
  cache-tree: protect against "git prune".
  Add test-dump-cache-tree

index: make the index file format extensible.

... and move the cache-tree data into it.

Signed-off-by: Junio C Hamano <junkio@cox.net>

cache-tree: protect against "git prune".

We reused the cache-tree data without verifying the tree object
still exists.  Recompute in cache_tree_update() an otherwise
valid cache-tree entry when the tree object disappeared.

This is not usually a problem, but theoretically without this
fix things can break when the user does something like this:

- read-index from a side branch
- write-tree the result
- remove the side branch with "git branch -D"
- remove the unreachable objects with "git prune"
- write-tree what is in the index.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Merge branch 'master' into next

* master:
  gitk: Let git-rev-list do the argument list parsing

Merge branch 'ar/chmod-series'

* ar/chmod-series:
  make update-index --chmod work with multiple files and --stdin

Merge branch 'sh/daemon'

* sh/daemon:
  socksetup: don't return on set_reuse_addr() error

Merge branch 'jc/cc-stat'

* jc/cc-stat:
  Fix "git show --stat"

Merge branch 'jc/unresolve'

* jc/unresolve:
  git-update-index --unresolve
  Add git-unresolve <paths>...

Merge branch 'jc/color'

* jc/color:
  Add colordiff for git to contrib/colordiff.

Merge git://git.kernel.org/pub/scm/gitk/gitk

* git://git.kernel.org/pub/scm/gitk/gitk:
  gitk: Let git-rev-list do the argument list parsing

Merge part of 'jc/cache-tree'

Add test-dump-cache-tree

This was useful in diagnosing the corrupt index.aux format
problem.  But do not bother building or installing it by
default.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Use cache-tree in update-index.

Signed-off-by: Junio C Hamano <junkio@cox.net>

Invalidate cache-tree entries for touched paths in git-apply.

This updates git-apply to maintain cache-tree information.  With
this and the previous write-tree patch, repeated "apply --index"
followed by "write-tree" on a huge tree will hopefully become
faster.

Signed-off-by: Junio C Hamano <junkio@cox.net>